<div dir="ltr">On 6 September 2013 16:21, Ian Romanick <span dir="ltr"><<a href="mailto:idr@freedesktop.org" target="_blank">idr@freedesktop.org</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote">
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="im">On 09/06/2013 03:00 PM, Paul Berry wrote:<br>
> On 4 September 2013 12:57, Ian Romanick <<a href="mailto:idr@freedesktop.org">idr@freedesktop.org</a><br>
</div><div class="im">> <mailto:<a href="mailto:idr@freedesktop.org">idr@freedesktop.org</a>>> wrote:<br>
><br>
>     From: Gregory Hainaut <<a href="mailto:gregory.hainaut@gmail.com">gregory.hainaut@gmail.com</a><br>
</div>>     <mailto:<a href="mailto:gregory.hainaut@gmail.com">gregory.hainaut@gmail.com</a>>><br>
<div><div class="h5">><br>
>     Check the pipeline object state creation.  glGenProgramPipelines only<br>
>     reserves the names.  The object does not "exist" until it is bound.<br>
><br>
>     Also take the opportunity to test negative value on<br>
>     glGenProgramPipelines and glDeleteProgramPipelines.<br>
><br>
>     This test fails on AMD's closed-source driver (Catalyst 13.4 on<br>
>     HD5770).  The test crashes when -1 is passed to glGenProgramPipelines.<br>
>     They are presumably treating the GLsizei as unsigned and generating a<br>
>     lot of names.  They also return GL_TRUE from glIsProgramPipeline<br>
>     before the object has been bound.<br>
><br>
>     This test fails on NVIDIA's closed-source driver (unknown version on<br>
>     GTX 650).  The test crashes in glGetProgramPipelineiv for a pipeline<br>
>     that has never been bound.  They are presumably dereferencing a NULL<br>
>     pointer in some internal data structure.  They also return GL_TRUE<br>
>     from glIsProgramPipeline before the object has been bound.<br>
><br>
>     V4: split the new test in a separate commit<br>
><br>
>     V5 (idr):<br>
>     * Use 'pass = foo() && pass;' idiom instead of 'pass &= foo();'.  C's<br>
>       short-circuit evaulation rules cause these to be different.<br>
>     * s/GLboolean/bool/g<br>
>     * Produce no output with -auto.<br>
>     * Add test to CMakeLists.gl.txt.<br>
>     * Trivial reformatting.<br>
>     ---<br>
>      tests/all.tests                                    |   1 +<br>
>      .../arb_separate_shader_objects/CMakeLists.gl.txt  |   1 +<br>
>      .../IsProgramPipeline.c                            | 138<br>
>     +++++++++++++++++++++<br>
>      3 files changed, 140 insertions(+)<br>
>      create mode 100644<br>
>     tests/spec/arb_separate_shader_objects/IsProgramPipeline.c<br>
><br>
>     diff --git a/tests/all.tests b/tests/all.tests<br>
>     index 9464244..fe24224 100644<br>
>     --- a/tests/all.tests<br>
>     +++ b/tests/all.tests<br>
>     @@ -1238,6 +1238,7 @@ add_concurrent_test(arb_occlusion_query,<br>
>     'occlusion_query_order')<br>
>      arb_separate_shader_objects = Group()<br>
>      spec['ARB_separate_shader_objects'] = arb_separate_shader_objects<br>
>      arb_separate_shader_objects['GetProgramPipelineiv'] =<br>
>     concurrent_test('arb_separate_shader_object-GetProgramPipelineiv')<br>
>     +arb_separate_shader_objects['IsProgramPipeline'] =<br>
>     concurrent_test('arb_separate_shader_object-IsProgramPipeline')<br>
><br>
>      # Group ARB_sampler_objects<br>
>      arb_sampler_objects = Group()<br>
>     diff --git<br>
>     a/tests/spec/arb_separate_shader_objects/CMakeLists.gl.txt<br>
>     b/tests/spec/arb_separate_shader_objects/CMakeLists.gl.txt<br>
>     index 2ea2c80..fa955c6 100644<br>
>     --- a/tests/spec/arb_separate_shader_objects/CMakeLists.gl.txt<br>
>     +++ b/tests/spec/arb_separate_shader_objects/CMakeLists.gl.txt<br>
>     @@ -10,3 +10,4 @@ link_libraries (<br>
>      )<br>
><br>
>      piglit_add_executable<br>
>     (arb_separate_shader_object-GetProgramPipelineiv GetProgramPipelineiv.c)<br>
>     +piglit_add_executable (arb_separate_shader_object-IsProgramPipeline<br>
>     IsProgramPipeline.c)<br>
>     diff --git<br>
>     a/tests/spec/arb_separate_shader_objects/IsProgramPipeline.c<br>
>     b/tests/spec/arb_separate_shader_objects/IsProgramPipeline.c<br>
>     new file mode 100644<br>
>     index 0000000..a0f561a<br>
>     --- /dev/null<br>
>     +++ b/tests/spec/arb_separate_shader_objects/IsProgramPipeline.c<br>
>     @@ -0,0 +1,138 @@<br>
>     +/*<br>
</div></div>>     + * Copyright Š 2013 Gregory Hainaut <<a href="mailto:gregory.hainaut@gmail.com">gregory.hainaut@gmail.com</a><br>
>     <mailto:<a href="mailto:gregory.hainaut@gmail.com">gregory.hainaut@gmail.com</a>>><br>
<div><div class="h5">>     + *<br>
>     + * Permission is hereby granted, free of charge, to any person<br>
>     obtaining a<br>
>     + * copy of this software and associated documentation files (the<br>
>     "Software"),<br>
>     + * to deal in the Software without restriction, including without<br>
>     limitation<br>
>     + * the rights to use, copy, modify, merge, publish, distribute,<br>
>     sublicense,<br>
>     + * and/or sell copies of the Software, and to permit persons to<br>
>     whom the<br>
>     + * Software is furnished to do so, subject to the following conditions:<br>
>     + *<br>
>     + * The above copyright notice and this permission notice (including<br>
>     the next<br>
>     + * paragraph) shall be included in all copies or substantial<br>
>     portions of the<br>
>     + * Software.<br>
>     + *<br>
>     + * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,<br>
>     EXPRESS OR<br>
>     + * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF<br>
>     MERCHANTABILITY,<br>
>     + * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO<br>
>     EVENT SHALL<br>
>     + * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM,<br>
>     DAMAGES OR OTHER<br>
>     + * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE,<br>
>     ARISING<br>
>     + * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR<br>
>     OTHER DEALINGS<br>
>     + * IN THE SOFTWARE.<br>
>     + */<br>
>     +<br>
>     +/**<br>
>     + * \name IsProgramPipeline.c<br>
>     + * Verify correct behavior of glIsProgramPipeline relative to when<br>
>     a pipeline<br>
>     + * actually starts to exist.<br>
>     + *<br>
>     + * Also verify that glGenProgramPipelines and<br>
>     glDeleteProgramPipelines with<br>
>     + * negative counts function correctly.<br>
>     + *<br>
>     + * Section 2.11.4 (Program Pipeline Objects) of the OpenGL 4.1 spec<br>
>     says:<br>
>     + *<br>
>     + *     "The command<br>
>     + *<br>
>     + *         void GenProgramPipelines( sizei n, uint *pipelines );<br>
>     + *<br>
>     + *     returns n previously unused program pipeline object names in<br>
>     + *     pipelines. These names are marked as used, for the purposes of<br>
>     + *     GenProgramPipelines only, but they acquire state only when<br>
>     they are<br>
>     + *     first bound."<br>
>     + */<br>
>     +<br>
>     +#include "piglit-util-gl-common.h"<br>
>     +<br>
>     +PIGLIT_GL_TEST_CONFIG_BEGIN<br>
>     +<br>
>     +       config.supports_gl_compat_version = 10;<br>
>     +<br>
>     +       config.window_width = 32;<br>
>     +       config.window_height = 32;<br>
>     +<br>
>     +PIGLIT_GL_TEST_CONFIG_END<br>
>     +<br>
>     +static bool pass;<br>
>     +<br>
>     +enum piglit_result<br>
>     +piglit_display(void)<br>
>     +{<br>
>     +       /* UNREACHED */<br>
>     +       return PIGLIT_FAIL;<br>
>     +}<br>
>     +<br>
>     +static void<br>
>     +IsProgramPipeline(GLuint pipe, GLboolean expected)<br>
>     +{<br>
>     +       GLboolean status = glIsProgramPipeline(pipe);<br>
>     +<br>
>     +       if (status != expected) {<br>
>     +               pass = GL_FALSE;<br>
>     +<br>
>     +               fprintf(stderr,<br>
>     +                       "Pipeline %d has wrong IsProgramPipeline. "<br>
>     +                       "Expected %d, got %d\n",<br>
>     +                       pipe, expected, status);<br>
>     +       }<br>
>     +}<br>
>     +<br>
>     +void<br>
>     +piglit_init(int argc, char **argv)<br>
>     +{<br>
>     +       GLuint id[4];<br>
>     +       int i;<br>
>     +       GLint dummy;<br>
>     +<br>
>     +       piglit_require_gl_version(20);<br>
<br>
</div></div>And it looks like this can use the config.supports_gl_compat_version<br>
change too.<br>
<div class="im"><br>
>     +       piglit_require_extension("GL_ARB_separate_shader_objects");<br>
>     +<br>
>     +       pass = true;<br>
>     +<br>
>     +       assert(glGetError() == GL_NO_ERROR);<br>
>     +<br>
>     +       if (!piglit_automatic)<br>
>     +               printf("glGenProgramPipelines with negative n value\n");<br>
><br>
><br>
> As with the previous patch, I think summary messages like these should<br>
> be printed regardless of whether we're runing in "automatic" mode.<br>
<br>
</div>I'm working on a bunch of stuff for the previous patch, but I wanted to<br>
reply to this comment sooner rather than later.  We /used to/ try to<br>
have tests produce as little output as possible with -auto, but generate<br>
information helpful to debugging without -auto.<br></blockquote><div><br></div><div>Can you help me understand the motivation for this?  I realize that it's nice to have a test print less chatty output when it passes, but it seems to me that conditioning the extra output on automatic/manual mode makes the benefit very tiny, because 99% of the time we are running a test in automatic mode we're running it under piglit-run.py, so its output is being collected in a file.  We pretty much only click through to see the output is when the test fails, and in that case the extra chattiness is usually helpful because it helps us determine the exact point in the test where the failure occurred.  That's especially important for tests that fail sporadically, because re-running the test in the event of a failure is not always a viable option.<br>
<br>In light of that, I'm actually not concerned about this issue on patch 3 anymore, because piglit_check_gl_error prints the filename and line number when there is a failure, so the extra printfs aren't needed to figure out exactly when the failure occurred.  Patch 3 gets my reviewed-by as is.<br>
<br>I stand by my concern for patch 2 though, because patch 2 calls piglit_check_gl_error from inside functions that get called multiple times, so the printfs really are needed to figure out which stage provoked the failure.  In point of fact, patch 2 probably could use an additional printf inside check_stage().<br>
<br></div><div>I really wish Piglit had a feature like gtest's "SCOPED_TRACE" macro (<a href="http://code.google.com/p/googletest/wiki/AdvancedGuide#Adding_Traces_to_Assertions">http://code.google.com/p/googletest/wiki/AdvancedGuide#Adding_Traces_to_Assertions</a>).  That would address my needs without producing extra chatty output in the event of a passing test.<br>
</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
That said, I actually think this test (and the other ones) should use<br>
piglit_report_subtest_result instead.  Would that be better?<br></blockquote><div><br></div><div>Using piglit_report_subtest_result would certainly address my concerns, but I don't have strong feelings about it being necessary.  For patch 2 I'd be happy either with unconditional printf approach or the subtest approach.<br>
</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div class="im"><br>
> With that fixed, this patch is:<br>
><br>
> Reviewed-by: Paul Berry <<a href="mailto:stereotype441@gmail.com">stereotype441@gmail.com</a><br>
</div>> <mailto:<a href="mailto:stereotype441@gmail.com">stereotype441@gmail.com</a>>><br>
<div><div class="h5">><br>
><br>
>     +<br>
>     +       glGenProgramPipelines(-1, id);<br>
>     +       pass = piglit_check_gl_error(GL_INVALID_VALUE) && pass;<br>
>     +<br>
>     +       if (!piglit_automatic)<br>
>     +               printf("glGenProgramPipelines with correct n value\n");<br>
>     +<br>
>     +       glGenProgramPipelines(4, id);<br>
>     +       pass = piglit_check_gl_error(GL_NO_ERROR) && pass;<br>
>     +<br>
>     +       for (i = 0; i < 4 ; i++) {<br>
>     +               IsProgramPipeline(id[i], GL_FALSE);<br>
>     +       }<br>
>     +<br>
>     +       glBindProgramPipeline(id[0]);<br>
>     +       glUseProgramStages(id[1], GL_ALL_SHADER_BITS, 0);<br>
>     +       glActiveShaderProgram(id[2], 0);<br>
>     +       glGetProgramPipelineiv(id[3], GL_VERTEX_SHADER, &dummy);<br>
>     +<br>
>     +       /* Flush any errors.  The goal is to check that object acquire a<br>
>     +        * state.<br>
>     +        */<br>
>     +       while (glGetError() != GL_NO_ERROR)<br>
>     +               ;<br>
>     +<br>
>     +       for (i = 0; i < 4 ; i++) {<br>
>     +               IsProgramPipeline(id[i], GL_TRUE);<br>
>     +       }<br>
>     +<br>
>     +       if (!piglit_automatic)<br>
>     +               printf("glDeleteProgramPipelines with negative n<br>
>     value\n");<br>
>     +<br>
>     +       glDeleteProgramPipelines(-1, id);<br>
>     +       pass = piglit_check_gl_error(GL_INVALID_VALUE) && pass;<br>
>     +<br>
>     +       if (!piglit_automatic)<br>
>     +               printf("glDeleteProgramPipelines with correct n<br>
>     value\n");<br>
>     +<br>
>     +       glDeleteProgramPipelines(4, id);<br>
>     +       pass = piglit_check_gl_error(GL_NO_ERROR) && pass;<br>
>     +<br>
>     +       piglit_present_results();<br>
>     +       piglit_report_result(pass ? PIGLIT_PASS : PIGLIT_FAIL);<br>
>     +}<br>
>     --<br>
>     1.8.1.4<br>
><br>
>     _______________________________________________<br>
>     Piglit mailing list<br>
</div></div>>     <a href="mailto:Piglit@lists.freedesktop.org">Piglit@lists.freedesktop.org</a> <mailto:<a href="mailto:Piglit@lists.freedesktop.org">Piglit@lists.freedesktop.org</a>><br>
>     <a href="http://lists.freedesktop.org/mailman/listinfo/piglit" target="_blank">http://lists.freedesktop.org/mailman/listinfo/piglit</a><br>
<br>
</blockquote></div><br></div></div>