<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Sep 30, 2014 at 12:05 PM, Emil Velikov <span dir="ltr"><<a href="mailto:emil.l.velikov@gmail.com" target="_blank">emil.l.velikov@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">So in a nutshell what I've gathered so far:<br>
<br>
 * Concerns that it will take too much effort.<br>
Dare I say it - it will not. A single build + sanity run takes a few<br>
minutes.<br>
<br>
 * There is no point if tagging/shipping (distro or otherwise) piglit<br>
for people that do not know/have the time/etc to build it.<br>
With all respect - even if all of us have plenty of trained members in<br>
their QA team, I believe that we all can welcome the little extra<br>
assistance this can bring us. Imho AMD and Nvidia hardware tend to have<br>
more (versatile) products, so additional testing there would always be<br>
appreciated.<br>
<br></blockquote><div><br></div><div>The tagging/version information can also be used as a reference to improve the reliability of the test framework by giving reference points to work with. Just as a note, Since July 1st more than 440 commits have been made to the piglit tree. Also, I believe that these tags can be used by any vendor implementing opengl to improve overall driver quality while also improving the interoperability of user space code with mesa. <br> <br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
 * But to what end? Why is packaging snapshots of an always changing<br>
developer test suite useful?<br>
- Does it hurt ? I believe not.<br>
- Is there a possibility of being useful ? Not amazingly large, but yes.<br>
- Would it help the versatility "problem" mentioned above ? Possibly.<br>
- Will it align with i-g-t requirements, without the hassle of splitting<br>
the tests from the testrunner ? Yes.<br> 
<br></blockquote><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
 * Split the runner from the tests, so that it can be used by others -<br>
i-g-t.<br>
As already pointed this alone will be more than enough hassle for devs<br>
and QA alike. Perhaps we can hold off the idea for now ?<br>
<br>
<br>
I believe this covers most/all topics. Are there any actual<br>
concerns/issues that someone can foresee with this idea ? I feel that<br>
someone may envision/feels that this may cause headaches but is keeping<br>
low :)<br>
<div class="HOEnZb"><div class="h5"><br>
<br>
Thanks<br>
Emil<br></div></div></blockquote><div><br></div><div>I agree with the idea of having tags/versions. I believe piglit is a large enough project now that it seriously is needing this to help improve the ability to find major bugs. I believe it is not exactly a major issue to give a driver two quick test runs.  The first test run would be to run both drivers against the last tag of piglit, and then the next test run would be to run the tests against the revision of piglit that will be flagged as the tag for this driver. It would be expected that the old tag would possibly see some regressions, but if there is a major problem that appears it would be easily seen, however, the final say would be against the most current release of piglit.<br> <br></div></div></div></div>