<div dir="ltr"><div class="gmail_default" style="font-size:small">Hi Mesa Developers,</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">Since going public with the Mesa Graphics Testing Services system last week, I have received some questions and comments that made me think it would be good to articulate the objectives of the Mesa Graphics Testing Services:</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default"><ol style="box-sizing:inherit;margin-top:0px;margin-bottom:1rem;font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,"Helvetica Neue",Arial,sans-serif"><li style="box-sizing:inherit"><span style="box-sizing:inherit"><font color="#000000">Detection of regressions (both image rendering and performance)</font></span></li><li style="box-sizing:inherit"><span style="box-sizing:inherit"><font color="#000000">Provide a service to Mesa Developers to test out their development branches for regressions before merging.</font></span></li><li style="box-sizing:inherit"><span style="box-sizing:inherit"><font color="#000000">Provide ongoing testing on Mesa Releases and maintain a history of results that is helpful in continued monitoring of Mesa driver release quality as it relates to Steam games.</font></span></li><li style="box-sizing:inherit"><span style="box-sizing:inherit"><font color="#000000">Provide a maintained baseline of known good images and performance for various Steam game frames.</font></span></li><li style="box-sizing:inherit"><span style="box-sizing:inherit"><font color="#000000">NOT Objective: Performance bench-marking test suite. The tests in the Mesa testing system are not a measure of overall game performance since game logic will be removed at test time. The tests are focused on Mesa driver functionality and performance through the GPU.</font></span></li></ol><div><font color="#373a3c" face="-apple-system, BlinkMacSystemFont, Segoe UI, Roboto, Helvetica Neue, Arial, sans-serif">Karen Ghavam</font></div><div><font color="#373a3c" face="-apple-system, BlinkMacSystemFont, Segoe UI, Roboto, Helvetica Neue, Arial, sans-serif">CEO and Engineering Director</font></div><div><font color="#373a3c" face="-apple-system, BlinkMacSystemFont, Segoe UI, Roboto, Helvetica Neue, Arial, sans-serif">LunarG, Inc.</font></div><p style="font-size:16px;box-sizing:inherit;margin-top:0px;margin-bottom:1rem;color:rgb(55,58,60);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,"Helvetica Neue",Arial,sans-serif"><span style="font-family:arial,sans-serif;font-size:small;color:rgb(34,34,34)"><br></span></p><p style="font-size:16px;box-sizing:inherit;margin-top:0px;margin-bottom:1rem;color:rgb(55,58,60);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,"Helvetica Neue",Arial,sans-serif"><span style="font-family:arial,sans-serif;font-size:small;color:rgb(34,34,34)">On Wed, Nov 15, 2017 at 1:32 PM, Pierre-Loup A. Griffais </span><span dir="ltr" style="font-family:arial,sans-serif;font-size:small;color:rgb(34,34,34)"><<a href="mailto:pgriffais@valvesoftware.com" target="_blank">pgriffais@valvesoftware.com</a>></span><span style="font-family:arial,sans-serif;font-size:small;color:rgb(34,34,34)"> wrote:</span><br></p></div><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi Mesa-Devel,<br>
<br>
Today we're happy to announce that we're making the LunarG driver<br>
testing system available to the Mesa development community. We've been<br>
using this system internally for quite some time, but we've recently<br>
done some more work so the results could also be publicly available for<br>
the community to track regressions, and for developers to be able to<br>
submit their branches for pre-submit testing.<br>
<br>
The LunarG test system is a service that provides regular regression<br>
testing on Mesa releases for Intel and AMD OpenGL graphics drivers. It<br>
also enables users to test their own Mesa builds and compare results to<br>
LunarG baselines, LunarG test runs, or user test runs. The objective of<br>
the LunarG test system service for Mesa is to identify regressions in<br>
performance or rendering for Mesa releases and developer's branches that<br>
would negatively impact the gaming experience.<br>
<br>
The test suite is a collection of trace files created from hundreds of<br>
Linux OpenGL games from Steam. These trace files are used to automate<br>
testing of rendering correctness as well as game performance. There are<br>
currently 6 graphics platforms available for test (3 configurations each<br>
of Intel and AMD graphics). The full suite of games typically runs<br>
overnight with results posted the next day.<br>
<br>
To access the test system and browse results: <a href="https://share.lunarg.com" rel="noreferrer" target="_blank">https://share.lunarg.com</a> (click on "Test System") on the left.<br>
<br>
Here's an example of a test report that a Mesa bug could possibly be filed from after inspection: <a href="https://imgur.com/a/cBonz" rel="noreferrer" target="_blank">https://imgur.com/a/cBonz</a><br>
<br>
To learn more about how the test system works, read the short user<br>
manual: <a href="https://share.lunarg.com/test/manual" rel="noreferrer" target="_blank">https://share.lunarg.com/test/<wbr>manual</a><br>
<br>
Let us know if you have any feedback or questions. Vulkan support is<br>
planned for the future, but not ready quite yet.<br>
<br>
Thanks,<br>
  - Pierre-Loup<br>
<br>
</blockquote></div><br></div></div>