<html>
    <head>
      <base href="https://bugs.freedesktop.org/" />
    </head>
    <body>
      <p>
        <div>
            <b><a class="bz_bug_link 
          bz_status_ASSIGNED "
   title="ASSIGNED --- - [HSW ULT]igt/pc8 skipped"
   href="https://bugs.freedesktop.org/show_bug.cgi?id=69838#c6">Comment # 6</a>
              on <a class="bz_bug_link 
          bz_status_ASSIGNED "
   title="ASSIGNED --- - [HSW ULT]igt/pc8 skipped"
   href="https://bugs.freedesktop.org/show_bug.cgi?id=69838">bug 69838</a>
              from <span class="vcard"><a class="email" href="mailto:daniel@ffwll.ch" title="Daniel Vetter <daniel@ffwll.ch>"> <span class="fn">Daniel Vetter</span></a>
</span></b>
        <pre>(In reply to <a href="show_bug.cgi?id=69838#c5">comment #5</a>)
<span class="quote">> If we replace the SKIP with FAIL on machines that are not properly
> configured we'll start getting bug reports that are not really bugs and we
> won't be able to fix. We'll also have to always analyze the logs to check if
> the report is really a regression or if it's just a badly configured machine.</span >

And I absolutely want these bug reports. You're right that misconfigured test
machines isn't our bug, but we need to notice such issues, track and fix them.
I think adding a QA component in our internal JIRA would be good for that, I'll
chat with Gavin about this.

So yes, if a test can't work because the machine is misconfigured it should
fail, not skip. That's how all the other testcase already work, and
occasionally we get a bug report which isn't a kernel issue but a setup issue.
The other option of silently not testing features (which is currently the case,
at least according to QA's nightly test db there's not a single machine where
the pc8 tests are executed).</pre>
        </div>
      </p>
      <hr>
      <span>You are receiving this mail because:</span>
      
      <ul>
          <li>You are the QA Contact for the bug.</li>
          <li>You are on the CC list for the bug.</li>
      </ul>
    </body>
</html>