<div dir="ltr">Hi,<div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, May 30, 2022 at 10:03 AM Stephan Bergmann <<a href="mailto:sbergman@redhat.com">sbergman@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On 25/05/2022 14:38, Maarten Hoes wrote:<br>
> gb_GCOV=YES verbose=t make UITest_solver<br>
> gb_GCOV=YES verbose=t make CppunitTest_sccomp_solver<br>
> gb_GCOV=YES verbose=t make CppunitTest_sccomp_swarmsolvertest<br>
<br>
I /think/ to remember that at least some of those solver tests are time <br>
based, so that they may occasionally fail for slow builds.  (I've seen <br>
such *Test_*solver* fail on and off for <br>
<<a href="https://ci.libreoffice.org/job/lo_ubsan/" rel="noreferrer" target="_blank">https://ci.libreoffice.org/job/lo_ubsan/</a>> and/or my local ASan+UBSan <br>
builds, tried to look into it a long time ago, got confirmation from I <br>
can't remember who that those tests can indeed timeout unsuccessfully <br>
without necessarily indicating a failure, and thus started to ignore <br>
them ever since.)<br></blockquote><div><br></div><br><div>That would be a shame. I got the impression that, for me specifically, these 3 tests failed reliably/reproducible when built with gcov, and succeeded without gcov, but I'll do some more testing to verify that.<br><br>Anyway, if more tests fail sometimes without there being a 'real' failure, then I am not sure how to deal with that in relation to generating an lcov report for a full build. My initial idea was to not generate a report if 'make check' failed, but hearing this now makes me wonder if that would be a good approach. Perhaps it would be preferred just to run 'make -k check' and generate a report always, regardless of test failures ? Of course you could also choose to skip such tests, but that would lead to not representative results; and someone would have to manually keep the skip list up to date, which people will forget to do.<br><br><br>- Maarten <br></div></div></div>