<div dir="ltr"><div dir="ltr">I am sorry.  Perhaps I am under the wrong impression.  My understanding is that there are three pieces needed (in addition to the hardware) as follows:<div><br></div><div>1. the low-level drivers (nouveau or Nvidia)</div><div>2. the GPU library (Nvidia only)</div><div>3. the LLM software</div><div><br></div><div>#3 requires #2.  #2 requires the Nvidia low-level driver and will not work with the nouveau driver.</div><div><br></div><div>If I am correct, specifying any of what you ask is superfluous.  If I am incorrect, great!  Glad to hear it!  I need to investigate further.</div><div><br></div><div>Please let me know if nouveau supports the Nvidia's GPU library or not (or perhaps my assumptions are incorrect)?</div><div><br></div><div>Thanks!</div><div><br></div><div>Blake McBride</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Jun 5, 2024 at 5:42 AM Philipp Stanner <<a href="mailto:pstanner@redhat.com">pstanner@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Tue, 2024-06-04 at 10:27 -0500, Blake McBride wrote:<br>
> Greetings,<br>
> <br>
> I have used the nouveau driver with my Nvidia card on Linux.  Works<br>
> fine.  However, my problem has to do with running LLM on my GPU with<br>
> your driver.  My impression is, it doesn't work.  Am I correct?<br>
<br>
Yo,<br>
<br>
"it doesn't work" is not a very precise error description.<br>
<br>
The maintainers will need info such as:<br>
<br>
Which kernel version, what payload, how's the payload invoked and what<br>
is the observed error?<br>
<br>
<br>
P.<br>
<br>
> <br>
> Given today's environment, this may be a good FAQ.<br>
> <br>
> Thanks!<br>
> <br>
> Blake McBride<br>
> <br>
<br>
</blockquote></div></div>