<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>
</head>
<body dir="ltr">
<p style="font-family:Calibri;font-size:10pt;color:#0000FF;margin:5pt;font-style:normal;font-weight:normal;text-decoration:none;" align="Left">
[AMD Official Use Only - AMD Internal Distribution Only]<br>
</p>
<br>
<div>
<div class="elementToProof" style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
All legacy / kernel queues related ops (add / remove / reset) can go through KIQ pipe. Non queue related ops (read_reg / write_reg etc.) can go through KIQ pipe too.</div>
<div class="elementToProof" style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
All user queues related ops should go through SCHED pipe</div>
<div id="appendonsend"></div>
<hr style="display:inline-block;width:98%" tabindex="-1">
<div id="divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" style="font-size:11pt" color="#000000"><b>From:</b> Alex Deucher <alexdeucher@gmail.com><br>
<b>Sent:</b> Tuesday, April 29, 2025 3:05 PM<br>
<b>To:</b> Liu, Shaoyun <Shaoyun.Liu@amd.com><br>
<b>Cc:</b> Chen, Michael <Michael.Chen@amd.com>; Deucher, Alexander <Alexander.Deucher@amd.com>; amd-gfx@lists.freedesktop.org <amd-gfx@lists.freedesktop.org>; Khatri, Sunil <Sunil.Khatri@amd.com>; Liang, Prike <Prike.Liang@amd.com><br>
<b>Subject:</b> Re: [PATCH 5/8] drm/amdgpu/mes12: add support for setting gang submit</font>
<div> </div>
</div>
<div class="BodyFragment"><font size="2"><span style="font-size:11pt;">
<div class="PlainText">On Tue, Apr 29, 2025 at 2:56 PM Liu, Shaoyun <Shaoyun.Liu@amd.com> wrote:<br>
><br>
> [AMD Official Use Only - AMD Internal Distribution Only]<br>
><br>
> Correctly , the gang submission related stuff only used for scheduler pipe , kiq is for used for kernel driver only and  should not expose to the  user queue.<br>
<br>
What about kernel queues mapped through MES?  Do those need to go<br>
through KIQ or is SCHED ok?  They seem to go through KIQ today.  Is<br>
going through SCHED ok?<br>
<br>
Alex<br>
<br>
<br>
><br>
> Regards<br>
> Shaoyun.liu<br>
><br>
> -----Original Message-----<br>
> From: amd-gfx <amd-gfx-bounces@lists.freedesktop.org> On Behalf Of Alex Deucher<br>
> Sent: Tuesday, April 29, 2025 2:39 PM<br>
> To: Chen, Michael <Michael.Chen@amd.com><br>
> Cc: Deucher, Alexander <Alexander.Deucher@amd.com>; amd-gfx@lists.freedesktop.org; Khatri, Sunil <Sunil.Khatri@amd.com>; Liang, Prike <Prike.Liang@amd.com><br>
> Subject: Re: [PATCH 5/8] drm/amdgpu/mes12: add support for setting gang submit<br>
><br>
> On Tue, Apr 29, 2025 at 2:23 PM Chen, Michael <Michael.Chen@amd.com> wrote:<br>
> ><br>
> > [Public]<br>
> ><br>
> ><br>
> ><br>
> ><br>
> > ________________________________<br>
> > From: amd-gfx <amd-gfx-bounces@lists.freedesktop.org> on behalf of<br>
> > Alex Deucher <alexander.deucher@amd.com><br>
> > Sent: Monday, April 28, 2025 5:20 PM<br>
> > To: amd-gfx@lists.freedesktop.org <amd-gfx@lists.freedesktop.org><br>
> > Cc: Deucher, Alexander <Alexander.Deucher@amd.com>; Khatri, Sunil<br>
> > <Sunil.Khatri@amd.com>; Liang, Prike <Prike.Liang@amd.com><br>
> > Subject: [PATCH 5/8] drm/amdgpu/mes12: add support for setting gang<br>
> > submit<br>
> ><br>
> > Enable a primary and secondary queue that schedule together.<br>
> ><br>
> > v2: fix offset of api_status (Prike)<br>
> ><br>
> > Acked-by: Sunil Khatri <sunil.khatri@amd.com><br>
> > Reviewed-by: Prike Liang <Prike.Liang@amd.com><br>
> > Signed-off-by: Alex Deucher <alexander.deucher@amd.com><br>
> > ---<br>
> >  drivers/gpu/drm/amd/amdgpu/mes_v12_0.c | 28<br>
> > ++++++++++++++++++++++++++<br>
> >  1 file changed, 28 insertions(+)<br>
> ><br>
> > diff --git a/drivers/gpu/drm/amd/amdgpu/mes_v12_0.c<br>
> > b/drivers/gpu/drm/amd/amdgpu/mes_v12_0.c<br>
> > index f9f2fbc0a7166..57d8b78210f9f 100644<br>
> > --- a/drivers/gpu/drm/amd/amdgpu/mes_v12_0.c<br>
> > +++ b/drivers/gpu/drm/amd/amdgpu/mes_v12_0.c<br>
> > @@ -879,6 +879,33 @@ static int mes_v12_0_reset_hw_queue(struct amdgpu_mes *mes,<br>
> >                          offsetof(union MESAPI__RESET, api_status));<br>
> > }<br>
> ><br>
> > +static int mes_v12_0_set_gang_submit(struct amdgpu_mes *mes,<br>
> > +                                    struct mes_set_gang_submit_input<br>
> > +*input) {<br>
> > +       union MESAPI__SET_GANG_SUBMIT mes_gang_submit_pkt;<br>
> > +       int pipe;<br>
> > +<br>
> > +       memset(&mes_gang_submit_pkt, 0, sizeof(mes_gang_submit_pkt));<br>
> > +<br>
> > +       mes_gang_submit_pkt.header.type = MES_API_TYPE_SCHEDULER;<br>
> > +       mes_gang_submit_pkt.header.opcode = MES_SCH_API_SET_GANG_SUBMIT;<br>
> > +       mes_gang_submit_pkt.header.dwsize = API_FRAME_SIZE_IN_DWORDS;<br>
> > +<br>
> > +       mes_gang_submit_pkt.set_gang_submit.gang_context_addr =<br>
> > +               input->primary_gang_context_addr;<br>
> > +       mes_gang_submit_pkt.set_gang_submit.slave_gang_context_addr =<br>
> > +               input->secondary_gang_context_addr;<br>
> > +<br>
> > +       if (mes->adev->enable_uni_mes)<br>
> > +               pipe = AMDGPU_MES_KIQ_PIPE;<br>
> > +       else<br>
> > +               pipe = AMDGPU_MES_SCHED_PIPE;<br>
> ><br>
> > I think this packet should be always submitted to<br>
> > AMDGPU_MES_SCHED_PIPE, same pipe as in mes_v12_0_add_hw_queue where the queue is created.<br>
> > This is because HWS on AMDGPU_MES_KIQ_PIPE does not have the queue information.<br>
><br>
> Sounds like the reset queue function and the map and unmap legacy queues should also be changed?<br>
><br>
> Alex<br>
><br>
> ><br>
> > +<br>
> > +       return mes_v12_0_submit_pkt_and_poll_completion(mes, pipe,<br>
> > +                       &mes_gang_submit_pkt, sizeof(mes_gang_submit_pkt),<br>
> > +                       offsetof(union MESAPI__SET_GANG_SUBMIT,<br>
> > +api_status)); }<br>
> > +<br>
> >  static const struct amdgpu_mes_funcs mes_v12_0_funcs = {<br>
> >          .add_hw_queue = mes_v12_0_add_hw_queue,<br>
> >          .remove_hw_queue = mes_v12_0_remove_hw_queue, @@ -888,6<br>
> > +915,7 @@ static const struct amdgpu_mes_funcs mes_v12_0_funcs = {<br>
> >          .resume_gang = mes_v12_0_resume_gang,<br>
> >          .misc_op = mes_v12_0_misc_op,<br>
> >          .reset_hw_queue = mes_v12_0_reset_hw_queue,<br>
> > +       .set_gang_submit = mes_v12_0_set_gang_submit,<br>
> >  };<br>
> ><br>
> >  static int mes_v12_0_allocate_ucode_buffer(struct amdgpu_device<br>
> > *adev,<br>
> > --<br>
> > 2.49.0<br>
> ><br>
</div>
</span></font></div>
</div>
</body>
</html>