<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:宋体;
        panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:等线;
        panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:"\@宋体";
        panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
        {font-family:"\@等线";
        panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
        {font-family:"Courier New \;color\:\#D4D4D4";
        panose-1:0 0 0 0 0 0 0 0 0 0;}
@font-face
        {font-family:"Courier New \;color\:\#569CD6";
        panose-1:0 0 0 0 0 0 0 0 0 0;}
@font-face
        {font-family:"Courier New \;color\:\#DCDCAA";
        panose-1:0 0 0 0 0 0 0 0 0 0;}
@font-face
        {font-family:"Courier New \;color\:\#9CDCFE";
        panose-1:0 0 0 0 0 0 0 0 0 0;}
@font-face
        {font-family:"Courier New \;color\:\#C586C0";
        panose-1:0 0 0 0 0 0 0 0 0 0;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:宋体;
        color:black;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p.msonormal0, li.msonormal0, div.msonormal0
        {mso-style-name:msonormal;
        margin:0cm;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:宋体;
        color:black;}
span.EmailStyle18
        {mso-style-type:personal;
        font-family:等线;
        color:windowtext;}
span.EmailStyle20
        {mso-style-type:personal-reply;
        font-family:等线;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:72.0pt 90.0pt 72.0pt 90.0pt;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body bgcolor="white" lang="ZH-CN" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:等线;color:windowtext">No that’s not true<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:等线;color:windowtext"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:等线;color:windowtext">The free_job() is called in sched_job_finish() which is queued on a WORK and scheduled from that “amd_sched_fence_finished()”<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:等线;color:windowtext">So the finishing timing of free_job() is asynchronized with sched_process_job()<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:等线;color:windowtext"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:等线;color:windowtext">How can you sure free_job() must before “trace_amd_sched_process_job” ?<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:等线;color:windowtext"><o:p> </o:p></span></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><b><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:windowtext">From:</span></b><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:windowtext"> Koenig, Christian
<br>
<b>Sent:</b> 2017</span><span style="font-size:11.0pt;color:windowtext">年</span><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:windowtext">10</span><span style="font-size:11.0pt;color:windowtext">月</span><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:windowtext">13</span><span style="font-size:11.0pt;color:windowtext">日</span><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:windowtext">
 16:43<br>
<b>To:</b> Liu, Monk <Monk.Liu@amd.com>; Nicolai Hähnle <nhaehnle@gmail.com>; amd-gfx@lists.freedesktop.org<br>
<b>Subject:</b> Re: regression with d6c650c0a8f6f671e49553725e1db541376d95f2<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<div>
<p class="MsoNormal"><span lang="EN-US">The free_job() callback is called only way after the job has finished.<br>
<br>
That is one change actually made by you to the code :)<br>
<br>
Christian.<br>
<br>
Am 13.10.2017 um 10:39 schrieb Liu, Monk:<o:p></o:p></span></p>
</div>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:等线;color:windowtext">I doubt it would always work fine</span><span style="font-size:10.5pt;font-family:等线;color:windowtext">…</span><span lang="EN-US"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:等线;color:windowtext"> </span><span lang="EN-US"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:等线;color:windowtext">First, we have FENCE_TRACE reference s_fence->finished after
</span><span style="font-size:10.5pt;font-family:等线;color:windowtext">“<span lang="EN-US">fence_signal(&fence->finished)</span>”</span><span lang="EN-US"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:等线;color:windowtext">Second, we have trace_amd_sched_proess_job(s_fence) after
</span><span style="font-size:10.5pt;font-family:等线;color:windowtext">“<span lang="EN-US">amd_sched_fence_finished()</span>”<span lang="EN-US">,</span></span><span lang="EN-US"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:等线;color:windowtext"> </span><span lang="EN-US"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:等线;color:windowtext">If you put the finished before free_job() and by coincidence the job_finish() get very soon executed you</span><span style="font-size:10.5pt;font-family:等线;color:windowtext">’<span lang="EN-US">ll
 have odds to hit wild pointer on above two cases</span></span><span lang="EN-US"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:等线;color:windowtext"> </span><span lang="EN-US"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:等线;color:windowtext">BR Monk</span><span lang="EN-US"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:等线;color:windowtext"> </span><span lang="EN-US"><o:p></o:p></span></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><b><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:windowtext">From:</span></b><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:windowtext"> Koenig, Christian
<br>
<b>Sent:</b> 2017</span><span style="font-size:11.0pt;color:windowtext">年</span><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:windowtext">10</span><span style="font-size:11.0pt;color:windowtext">月</span><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:windowtext">13</span><span style="font-size:11.0pt;color:windowtext">日</span><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:windowtext">
 16:17<br>
<b>To:</b> Liu, Monk <a href="mailto:Monk.Liu@amd.com"><Monk.Liu@amd.com></a>; Nicolai Hähnle
<a href="mailto:nhaehnle@gmail.com"><nhaehnle@gmail.com></a>; <a href="mailto:amd-gfx@lists.freedesktop.org">
amd-gfx@lists.freedesktop.org</a><br>
<b>Subject:</b> Re: regression with d6c650c0a8f6f671e49553725e1db541376d95f2</span><span lang="EN-US"><o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><span lang="EN-US"> <o:p></o:p></span></p>
<div>
<p class="MsoNormal"><span lang="EN-US">Yeah, that change is actually incorrect and should be reverted.<br>
<br>
What we really need to do is remove dropping sched_job->s_fence from amd_sched_process_job() into amd_sched_job_finish() directly before the call to free_job().<br>
<br>
Regards,<br>
Christian.<br>
<br>
Am 13.10.2017 um 09:24 schrieb Liu, Monk:<o:p></o:p></span></p>
</div>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<div id="divtagdefaultwrapper">
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt"><span lang="EN-US" style="font-family:"Calibri",sans-serif">commit d6c650c0a8f6f671e49553725e1db541376d95f2<br>
Author: Nicolai Hähnle <a href="mailto:nicolai.haehnle@amd.com"><nicolai.haehnle@amd.com></a><br>
@@ -611,6 +611,10 @@ static int amd_sched_main(void *param)<br>
 <br>
                fence = sched->ops->run_job(sched_job);<br>
                amd_sched_fence_scheduled(s_fence);<br>
+<br>
+               /* amd_sched_process_job drops the job's reference of the fence. */<br>
+               sched_job->s_fence = NULL;<br>
+<br>
                if (fence) {<br>
                        s_fence->parent = dma_fence_get(fence);<br>
                        r = dma_fence_add_callback(fence, &s_fence->cb,</span><span lang="EN-US"><o:p></o:p></span></p>
</div>
<p><span lang="EN-US" style="font-family:"Calibri",sans-serif">Hi Nicolai</span><span lang="EN-US"><o:p></o:p></span></p>
<p><span lang="EN-US" style="font-family:"Calibri",sans-serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
<p><span lang="EN-US" style="font-family:"Calibri",sans-serif">with this patch, you will break "amdgpu_sched_hw_job_reset()"routine:</span><span lang="EN-US"><o:p></o:p></span></p>
<div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
<div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#569CD6",serif">void</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">
</span><span lang="EN-US"><o:p></o:p></span></p>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#DCDCAA",serif">amd_sched_hw_job_reset</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">(</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#569CD6",serif">struct</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">
 amd_gpu_scheduler</span><span lang="EN-US"><o:p></o:p></span></p>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">*sched)</span><span lang="EN-US"><o:p></o:p></span></p>
</div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
<div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">{</span><span lang="EN-US"><o:p></o:p></span></p>
</div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
<div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">    </span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#569CD6",serif">struct</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">
 amd_sched_job</span><span lang="EN-US"><o:p></o:p></span></p>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">*s_job;</span><span lang="EN-US"><o:p></o:p></span></p>
</div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
<div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">    </span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#DCDCAA",serif">spin_lock</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">(&sched-></span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#9CDCFE",serif">job_list_lock</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">);</span><span lang="EN-US"><o:p></o:p></span></p>
</div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
<div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">    </span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#DCDCAA",serif">list_for_each_entry_reverse</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">(s_job,</span><span lang="EN-US"><o:p></o:p></span></p>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">&sched-></span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#9CDCFE",serif">ring_mirror_list</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">,
 node) {</span><span lang="EN-US"><o:p></o:p></span></p>
</div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
<div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">        </span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#C586C0",serif">if</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">
 (s_job-></span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#9CDCFE",serif">s_fence</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">-></span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#9CDCFE",serif">parent</span><span lang="EN-US"><o:p></o:p></span></p>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">&&</span><span lang="EN-US"><o:p></o:p></span></p>
</div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
<div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">        
</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#DCDCAA",serif">fence_remove_callback</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">(s_job-></span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#9CDCFE",serif">s_fence</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">-></span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#9CDCFE",serif">parent</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">,</span><span lang="EN-US"><o:p></o:p></span></p>
</div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
<div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">                     &s_job-></span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#9CDCFE",serif">s_fence</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">-></span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#9CDCFE",serif">cb</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">))</span><span lang="EN-US"><o:p></o:p></span></p>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">{</span><span lang="EN-US"><o:p></o:p></span></p>
</div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
<div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">            </span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#DCDCAA",serif">fence_put</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">(s_job-></span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#9CDCFE",serif">s_fence</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">-></span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#9CDCFE",serif">parent</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">);</span><span lang="EN-US"><o:p></o:p></span></p>
</div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
<div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">            s_job-></span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#9CDCFE",serif">s_fence</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">-></span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#9CDCFE",serif">parent</span><span lang="EN-US"><o:p></o:p></span></p>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">=
</span><span lang="EN-US"><o:p></o:p></span></p>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#569CD6",serif">NULL</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">;</span><span lang="EN-US"><o:p></o:p></span></p>
</div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
<div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">            </span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#DCDCAA",serif">atomic_dec</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">(&sched-></span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#9CDCFE",serif">hw_rq_count</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">);</span><span lang="EN-US"><o:p></o:p></span></p>
</div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
<div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">        }</span><span lang="EN-US"><o:p></o:p></span></p>
</div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
<div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">    }</span><span lang="EN-US"><o:p></o:p></span></p>
</div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
<div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">    </span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#DCDCAA",serif">spin_unlock</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">(&sched-></span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#9CDCFE",serif">job_list_lock</span><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">);</span><span lang="EN-US"><o:p></o:p></span></p>
</div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
<div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif">}</span><span lang="EN-US"><o:p></o:p></span></p>
</div>
<p class="MsoNormal" style="line-height:14.25pt;background:#1E1E1E"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New ;color:#D4D4D4",serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
</div>
<p><span lang="EN-US" style="font-family:"Calibri",sans-serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
<p><span lang="EN-US" style="font-family:"Calibri",sans-serif">see that without sched_job->s_fence, you cannot remove the callback from its hw fence,</span><span lang="EN-US"><o:p></o:p></span></p>
<p><span lang="EN-US" style="font-family:"Calibri",sans-serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
<p><span lang="EN-US" style="font-family:"Calibri",sans-serif">any idea??</span><span lang="EN-US"><o:p></o:p></span></p>
<p><span lang="EN-US" style="font-family:"Calibri",sans-serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
<p><span lang="EN-US" style="font-family:"Calibri",sans-serif">BR Monk</span><span lang="EN-US"><o:p></o:p></span></p>
<p><span lang="EN-US" style="font-family:"Calibri",sans-serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
<p><span lang="EN-US" style="font-family:"Calibri",sans-serif"> </span><span lang="EN-US"><o:p></o:p></span></p>
</div>
</blockquote>
<p><span lang="EN-US"> <o:p></o:p></span></p>
</blockquote>
<p><span lang="EN-US"><o:p> </o:p></span></p>
</div>
</body>
</html>