<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
{font-family:Consolas;
panose-1:2 11 6 9 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
font-size:11.0pt;
font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
pre
{mso-style-priority:99;
mso-style-link:"HTML Preformatted Char";
margin:0in;
font-size:10.0pt;
font-family:"Courier New";}
span.HTMLPreformattedChar
{mso-style-name:"HTML Preformatted Char";
mso-style-priority:99;
mso-style-link:"HTML Preformatted";
font-family:Consolas;}
span.EmailStyle21
{mso-style-type:personal-reply;
font-family:"Calibri",sans-serif;
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;
font-size:10.0pt;
mso-ligatures:none;}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-IN" link="blue" vlink="purple" style="word-wrap:break-word">
<div class="WordSection1">
<p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p>
<div style="border:none;border-left:solid blue 1.5pt;padding:0in 0in 0in 4.0pt">
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span lang="EN-US">From:</span></b><span lang="EN-US"> Ghimiray, Himal Prasad <himal.prasad.ghimiray@intel.com>
<br>
<b>Sent:</b> Wednesday, September 6, 2023 3:09 PM<br>
<b>To:</b> Upadhyay, Tejas <tejas.upadhyay@intel.com>; intel-xe@lists.freedesktop.org<br>
<b>Cc:</b> Iddamsetty, Aravind <aravind.iddamsetty@intel.com><br>
<b>Subject:</b> Re: [PATCH 3/7] drm/xe: Add tracking support for bos per client<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p><o:p> </o:p></p>
<div>
<p class="MsoNormal">On 31-08-2023 14:35, Tejas Upadhyay wrote:<o:p></o:p></p>
</div>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<pre>In order to show per client memory consumption, we<o:p></o:p></pre>
<pre>need tracking support APIs to add at every bo consumption<o:p></o:p></pre>
<pre>and removal. Adding APIs here to add tracking calls at<o:p></o:p></pre>
<pre>places wherever it is applicable.<o:p></o:p></pre>
<pre><o:p> </o:p></pre>
<pre>Signed-off-by: Tejas Upadhyay <a href="mailto:tejas.upadhyay@intel.com"><tejas.upadhyay@intel.com></a><o:p></o:p></pre>
<pre>---<o:p></o:p></pre>
<pre> drivers/gpu/drm/xe/xe_bo.c | 7 ++++<o:p></o:p></pre>
<pre> drivers/gpu/drm/xe/xe_bo_types.h | 10 ++++++<o:p></o:p></pre>
<pre> drivers/gpu/drm/xe/xe_drm_client.c | 58 ++++++++++++++++++++++++++++++<o:p></o:p></pre>
<pre> drivers/gpu/drm/xe/xe_drm_client.h | 26 ++++++++++++++<o:p></o:p></pre>
<pre> 4 files changed, 101 insertions(+)<o:p></o:p></pre>
<pre><o:p> </o:p></pre>
<pre>diff --git a/drivers/gpu/drm/xe/xe_bo.c b/drivers/gpu/drm/xe/xe_bo.c<o:p></o:p></pre>
<pre>index 6a8a41dafe88..cde91c3601d1 100644<o:p></o:p></pre>
<pre>--- a/drivers/gpu/drm/xe/xe_bo.c<o:p></o:p></pre>
<pre>+++ b/drivers/gpu/drm/xe/xe_bo.c<o:p></o:p></pre>
<pre>@@ -16,6 +16,7 @@<o:p></o:p></pre>
<pre> <o:p></o:p></pre>
<pre> #include "xe_device.h"<o:p></o:p></pre>
<pre> #include "xe_dma_buf.h"<o:p></o:p></pre>
<pre>+#include "xe_drm_client.h"<o:p></o:p></pre>
<pre> #include "xe_ggtt.h"<o:p></o:p></pre>
<pre> #include "xe_gt.h"<o:p></o:p></pre>
<pre> #include "xe_map.h"<o:p></o:p></pre>
<pre>@@ -1051,6 +1052,9 @@ static void xe_ttm_bo_destroy(struct ttm_buffer_object *ttm_bo)<o:p></o:p></pre>
<pre> if (bo->vm && xe_bo_is_user(bo))<o:p></o:p></pre>
<pre> xe_vm_put(bo->vm);<o:p></o:p></pre>
<pre> <o:p></o:p></pre>
<pre>+ if (bo->client)<o:p></o:p></pre>
<pre>+ xe_drm_client_remove_bo(bo);<o:p></o:p></pre>
</blockquote>
<p class="MsoNormal">API returns bool, handle it or use void return type. <o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Ok, sure.<o:p></o:p></p>
<p class="MsoNormal"><br>
<br>
<o:p></o:p></p>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<pre><o:p> </o:p></pre>
<pre>+<o:p></o:p></pre>
<pre> kfree(bo);<o:p></o:p></pre>
<pre> }<o:p></o:p></pre>
<pre> <o:p></o:p></pre>
<pre>@@ -1230,6 +1234,9 @@ struct xe_bo *__xe_bo_create_locked(struct xe_device *xe, struct xe_bo *bo,<o:p></o:p></pre>
<pre> bo->ttm.priority = DRM_XE_VMA_PRIORITY_NORMAL;<o:p></o:p></pre>
<pre> INIT_LIST_HEAD(&bo->vmas);<o:p></o:p></pre>
<pre> INIT_LIST_HEAD(&bo->pinned_link);<o:p></o:p></pre>
<pre>+#ifdef CONFIG_PROC_FS<o:p></o:p></pre>
<pre>+ INIT_LIST_HEAD(&bo->client_link);<o:p></o:p></pre>
<pre>+#endif<o:p></o:p></pre>
<pre> <o:p></o:p></pre>
<pre> drm_gem_private_object_init(&xe->drm, &bo->ttm.base, size);<o:p></o:p></pre>
<pre> <o:p></o:p></pre>
<pre>diff --git a/drivers/gpu/drm/xe/xe_bo_types.h b/drivers/gpu/drm/xe/xe_bo_types.h<o:p></o:p></pre>
<pre>index f6ee920303af..1aef413b6f8a 100644<o:p></o:p></pre>
<pre>--- a/drivers/gpu/drm/xe/xe_bo_types.h<o:p></o:p></pre>
<pre>+++ b/drivers/gpu/drm/xe/xe_bo_types.h<o:p></o:p></pre>
<pre>@@ -45,6 +45,16 @@ struct xe_bo {<o:p></o:p></pre>
<pre> struct ttm_bo_kmap_obj kmap;<o:p></o:p></pre>
<pre> /** @pinned_link: link to present / evicted list of pinned BO */<o:p></o:p></pre>
<pre> struct list_head pinned_link;<o:p></o:p></pre>
<pre>+#ifdef CONFIG_PROC_FS<o:p></o:p></pre>
<pre>+ /**<o:p></o:p></pre>
<pre>+ * @client: @xe_drm_client which created the bo<o:p></o:p></pre>
<pre>+ */<o:p></o:p></pre>
<pre>+ struct xe_drm_client *client;<o:p></o:p></pre>
<pre>+ /**<o:p></o:p></pre>
<pre>+ * @client_link: Link into @xe_drm_client.objects_list<o:p></o:p></pre>
<pre>+ */<o:p></o:p></pre>
<pre>+ struct list_head client_link;<o:p></o:p></pre>
<pre>+#endif<o:p></o:p></pre>
<pre> /** @props: BO user controlled properties */<o:p></o:p></pre>
<pre> struct {<o:p></o:p></pre>
<pre> /** @preferred_mem: preferred memory class for this BO */<o:p></o:p></pre>
<pre>diff --git a/drivers/gpu/drm/xe/xe_drm_client.c b/drivers/gpu/drm/xe/xe_drm_client.c<o:p></o:p></pre>
<pre>index b5dc024b5dd0..00b28a08909f 100644<o:p></o:p></pre>
<pre>--- a/drivers/gpu/drm/xe/xe_drm_client.c<o:p></o:p></pre>
<pre>+++ b/drivers/gpu/drm/xe/xe_drm_client.c<o:p></o:p></pre>
<pre>@@ -8,8 +8,11 @@<o:p></o:p></pre>
<pre> #include <linux/slab.h><o:p></o:p></pre>
<pre> #include <linux/types.h><o:p></o:p></pre>
<pre> <o:p></o:p></pre>
<pre>+#include "xe_bo_types.h"<o:p></o:p></pre>
<pre> #include "xe_device_types.h"<o:p></o:p></pre>
<pre> #include "xe_drm_client.h"<o:p></o:p></pre>
<pre>+#include "xe_device_types.h"<o:p></o:p></pre>
<pre>+#include "xe_trace.h"<o:p></o:p></pre>
<pre> <o:p></o:p></pre>
<pre> /**<o:p></o:p></pre>
<pre> * xe_drm_client_alloc() - Allocate drm client<o:p></o:p></pre>
<pre>@@ -31,6 +34,10 @@ struct xe_drm_client *xe_drm_client_alloc(void)<o:p></o:p></pre>
<pre> <o:p></o:p></pre>
<pre> kref_init(&client->kref);<o:p></o:p></pre>
<pre> <o:p></o:p></pre>
<pre>+#ifdef CONFIG_PROC_FS<o:p></o:p></pre>
<pre>+ spin_lock_init(&client->bos_lock);<o:p></o:p></pre>
<pre>+ INIT_LIST_HEAD(&client->bos_list);<o:p></o:p></pre>
<pre>+#endif<o:p></o:p></pre>
<pre> return client;<o:p></o:p></pre>
<pre> }<o:p></o:p></pre>
<pre> <o:p></o:p></pre>
<pre>@@ -52,6 +59,57 @@ void __xe_drm_client_free(struct kref *kref)<o:p></o:p></pre>
<pre> }<o:p></o:p></pre>
<pre> <o:p></o:p></pre>
<pre> #ifdef CONFIG_PROC_FS<o:p></o:p></pre>
<pre>+/**<o:p></o:p></pre>
<pre>+ * xe_drm_client_add_bo() - Add BO for tracking client mem usage<o:p></o:p></pre>
<pre>+ * @client: The drm client ptr<o:p></o:p></pre>
<pre>+ * @bo: The xe BO ptr<o:p></o:p></pre>
<pre>+ *<o:p></o:p></pre>
<pre>+ * Add all BO created by individual drm client by calling this function.<o:p></o:p></pre>
<pre>+ * This helps in tracking client memory usage.<o:p></o:p></pre>
<pre>+ *<o:p></o:p></pre>
<pre>+ * Return: void<o:p></o:p></pre>
<pre>+ */<o:p></o:p></pre>
<pre>+void xe_drm_client_add_bo(struct xe_drm_client *client,<o:p></o:p></pre>
<pre>+ struct xe_bo *bo)<o:p></o:p></pre>
<pre>+{<o:p></o:p></pre>
<pre>+ unsigned long flags;<o:p></o:p></pre>
<pre>+<o:p></o:p></pre>
<pre>+ XE_WARN_ON(bo->client);<o:p></o:p></pre>
<pre>+ XE_WARN_ON(!list_empty(&bo->client_link));<o:p></o:p></pre>
<pre>+<o:p></o:p></pre>
<pre>+ spin_lock_irqsave(&client->bos_lock, flags);<o:p></o:p></pre>
<pre>+ bo->client = xe_drm_client_get(client);<o:p></o:p></pre>
<pre>+ list_add_tail_rcu(&bo->client_link, &client->bos_list);<o:p></o:p></pre>
<pre>+ spin_unlock_irqrestore(&client->bos_lock, flags);<o:p></o:p></pre>
<pre>+}<o:p></o:p></pre>
<pre>+<o:p></o:p></pre>
<pre>+/**<o:p></o:p></pre>
<pre>+ * xe_drm_client_remove_bo() - Remove BO for tracking client mem usage<o:p></o:p></pre>
<pre>+ * @bo: The xe BO ptr<o:p></o:p></pre>
<pre>+ *<o:p></o:p></pre>
<pre>+ * Remove all BO removed by individual drm client by calling this function.<o:p></o:p></pre>
<pre>+ * This helps in tracking client memory usage.<o:p></o:p></pre>
<pre>+ *<o:p></o:p></pre>
<pre>+ * Return: void<o:p></o:p></pre>
</blockquote>
<p class="MsoNormal">Wrong return type in comment.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Sure I will correct it.<o:p></o:p></p>
<p class="MsoNormal"><br>
<br>
<o:p></o:p></p>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<pre><o:p> </o:p></pre>
<pre>+ */<o:p></o:p></pre>
<pre>+bool xe_drm_client_remove_bo(struct xe_bo *bo)<o:p></o:p></pre>
<pre>+{<o:p></o:p></pre>
<pre>+ struct xe_drm_client *client = bo->client;<o:p></o:p></pre>
<pre>+ unsigned long flags;<o:p></o:p></pre>
<pre>+<o:p></o:p></pre>
<pre>+ /* Object may not be associated with a client. */<o:p></o:p></pre>
<pre>+ if (!client)<o:p></o:p></pre>
<pre>+ return false;<o:p></o:p></pre>
</blockquote>
<p>This call is redundant. API is being called only if client exists, make sure to check for bo->client_link too.<o:p></o:p></p>
<p>Yes now this check is redundant. <o:p></o:p></p>
<p>Thanks,Tejas<o:p></o:p></p>
<p>Himal <o:p></o:p></p>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<pre><o:p> </o:p></pre>
<pre>+<o:p></o:p></pre>
<pre>+ spin_lock_irqsave(&client->bos_lock, flags);<o:p></o:p></pre>
<pre>+ list_del_rcu(&bo->client_link);<o:p></o:p></pre>
<pre>+ spin_unlock_irqrestore(&client->bos_lock, flags);<o:p></o:p></pre>
<pre>+<o:p></o:p></pre>
<pre>+ xe_drm_client_put(client);<o:p></o:p></pre>
<pre>+<o:p></o:p></pre>
<pre>+ return true;<o:p></o:p></pre>
<pre>+}<o:p></o:p></pre>
<pre>+<o:p></o:p></pre>
<pre> /**<o:p></o:p></pre>
<pre> * xe_drm_client_fdinfo() - Callback for fdinfo interface<o:p></o:p></pre>
<pre> * @p: The drm_printer ptr<o:p></o:p></pre>
<pre>diff --git a/drivers/gpu/drm/xe/xe_drm_client.h b/drivers/gpu/drm/xe/xe_drm_client.h<o:p></o:p></pre>
<pre>index dbe3a083c9df..bbbc5d6ce3ae 100644<o:p></o:p></pre>
<pre>--- a/drivers/gpu/drm/xe/xe_drm_client.h<o:p></o:p></pre>
<pre>+++ b/drivers/gpu/drm/xe/xe_drm_client.h<o:p></o:p></pre>
<pre>@@ -15,10 +15,23 @@<o:p></o:p></pre>
<pre> <o:p></o:p></pre>
<pre> struct drm_file;<o:p></o:p></pre>
<pre> struct drm_printer;<o:p></o:p></pre>
<pre>+struct xe_bo;<o:p></o:p></pre>
<pre> <o:p></o:p></pre>
<pre> struct xe_drm_client {<o:p></o:p></pre>
<pre> struct kref kref;<o:p></o:p></pre>
<pre> unsigned int id;<o:p></o:p></pre>
<pre>+#ifdef CONFIG_PROC_FS<o:p></o:p></pre>
<pre>+ /**<o:p></o:p></pre>
<pre>+ * @bos_lock: lock protecting @bos_list<o:p></o:p></pre>
<pre>+ */<o:p></o:p></pre>
<pre>+ spinlock_t bos_lock;<o:p></o:p></pre>
<pre>+ /**<o:p></o:p></pre>
<pre>+ * @bos_list: list of bos created by this client<o:p></o:p></pre>
<pre>+ *<o:p></o:p></pre>
<pre>+ * Protected by @bos_lock.<o:p></o:p></pre>
<pre>+ */<o:p></o:p></pre>
<pre>+ struct list_head bos_list;<o:p></o:p></pre>
<pre>+#endif<o:p></o:p></pre>
<pre> };<o:p></o:p></pre>
<pre> <o:p></o:p></pre>
<pre> static inline struct xe_drm_client *<o:p></o:p></pre>
<pre>@@ -41,5 +54,18 @@ xe_drm_client_get(struct xe_drm_client *client);<o:p></o:p></pre>
<pre> static inline void xe_drm_client_put(struct xe_drm_client *client);<o:p></o:p></pre>
<pre> #ifdef CONFIG_PROC_FS<o:p></o:p></pre>
<pre> void xe_drm_client_fdinfo(struct drm_printer *p, struct drm_file *file);<o:p></o:p></pre>
<pre>+void xe_drm_client_add_bo(struct xe_drm_client *client,<o:p></o:p></pre>
<pre>+ struct xe_bo *bo);<o:p></o:p></pre>
<pre>+bool xe_drm_client_remove_bo(struct xe_bo *bo);<o:p></o:p></pre>
<pre>+#else<o:p></o:p></pre>
<pre>+static inline void xe_drm_client_add_bo(struct xe_drm_client *client,<o:p></o:p></pre>
<pre>+ struct xe_bo *bo)<o:p></o:p></pre>
<pre>+{<o:p></o:p></pre>
<pre>+}<o:p></o:p></pre>
<pre>+<o:p></o:p></pre>
<pre>+static inline bool xe_drm_client_remove_bo(struct xe_bo *bo)<o:p></o:p></pre>
<pre>+{<o:p></o:p></pre>
<pre>+}<o:p></o:p></pre>
<pre> #endif<o:p></o:p></pre>
<pre>+<o:p></o:p></pre>
<pre> #endif<o:p></o:p></pre>
</blockquote>
</div>
</div>
</body>
</html>