<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"> <head> <meta http-equiv="Content-Type" content="text/html; charset=us-ascii"> <meta name="Generator" content="Microsoft Word 15 (filtered medium)"> <style></style> </head> <body lang="EN-IN" link="#0563C1" vlink="#954F72" style="word-wrap:break-word"> <div class="WordSection1"> Few comments inline over email as I have not yet got subscription :<o:p></o:p> <o:p> </o:p> First of all I could not apply patch, it looks like some patch landed yesterday which needs you patch to respin.<o:p></o:p> <o:p> </o:p> <div style="mso-element:para-border-div;border:solid #CCCCCC 1.0pt;padding:12.0pt 12.0pt 12.0pt 12.0pt;background:white"> diff --git a/drivers/gpu/drm/xe/regs/xe_gt_regs.h b/drivers/gpu/drm/xe/regs/xe_gt_regs.h<o:p></o:p> index 05a03129dc54..dac24b99f526 100644<o:p></o:p> --- a/drivers/gpu/drm/xe/regs/xe_gt_regs.h<o:p></o:p> +++ b/drivers/gpu/drm/xe/regs/xe_gt_regs.h<o:p></o:p> @@ -75,7 +75,8 @@ <o:p></o:p> #define GEN12_VE1_AUX_NV _MMIO(0x42b8)<o:p></o:p> #define AUX_INV REG_BIT(0)<o:p></o:p> <o:p></o:p> -#define XEHP_TILE0_ADDR_RANGE MCR_REG(0x4900)<o:p></o:p> +#define XEHP_TILE_ADDR_RANGE(_idx) MCR_REG(0x4900 + (_idx) * 4)<o:p></o:p> +<o:p></o:p> #define XEHP_FLAT_CCS_BASE_ADDR MCR_REG(0x4910)<o:p></o:p> <o:p></o:p> #define CHICKEN_RASTER_1 MCR_REG(0x6204)<o:p></o:p> diff --git a/drivers/gpu/drm/xe/xe_device_types.h b/drivers/gpu/drm/xe/xe_device_types.h<o:p></o:p> index 24dc5d2e9e05..ebd297ff6fcd 100644<o:p></o:p> --- a/drivers/gpu/drm/xe/xe_device_types.h<o:p></o:p> +++ b/drivers/gpu/drm/xe/xe_device_types.h<o:p></o:p> @@ -1,6 +1,6 @@ <o:p></o:p> /* SPDX-License-Identifier: MIT */<o:p></o:p> /*<o:p></o:p> - * Copyright © 2022 Intel Corporation<o:p></o:p> + * Copyright © 2022-2023 Intel Corporation<o:p></o:p> */<o:p></o:p> <o:p></o:p> #ifndef _XE_DEVICE_TYPES_H_<o:p></o:p> @@ -202,6 +202,8 @@ struct xe_device {<o:p></o:p> * known as small-bar.<o:p></o:p> */<o:p></o:p> resource_size_t io_size;<o:p></o:p> + /** @base: Offset to apply for Device Physical Address control */<o:p></o:p> + resource_size_t base;<o:p></o:p> /** @mapping: pointer to VRAM mappable space */<o:p></o:p> void *__iomem mapping;<o:p></o:p> } vram;<o:p></o:p> diff --git a/drivers/gpu/drm/xe/xe_gt_types.h b/drivers/gpu/drm/xe/xe_gt_types.h<o:p></o:p> index 7c47d67aa8be..a2417cc2f696 100644<o:p></o:p> --- a/drivers/gpu/drm/xe/xe_gt_types.h<o:p></o:p> +++ b/drivers/gpu/drm/xe/xe_gt_types.h<o:p></o:p> @@ -1,6 +1,6 @@ <o:p></o:p> /* SPDX-License-Identifier: MIT */<o:p></o:p> /*<o:p></o:p> - * Copyright © 2022 Intel Corporation<o:p></o:p> + * Copyright © 2022-2023 Intel Corporation<o:p></o:p> */<o:p></o:p> <o:p></o:p> #ifndef _XE_GT_TYPES_H_<o:p></o:p> @@ -149,12 +149,14 @@ struct xe_gt {<o:p></o:p> * @io_size: IO size of this VRAM instance<o:p></o:p> *<o:p></o:p> * This represents how much of this VRAM we can access<o:p></o:p> - * via the CPU through the VRAM BAR. This can be smaller<o:p></o:p> - * than @size, in which case only part of VRAM is CPU<o:p></o:p> - * accessible (typically the first 256M). This<o:p></o:p> - * configuration is known as small-bar.<o:p></o:p> + * via the CPU through the VRAM BAR.<o:p></o:p> + * This can be smaller than the actual @size, in which<o:p></o:p> + * case only part of VRAM is CPU accessible (typically<o:p></o:p> + * the first 256M). This configuration is known as small-bar.<o:p></o:p> */<o:p></o:p> resource_size_t io_size;<o:p></o:p> + /** @base: offset of VRAM starting base */<o:p></o:p> + resource_size_t base;<o:p></o:p> /** @size: size of VRAM. */<o:p></o:p> resource_size_t size;<o:p></o:p> /** @mapping: pointer to VRAM mappable space */<o:p></o:p> diff --git a/drivers/gpu/drm/xe/xe_mmio.c b/drivers/gpu/drm/xe/xe_mmio.c<o:p></o:p> index 6c1591a4f43e..60c1b92a87f7 100644<o:p></o:p> --- a/drivers/gpu/drm/xe/xe_mmio.c<o:p></o:p> +++ b/drivers/gpu/drm/xe/xe_mmio.c<o:p></o:p> @@ -3,6 +3,8 @@ <o:p></o:p> * Copyright © 2021-2023 Intel Corporation<o:p></o:p> */<o:p></o:p> <o:p></o:p> +#include <linux/minmax.h><o:p></o:p> +<o:p></o:p> #include "xe_mmio.h"<o:p></o:p> <o:p></o:p> #include <drm/drm_managed.h><o:p></o:p> @@ -184,32 +186,83 @@ int xe_determine_lmem_bar_size(struct xe_device *xe)<o:p></o:p> if (!xe->mem.vram.io_size)<o:p></o:p> return -EIO;<o:p></o:p> <o:p></o:p> + xe->mem.vram.base = 0; /* DPA offset */<o:p></o:p> +<o:p></o:p> /* set up a map to the total memory area. */<o:p></o:p> xe->mem.vram.mapping = ioremap_wc(xe->mem.vram.io_start, xe->mem.vram.io_size);<o:p></o:p> <o:p></o:p> return 0;<o:p></o:p> }<o:p></o:p> <o:p></o:p> +/*<o:p></o:p> + * 4 possible sizes:<o:p></o:p> + * - io size (from pci_resource_len of LMEM bar)<o:p></o:p> + * - TILEx size<o:p></o:p> + * - GSMBASE offset (TILEx - "stolen")<o:p></o:p> + * - CSSBASE offset (TILEx - CSS space necessary)<o:p></o:p> + *<o:p></o:p> + * NOTE: CSSBASE is always lower/smaller offset then GSMBASE.<o:p></o:p> + *<o:p></o:p> + * The actual available size of memory is to the CCS or GSM base.<o:p></o:p> + * NOTE: multi-tile bases will include the tile offset.<o:p></o:p> + */<o:p></o:p> +int xe_mmio_vram_tile_size(struct xe_gt *gt, u64 *vram_size, u64 *tile_size, u64 *tile_offset)<o:p></o:p> +{<o:p></o:p> + u64 offset;<o:p></o:p> + int err;<o:p></o:p> + u32 reg;<o:p></o:p> +<o:p></o:p> + err = xe_force_wake_get(gt_to_fw(gt), XE_FW_GT);<o:p></o:p> + if (err)<o:p></o:p> + return err;<o:p></o:p> +<o:p></o:p> + if (gt->xe->info.has_flat_ccs) {<o:p></o:p> + reg = xe_gt_mcr_unicast_read_any(gt, XEHP_FLAT_CCS_BASE_ADDR);<o:p></o:p> + offset = (u64)REG_FIELD_GET(GENMASK(31, 8), reg) * SZ_64K;<o:p></o:p> + } else {<o:p></o:p> + offset = xe_mmio_read64(gt, GEN12_GSMBASE.reg);<o:p></o:p> + }<o:p></o:p> +<o:p></o:p> + if (unlikely(gt->xe->info.platform == XE_DG1)) {<o:p></o:p> + *tile_size = offset;<o:p></o:p> + *tile_offset = 0;<o:p></o:p> + } else {<o:p></o:p> + reg = xe_gt_mcr_unicast_read_any(gt, XEHP_TILE_ADDR_RANGE(gt->info.id));<o:p></o:p> + *tile_size = (u64)REG_FIELD_GET(GENMASK(14, 8), reg) * SZ_1G;<o:p></o:p> + *tile_offset = (u64)REG_FIELD_GET(GENMASK(7, 1), reg) * SZ_1G;<o:p></o:p> + }<o:p></o:p> +<o:p></o:p> + /* remove the tile offset so we have just the available size */<o:p></o:p> + *vram_size = offset - *tile_offset;<o:p></o:p> +<o:p></o:p> + return xe_force_wake_put(gt_to_fw(gt), XE_FW_GT);<o:p></o:p> +}<o:p></o:p> +<o:p></o:p> int xe_mmio_probe_vram(struct xe_device *xe)<o:p></o:p> {<o:p></o:p> + resource_size_t io_size;<o:p></o:p> + u64 available_size = 0;<o:p></o:p> + u64 total_size = 0;<o:p></o:p> struct xe_gt *gt;<o:p></o:p> + u64 tile_offset;<o:p></o:p> + u64 tile_size;<o:p></o:p> + u64 vram_size;<o:p></o:p> int err;<o:p></o:p> u8 id;<o:p></o:p> <o:p></o:p> if (!IS_DGFX(xe)) {<o:p></o:p> - xe->mem.vram.mapping = 0;<o:p></o:p> - xe->mem.vram.io_start = 0;<o:p></o:p> - xe->mem.vram.io_size = 0;<o:p></o:p> -<o:p></o:p> - for_each_gt(gt, xe, id) {<o:p></o:p> - gt->mem.vram.mapping = 0;<o:p></o:p> - gt->mem.vram.size = 0;<o:p></o:p> - gt->mem.vram.io_start = 0;<o:p></o:p> - gt->mem.vram.io_size = 0;<o:p></o:p> - }<o:p></o:p> + memset(&xe->mem.vram, 0, sizeof(xe->mem.vram));<o:p></o:p> + for_each_gt(gt, xe, id)<o:p></o:p> + memset(&gt->mem.vram, 0, sizeof(gt->mem.vram));<o:p></o:p> return 0;<o:p></o:p> }<o:p></o:p> <o:p></o:p> + /* Get the size of the gt0 vram for later accessibility comparison */<o:p></o:p> + gt = xe_device_get_gt(xe, 0);<o:p></o:p> + err = xe_mmio_vram_tile_size(gt, &vram_size, &tile_size, &tile_offset);<o:p></o:p> + if (err)<o:p></o:p> + return err;<o:p></o:p> +<o:p></o:p> err = xe_determine_lmem_bar_size(xe);<o:p></o:p> if (err)<o:p></o:p> return err;<o:p></o:p> @@ -217,57 +270,53 @@ int xe_mmio_probe_vram(struct xe_device *xe)<o:p></o:p> drm_info(&xe->drm, "VISIBLE VRAM: %pa, %pa\n", &xe->mem.vram.io_start,<o:p></o:p> &xe->mem.vram.io_size);<o:p></o:p> <o:p></o:p> - /* FIXME: Assuming equally partitioned VRAM, incorrect */<o:p></o:p> - if (xe->info.tile_count > 1) {<o:p></o:p> - u8 adj_tile_count = xe->info.tile_count;<o:p></o:p> - resource_size_t size, io_start, io_size;<o:p></o:p> + /* small bar issues will only cover gt0 sizes */<o:p></o:p> + if (xe->mem.vram.io_size < vram_size)<o:p></o:p> + drm_warn(&xe->drm, "Restricting VRAM size to PCI resource size (0x%llx->0x%llx)\n",<o:p></o:p> + vram_size, (u64)xe->mem.vram.io_size);<o:p></o:p> <o:p></o:p> - for_each_gt(gt, xe, id)<o:p></o:p> - if (xe_gt_is_media_type(gt))<o:p></o:p> - --adj_tile_count;<o:p></o:p> + io_size = xe->mem.vram.io_size;<o:p></o:p> <o:p></o:p> - XE_BUG_ON(!adj_tile_count);<o:p></o:p> + /* gt specific ranges */<o:p></o:p> + for_each_gt(gt, xe, id) {<o:p></o:p> + if (xe_gt_is_media_type(gt))<o:p></o:p> + continue;<o:p></o:p> <o:p></o:p> - size = xe->mem.vram.io_size / adj_tile_count;<o:p></o:p> - io_start = xe->mem.vram.io_start;<o:p></o:p> - io_size = xe->mem.vram.io_size;<o:p></o:p> + err = xe_mmio_vram_tile_size(gt, &vram_size, &tile_size, &tile_offset);<o:p></o:p> + if (err)<o:p></o:p> + return err;<o:p></o:p> <o:p></o:p> - for_each_gt(gt, xe, id) {<o:p></o:p> - if (id && !xe_gt_is_media_type(gt)) {<o:p></o:p> - io_size -= min(io_size, size);<o:p></o:p> - io_start += io_size;<o:p></o:p> - }<o:p></o:p> + gt->mem.vram.io_start = xe->mem.vram.io_start + tile_offset;<o:p></o:p> <o:p></o:p> - gt->mem.vram.size = size;<o:p></o:p> -<o:p></o:p> - /*<o:p></o:p> - * XXX: multi-tile small-bar might be wild. Hopefully<o:p></o:p> - * full tile without any mappable vram is not something<o:p></o:p> - * we care about.<o:p></o:p> - */<o:p></o:p> -<o:p></o:p> - gt->mem.vram.io_size = min(size, io_size);<o:p></o:p> - if (io_size) {<o:p></o:p> - gt->mem.vram.io_start = io_start;<o:p></o:p> - gt->mem.vram.mapping = xe->mem.vram.mapping +<o:p></o:p> - (io_start - xe->mem.vram.io_start);<o:p></o:p> - } else {<o:p></o:p> - drm_err(&xe->drm, "Tile without any CPU visible VRAM. Aborting.\n");<o:p></o:p> - return -ENODEV;<o:p></o:p> - }<o:p></o:p> + /* io_size "could be 0" for small-bar systems, so no CPU access */<o:p></o:p> + gt->mem.vram.io_size = min_t(u64, vram_size, io_size);<o:p></o:p> +<o:p></o:p> + gt->mem.vram.base = xe->mem.vram.base + tile_offset;<o:p></o:p> + gt->mem.vram.size = vram_size;<o:p></o:p> + gt->mem.vram.mapping = xe->mem.vram.mapping + tile_offset;<o:p></o:p> +<o:p></o:p> + drm_info(&xe->drm, "VRAM[%u, %u]: %pa, %pa\n", id, gt->info.vram_id,<o:p></o:p> + &gt->mem.vram.io_start, &gt->mem.vram.size);<o:p></o:p> +<o:p></o:p> + if (gt->mem.vram.io_size < gt->mem.vram.size)<o:p></o:p> + drm_info(&xe->drm, "VRAM[%u, %u]: CPU access limited to %pa\n", id,<o:p></o:p> + gt->info.vram_id, &gt->mem.vram.io_size);<o:p></o:p> +<o:p></o:p> + /* calculate total size using tile size to get the correct HW sizing */<o:p></o:p> + total_size += tile_size;<o:p></o:p> + available_size += vram_size;<o:p></o:p> I think you can make this available_size = vram_size; instead as last GT for which this loop runs,<o:p></o:p> Will get total available size. Otherwise you may get more size than actual available. For example,<o:p></o:p> 10 bytes for tile0, 10 bytes for tile1, 20 bytes for tile2 should return total 40b, but I think with<o:p></o:p> Above logic you will get 10 + 20 + 40. I am assuming offset is incremental per tile. If you can give <o:p></o:p> Memory offset overall snapshot, that might help in case I am wrong.<o:p></o:p> <o:p></o:p> - drm_info(&xe->drm, "VRAM[%u, %u]: %pa, %pa\n",<o:p></o:p> - id, gt->info.vram_id, &gt->mem.vram.io_start,<o:p></o:p> - &gt->mem.vram.size);<o:p></o:p> + if (total_size > xe->mem.vram.io_size) {<o:p></o:p> + drm_warn(&xe->drm, "VRAM: %pa is larger than resource %pa\n",<o:p></o:p> + &total_size, &xe->mem.vram.io_size);<o:p></o:p> <o:p> </o:p> }<o:p></o:p> - } else {<o:p></o:p> - gt->mem.vram.size = xe->mem.vram.io_size;<o:p></o:p> - gt->mem.vram.io_start = xe->mem.vram.io_start;<o:p></o:p> - gt->mem.vram.io_size = xe->mem.vram.io_size;<o:p></o:p> - gt->mem.vram.mapping = xe->mem.vram.mapping;<o:p></o:p> <o:p></o:p> - drm_info(&xe->drm, "VRAM: %pa\n", &gt->mem.vram.size);<o:p></o:p> + io_size -= min_t(u64, tile_size, io_size);<o:p></o:p> }<o:p></o:p> +<o:p></o:p> + drm_info(&xe->drm, "Available VRAM: %pa, %pa\n", &xe->mem.vram.io_start,<o:p></o:p> + &available_size);<o:p></o:p> +<o:p></o:p> Here it can be little more readable, but its my opinion, up to you :<o:p></o:p> drm_info(&xe->drm, "Available VRAM: start addr: %pa, size: %pa\n", &xe->mem.vram.io_start,<o:p></o:p> &available_size);<o:p></o:p> <o:p> </o:p> return 0;<o:p></o:p> }<o:p></o:p> <o:p></o:p> @@ -287,9 +336,6 @@ static void xe_mmio_probe_tiles(struct xe_device *xe)<o:p></o:p> if (xe->info.media_verx100 >= 1300)<o:p></o:p> xe->info.tile_count *= 2;<o:p></o:p> <o:p></o:p> - drm_info(&xe->drm, "tile_count: %d, adj_tile_count %d\n",<o:p></o:p> - xe->info.tile_count, adj_tile_count);<o:p></o:p> -<o:p></o:p> if (xe->info.tile_count > 1) {<o:p></o:p> const int mmio_bar = 0;<o:p></o:p> size_t size;<o:p></o:p> diff --git a/drivers/gpu/drm/xe/xe_mmio.h b/drivers/gpu/drm/xe/xe_mmio.h<o:p></o:p> index 1a32e0f52261..1c588db0b074 100644<o:p></o:p> --- a/drivers/gpu/drm/xe/xe_mmio.h<o:p></o:p> +++ b/drivers/gpu/drm/xe/xe_mmio.h<o:p></o:p> @@ -1,6 +1,6 @@ <o:p></o:p> /* SPDX-License-Identifier: MIT */<o:p></o:p> /*<o:p></o:p> - * Copyright © 2021 Intel Corporation<o:p></o:p> + * Copyright © 2021-2023 Intel Corporation<o:p></o:p> */<o:p></o:p> <o:p></o:p> #ifndef _XE_MMIO_H_<o:p></o:p> @@ -120,6 +120,6 @@ static inline bool xe_mmio_in_range(const struct xe_mmio_range *range, u32 reg)<o:p></o:p> }<o:p></o:p> <o:p></o:p> int xe_mmio_probe_vram(struct xe_device *xe);<o:p></o:p> -int xe_mmio_total_vram_size(struct xe_device *xe, u64 *vram_size, u64 *flat_ccs_base);<o:p></o:p> +int xe_mmio_vram_tile_size(struct xe_gt *gt, u64 *vram_size, u64 *tile_size, u64 *tile_offset);<o:p></o:p> <o:p></o:p> #endif<o:p></o:p> diff --git a/drivers/gpu/drm/xe/xe_ttm_stolen_mgr.c b/drivers/gpu/drm/xe/xe_ttm_stolen_mgr.c<o:p></o:p> index 9136c035db0e..acc11f580db4 100644<o:p></o:p> --- a/drivers/gpu/drm/xe/xe_ttm_stolen_mgr.c<o:p></o:p> +++ b/drivers/gpu/drm/xe/xe_ttm_stolen_mgr.c<o:p></o:p> @@ -12,9 +12,11 @@ <o:p></o:p> #include <drm/ttm/ttm_range_manager.h><o:p></o:p> <o:p></o:p> #include "regs/xe_regs.h"<o:p></o:p> +#include "regs/xe_gt_regs.h"<o:p></o:p> #include "xe_bo.h"<o:p></o:p> #include "xe_device.h"<o:p></o:p> #include "xe_gt.h"<o:p></o:p> +#include "xe_gt_mcr.h"<o:p></o:p> #include "xe_mmio.h"<o:p></o:p> #include "xe_res_cursor.h"<o:p></o:p> #include "xe_ttm_stolen_mgr.h"<o:p></o:p> @@ -51,21 +53,26 @@ bool xe_ttm_stolen_cpu_access_needs_ggtt(struct xe_device *xe)<o:p></o:p> return GRAPHICS_VERx100(xe) < 1270 && !IS_DGFX(xe);<o:p></o:p> }<o:p></o:p> <o:p></o:p> -static s64 detect_bar2_dgfx(struct xe_device *xe, struct xe_ttm_stolen_mgr *mgr)<o:p></o:p> +static s64 detect_bar2_dgfx(struct xe_gt *gt, struct xe_ttm_stolen_mgr *mgr)<o:p></o:p> {<o:p></o:p> - u64 vram_size, stolen_size;<o:p></o:p> + u64 stolen_size;<o:p></o:p> + u64 tile_offset;<o:p></o:p> + u64 tile_size;<o:p></o:p> + u64 vram_size;<o:p></o:p> <o:p></o:p> - vram_size = xe->mem.vram.io_size;<o:p></o:p> + if (drm_WARN_ON(&gt->xe->drm,<o:p></o:p> + xe_mmio_vram_tile_size(gt, &vram_size, &tile_size, &tile_offset)) < 0)<o:p></o:p> + return 0;<o:p></o:p> <o:p></o:p> /* Use DSM base address instead for stolen memory */<o:p></o:p> - mgr->stolen_base = xe_mmio_read64(to_gt(xe), GEN12_DSMBASE.reg) & GEN12_BDSM_MASK;<o:p></o:p> - if (drm_WARN_ON(&xe->drm, vram_size < mgr->stolen_base))<o:p></o:p> + mgr->stolen_base = (xe_mmio_read64(gt, GEN12_DSMBASE.reg) & GEN12_BDSM_MASK) - tile_offset;<o:p></o:p> + if (drm_WARN_ON(&gt->xe->drm, tile_size < mgr->stolen_base))<o:p></o:p> return 0;<o:p></o:p> <o:p></o:p> - stolen_size = vram_size - mgr->stolen_base;<o:p></o:p> + stolen_size = tile_size - mgr->stolen_base;<o:p></o:p> Should it be tile_offset instead,<o:p></o:p> stolen_size = tile_offset - mgr->stolen_base;<o:p></o:p> <o:p> </o:p> Thanks,<o:p></o:p> Tejas<o:p></o:p> - if (mgr->stolen_base + stolen_size <= vram_size)<o:p></o:p> - mgr->io_base = xe->mem.vram.io_start + mgr->stolen_base;<o:p></o:p> + if (mgr->stolen_base + stolen_size <= tile_size)<o:p></o:p> + mgr->io_base = gt->mem.vram.io_start + mgr->stolen_base;<o:p></o:p> <o:p></o:p> /*<o:p></o:p> * There may be few KB of platform dependent reserved memory at the end<o:p></o:p> @@ -133,7 +140,7 @@ void xe_ttm_stolen_mgr_init(struct xe_device *xe)<o:p></o:p> int err;<o:p></o:p> <o:p></o:p> if (IS_DGFX(xe))<o:p></o:p> - stolen_size = detect_bar2_dgfx(xe, mgr);<o:p></o:p> + stolen_size = detect_bar2_dgfx(to_gt(xe), mgr);<o:p></o:p> else if (GRAPHICS_VERx100(xe) >= 1270)<o:p></o:p> stolen_size = detect_bar2_integrated(xe, mgr);<o:p></o:p> else<o:p></o:p> </div> <o:p> </o:p> </div> </body> </html>