跳转到正文
Retep's
返回

[TIL] 布局计算小记

编辑文章

本文由英文原文翻译。代码、公式与技术名称保留原文。

本文主要参考这份指南。正如之前关于 TileLang 布局推导的文章所说,布局描述的是如何从张量逻辑坐标得到实际物理坐标。 在类似 CUDA 的模型中,数据放置的作用域包括:

作用域记号
grid/
block cluster(cbx, cby, cbz)
block(bx, by, bz)
warp groupwgid tid_in_wg, wid_in_wg
warpwarpid
thread/lanelaneid, TLane, TCol

物理坐标就是这些作用域上的坐标组合,例如 (block_1, warp_group_2, warp_3, lane_4)。一些特殊坐标包括:

也有一些特殊的逻辑坐标,例如 replication。它是一个独立的轴,用于描述数据如何复制。

布局通常记作 (shape, stride)。例如 (8, 16), (16, 1) 表示一个 8 行 16 列的行主序张量。也可以使用命名轴:(8, 16), (16@laneid, 1@warpid),指定各个物理坐标上的放置方式。

接下来讨论如何将逻辑坐标转换为物理坐标。 对于如下逻辑坐标:

x = (x0, x1, ..., xr-1)

假设逻辑形状为:

(S0, S1, ..., Sr-1)

首先将其转换为一维的扁平索引:

flat = x0 * S1 * S2 * ... * Sr-1
     + x1 * S2 * ... * Sr-1
     + ...
     + xr-2 * Sr-1
     + xr-1

假设物理形状,也就是分片大小,为:

(e0, e1, ..., en-1)

则可以通过以下方式求出物理坐标 c0, c1, ..., cn-1:

c0 = flat / (e0 * e1 * ... * en-1) % e0
c1 = flat / (e1 * e2 * ... * en-1) % e1
c2 = flat / (e3 * e4 * ... * en-1) % e2
...
cn-1 = flat / 1 % en-1

例如,逻辑形状为 (8, 16),物理分片为 S[(8, 2, 4, 2) : (4@laneid, 1@warpid, 1@laneid, 1)],扁平索引为:

flat = 16 * i + j

物理坐标如下,省略了多余的取模:

c0 = i
c1 = j / 8
c2 = j / 2 % 4
c3 = j % 2

结合坐标和步长,可以计算各分片的贡献:

laneid = 4 * c0 + c2
warpid = c1
m      = c3

最终得到如下放置方式:

laneid = 4 * i + j / 2 % 4
warpid = j / 8 
m      = j % 2

编辑文章
分享文章:

上一篇
[TIL] 从 Triton Kernel 到 LLVM IR 的完整流程
下一篇
[TIL] 线程块内的数据交换