本文主要参考这份指南。正如之前关于 TileLang 布局推导的文章所说,布局描述的是如何从张量逻辑坐标得到实际物理坐标。 在类似 CUDA 的模型中,数据放置的作用域包括:
| 作用域 | 记号 |
|---|---|
| grid | / |
| block cluster | (cbx, cby, cbz) |
| block | (bx, by, bz) |
| warp group | wgid tid_in_wg, wid_in_wg |
| warp | warpid |
| thread/lane | laneid, TLane, TCol |
物理坐标就是这些作用域上的坐标组合,例如 (block_1, warp_group_2, warp_3, lane_4)。一些特殊坐标包括:
tid_in_wg:warp group 内的线程编号,tid_in_wg = threadIdx.x % 128。一个 warp group 包含 4 个 warp,每个 warp 包含 32 个线程。TLane、TCol:分别表示 thread lane 和 thread column,指参与 fragment/load/store 布局的 lane 和列,主要用于TMEM。
也有一些特殊的逻辑坐标,例如 replication。它是一个独立的轴,用于描述数据如何复制。
布局通常记作 (shape, stride)。例如 (8, 16), (16, 1) 表示一个 8 行 16 列的行主序张量。也可以使用命名轴:(8, 16), (16@laneid, 1@warpid),指定各个物理坐标上的放置方式。
接下来讨论如何将逻辑坐标转换为物理坐标。 对于如下逻辑坐标:
x = (x0, x1, ..., xr-1)
假设逻辑形状为:
(S0, S1, ..., Sr-1)
首先将其转换为一维的扁平索引:
flat = x0 * S1 * S2 * ... * Sr-1
+ x1 * S2 * ... * Sr-1
+ ...
+ xr-2 * Sr-1
+ xr-1
假设物理形状,也就是分片大小,为:
(e0, e1, ..., en-1)
则可以通过以下方式求出物理坐标 c0, c1, ..., cn-1:
c0 = flat / (e0 * e1 * ... * en-1) % e0
c1 = flat / (e1 * e2 * ... * en-1) % e1
c2 = flat / (e3 * e4 * ... * en-1) % e2
...
cn-1 = flat / 1 % en-1
例如,逻辑形状为 (8, 16),物理分片为 S[(8, 2, 4, 2) : (4@laneid, 1@warpid, 1@laneid, 1)],扁平索引为:
flat = 16 * i + j
物理坐标如下,省略了多余的取模:
c0 = i
c1 = j / 8
c2 = j / 2 % 4
c3 = j % 2
结合坐标和步长,可以计算各分片的贡献:
laneid = 4 * c0 + c2
warpid = c1
m = c3
最终得到如下放置方式:
laneid = 4 * i + j / 2 % 4
warpid = j / 8
m = j % 2