转置
朴素转置的性能比表面上看起来更差。
@triton.jit
def matrix_transpose_kernel(
input, output, rows, cols, stride_ir, stride_ic, stride_or, stride_oc
):
row_pid = tl.program_id(0)
col_pid = tl.program_id(1)
src_offset = input + row_pid * stride_ir + col_pid * stride_ic
tar_offset = output + col_pid * stride_or + row_pid * stride_oc
val = tl.load(src_offset)
tl.store(tar_offset, val)
对于行主序输入:
- 各 lane 的加载地址连续,可以合并访存。
- 存储地址以
rows为步长,无法合并访存。
这意味着一个 warp 读取时可能只需约 1 次事务,写入却可能需要约 32 次。瓶颈不再是浮点运算量,而是浪费的访存事务与低效存储。参见 CUDA 最佳实践指南:合并访问。
分块 kernel 通过从标量地址转向块地址解决这个问题:
@triton.jit
def matrix_transpose_kernel(
input,
output,
rows,
cols,
stride_ir,
stride_ic,
stride_or,
stride_oc,
ROW_BLOCK: tl.constexpr,
COL_BLOCK: tl.constexpr,
):
row_pid = tl.program_id(0)
col_pid = tl.program_id(1)
# get the tile offsets
row_offsets = row_pid * ROW_BLOCK + tl.arange(0, ROW_BLOCK)
col_offsets = col_pid * COL_BLOCK + tl.arange(0, COL_BLOCK)
input_offsets = (
input + row_offsets[:, None] * stride_ir + col_offsets[None, :] * stride_ic
)
in_mask = (row_offsets[:, None] < rows) & (col_offsets[None, :] < cols)
val = tl.load(input_offsets, mask=in_mask, other=0.0)
output_offsets = (
output + col_offsets[:, None] * stride_or + row_offsets[None, :] * stride_oc
)
out_mask = tl.trans(in_mask)
tl.store(output_offsets, tl.trans(val), mask=out_mask)
核心思路:
- 从输入加载
[ROW_BLOCK, COL_BLOCK]tile。 - 在 tile 内转置。
- 调整存储方式,让输出 lane 写入连续行。
输入加载和输出存储现在都能合并访存。编译器可以将其降级为向量化全局操作和共享内存转置路径,每条缓存行也得到更充分的利用。
我觉得这与常见 ORM 的 dataloader 模式很像:把局部性相近的数据批量查询,提高整体吞吐量。
归约
data = tl.load(input + offsets, mask=mask, other=0.0)
sum = tl.sum(data)
tl.atomic_add(output, sum, sem="relaxed")
每个 program 加载一个连续块,使用 tl.sum 在寄存器中完成局部归约,再通过一次全局原子操作合并部分和。多个 program 更新同一个 output,因此必须保证原子性。注意,这里是每个 block 一次原子操作,不是每个元素一次,所以仍然高效。
atomic_add 的内存语义
sem 控制内存操作顺序,而非原子性本身。
| 语义 | 顺序保证 | 使用场景 |
|---|---|---|
relaxed | 保证原子性,不提供额外顺序保证 | 计数器、归约、统计 |
acquire | 后续内存操作不能移动到它之前 | 读取标志后消费受保护的数据 |
release | 之前的内存操作不能移动到它之后 | 发布数据后设置标志 |
acq_rel | 同时保证两个方向的顺序,通常代价更高 | 锁、队列、同步原语 |
更强的语义可能引入额外的顺序约束或 fence,减少指令调度与内存系统的自由度。
底层如何实现原子性
这里的原子语义很有意思,因为它与我们对 kernel 并行执行的直觉有些不同。
atomic_add 需要跨 warp 通信吗?
不需要。不同 warp 或不同 SM 的线程不直接相互协调。串行化发生在 L2 缓存控制器,不是 warp 调度器。无需 barrier、共享内存交换或 warp shuffle。参见 PTX ISA:atom 指令。
请求在哪里缓冲?
多个 SM 同时对同一地址发出 atom.global.add 时,请求会进入 L2 缓存的原子操作队列,原文将其描述为每个 L2 分区内部的 FIFO。控制器会:
- 将请求放入缓冲区。
- 锁定缓存行。
- 按不确定的到达顺序,逐个执行读改写。
- 释放缓存行并处理下一条请求。
原文还提到,Ampere/Hopper 在内存控制器层有归约网络,可以在部分原子请求到达 L2 前合并它们,进一步隐藏延迟。
发出原子操作会让线程停顿吗?同一个 warp 的其他线程呢?
线程需要等待内存控制器确认读改写操作。调度器可以在等待期间切换到其他就绪 warp,以隐藏这部分延迟。
relaxed 在硬件层省略了什么?
relaxed 告诉编译器和硬件,不需要为这次原子操作提供额外的内存顺序约束。更强的 acquire、release、acq_rel 语义要求在原子操作前后建立相应顺序,原文将额外代价解释为存储缓冲区的刷新或排空及更大范围的内存同步。对于这里纯粹的累加归约,不需要这些额外顺序保证,因此适合使用 relaxed。