文章
全部已发布文章。
-
[TIL] GPU 共享内存 Swizzle
共享内存 bank、lane 映射和局部地址置换。
-
[TIL] TileLang 逐元素操作与向量化
三个向量加法 kernel,以及向量化在 IR、CUDA、PTX 中的体现。
-
[Book Club] FlashAttention:具备 IO 感知的快速、省内存精确注意力
FlashAttention、在线 Softmax、IO 复杂度与块稀疏注意力论文笔记。
-
[TIL] 多头注意力
Triton 多头注意力中的分块、块指针与在线 Softmax。