归档
按时间查看全部文章。
2026 21
十月 1
-
[TIL] IREE Dispatch 的创建过程
IREE 如何选择融合根、搜索生产者与消费者并构造 Dispatch。
九月 1
-
[TIL] 优化 Paged Attention
使用 Nsight Compute 分析并优化分页注意力 Kernel。
八月 2
-
Composable Kernel Language:用 MLIR 实现基于内存效应的 GPU Kernel 组合
CKL 的效应分析、依赖图、存储复用与 CUDA Graph 执行计划。
-
[TIL] Triton 线性布局
用 GF(2) 线性映射描述 Triton 张量与硬件位置的关系。
七月 1
-
[TIL] IREE 编译流水线导读
通过四元素计算追踪 IREE 各阶段 IR 与主机、设备降级。
六月 5
-
如何正确地写 Layout:深入理解 TileLang 布局推导
-
[TIL] 学习笔记:TileLang 中的 RoPE
RoPE 的旋转、索引和 TileLang 实现。
-
[TIL] 理解 IM2COL
将滑动窗口卷积转化为矩阵乘法。
-
[TIL] GPU 共享内存 Swizzle
共享内存 bank、lane 映射和局部地址置换。
-
[TIL] TileLang 逐元素操作与向量化
三个向量加法 kernel,以及向量化在 IR、CUDA、PTX 中的体现。
五月 11
-
[Book Club] FlashAttention:具备 IO 感知的快速、省内存精确注意力
FlashAttention、在线 Softmax、IO 复杂度与块稀疏注意力论文笔记。
-
[TIL] 多头注意力
Triton 多头注意力中的分块、块指针与在线 Softmax。
-
[Book Club] TileLang:连接现代神经网络 Kernel 的可编程性与性能
结合论文与源码理解 TileLang 的编译、Tile 推荐和布局推导。
-
[TIL] 学习笔记:卷积
从朴素卷积到隐式 GEMM。
-
[TIL] TileLang EP-01:初探
通过简单示例比较 TileLang 与 Triton 表达 GPU 编程的不同方式。
-
[TIL] 学习笔记:Softmax Attention
融合 Attention、在线 Softmax 与访存成本。
-
[TIL] 学习笔记:Softmax
分块 Softmax 的统计量合并与同步。
-
[TIL] 学习笔记:转置与归约
Triton 转置、归约和原子操作笔记。
-
[TIL] 从 Triton Kernel 到 LLVM IR 的完整流程
通过向量加法理解 Triton 编译流程。
-
[TIL] 布局计算小记
从逻辑坐标推导物理坐标。
-
[TIL] 线程块内的数据交换
线程与值的布局变换。
2025 7
六月 7
-
[TIL] MLIR Toy 详解:第 7 章
添加复合类型。
-
[TIL] MLIR Toy 详解:第 6 章
降级到 LLVM。
-
[TIL] MLIR Toy 详解:第 5 章
渐进式降级。
-
[TIL] MLIR Toy 详解:第 4 章
接口。
-
[TIL] MLIR Toy 详解:第 3 章
分析与变换。
-
[TIL] MLIR Toy 详解:第 2 章
生成 MLIR。
-
[TIL] MLIR Toy 详解:第 1 章
词法分析器、语法分析器与抽象语法树。