跳转到正文
Retep's
返回

[TIL] 学习笔记:Softmax

编辑文章

本文由英文原文翻译。代码、公式与技术名称保留原文。

Softmax

Softmax 看起来像简单的逐元素操作,实际上却是全局归约之后再逐元素写出:

y_i = exp(x_i - max(x)) / sum_j exp(x_j - max(x))

麻烦在于,每个输出元素都依赖相同的全局 max(x) 和分母。如果 N <= BLOCK_SIZE,一个 Triton program 可以处理整个向量,在内部完成归约。但向量大于一个 block 时,tl.max 和 tl.sum 只能解决局部问题。

因此,kernel 被拆成三个阶段。

阶段 1:计算每个块的摘要

@triton.jit
def block_stats_kernel(input_ptr, block_m_ptr, block_l_ptr, N, BLOCK_SIZE: tl.constexpr):
    pid = tl.program_id(0)
    offsets = pid * BLOCK_SIZE + tl.arange(0, BLOCK_SIZE)
    mask = offsets < N

    x = tl.load(input_ptr + offsets, mask=mask, other=-float("inf"))
    m = tl.max(x, axis=0)
    l = tl.sum(tl.exp(x - m), axis=0)

    tl.store(block_m_ptr + pid, m)
    tl.store(block_l_ptr + pid, l)

每个 program 负责一个连续块,计算:

第二个值还不是最终分母,而是在该块自身数值基准下的分母。必须同时保存最大值和求和结果:仅最大值不够,仅求和也不够,因为求和之前减去了局部最大值。m_b 告诉我们如何将局部分母变换到全局基准,l_b 则记录局部平移后的指数和。二者合起来,就是 Softmax 归一化所需的紧凑充分统计量。

阶段 2:合并分块摘要

@triton.jit
def reduce_stats_kernel(
    block_m_ptr, block_l_ptr, global_m_ptr, global_l_ptr, num_blocks, BLOCK_SIZE: tl.constexpr
):
    offsets = tl.arange(0, BLOCK_SIZE)
    mask = offsets < num_blocks

    mb = tl.load(block_m_ptr + offsets, mask=mask, other=-float("inf"))
    lb = tl.load(block_l_ptr + offsets, mask=mask, other=0.0)

    M = tl.max(mb, axis=0)
    L = tl.sum(lb * tl.exp(mb - M), axis=0)

    tl.store(global_m_ptr, M)
    tl.store(global_l_ptr, L)

关键的一行是:

L = tl.sum(lb * tl.exp(mb - M), axis=0)

它把每个块的局部分母缩放到全局分母的坐标系。

为什么成立?

l_b = sum_{i in block b} exp(x_i - m_b)
l_b * exp(m_b - M)
    = sum_{i in block b} exp(x_i - m_b) * exp(m_b - M)
    = sum_{i in block b} exp(x_i - M)

对所有块求和后:

L = sum_i exp(x_i - M)

这本质上仍是 log-sum-exp 技巧,只是分层应用。

阶段 3:归一化每个元素

@triton.jit
def softmax_kernel(input, output, global_m_ptr, global_l_ptr, N, BLOCK_SIZE: tl.constexpr):
    pid = tl.program_id(0)
    offsets = pid * BLOCK_SIZE + tl.arange(0, BLOCK_SIZE)
    mask = offsets < N

    M = tl.load(global_m_ptr)
    L = tl.load(global_l_ptr)
    x = tl.load(input + offsets, mask=mask, other=-float("inf"))
    y = tl.exp(x - M) / L

    tl.store(output + offsets, y, mask=mask)

此时又变成完全独立的并行计算。每个 program 读取同样的两个标量 M 和 L,然后写出一个连续输出块。

如何确定 BLOCK_SIZE

将归约块大小设置为 2 的幂:

reduce_block = 1
while reduce_block < num_blocks:
    reduce_block <<= 1

Triton 在静态大小的 lane 块上执行归约。2 的幂有利于向量化归约的降级,mask 则确保补齐位置不会产生影响。

代价是阶段 2 假设所有分块摘要都能放进一个 Triton program。对于特别大的 N,应改为树形归约。

为什么需要三个 kernel?

为什么不能在同一个 kernel 中计算全局统计量并输出?

普通 Triton kernel 没有整个 grid 范围的同步。program 内部可以同步,但同一次启动中的独立 program 无法保证“全部完成阶段 1 后,再一起开始阶段 2”。

kernel 启动成为同步边界:

  1. 阶段 1 结束后,所有 block_m 和 block_l 都已生成。
  2. 阶段 2 结束后,global_m 和 global_l 已生成。
  3. 阶段 3 可以安全地归一化整个向量。

这与归约文章类似:局部工作可以并行,但全局意义需要跨过归约边界才能建立。

成本分析

这个方案读取输入两次:

此外还要启动三个 kernel,并写入小型中间缓冲区。虽然有开销,但它提供了缺失的全局同步,同时让访存模式保持简单:

对于单个大向量的 Softmax,这是一种合理拆分。主要限制是启动开销和阶段 2 的单 program 归约。对于多行输入,通常下一步是让每个 program 处理一行或一行的分片,再逐行归约,但下面的不变量仍然成立:

(m_a, l_a) + (m_b, l_b)
=> M = max(m_a, m_b)
=> L = l_a * exp(m_a - M) + l_b * exp(m_b - M)

关键是 (m, l) 这一对统计量。跨块 Softmax 需要携带足够的平移后统计信息,让不同块在保持数值稳定的前提下合并。


编辑文章
分享文章:

上一篇
[TIL] 学习笔记:Softmax Attention
下一篇
[TIL] 学习笔记:转置与归约