量化-04-SmoothQuant

Summary

SmoothQuant是一种量化激活值的方法,通过等价缩放将激活值的量化难度迁移到权重上。其核心思想是利用对角缩放矩阵S,调整激活和权重的范围,使激活值更平滑、易于量化,同时权重在INT8范围内仍保持稳定。该方法通过几何平均计算缩放因子,选择适当的迁移强度α,实现W8A8量化,推理时无额外开销。适用于处理LLM中激活值的异常分布,提升量化效果。

SmoothQuant

之前我们讲的算法是OBQ/GPTQ是量化权重的,把权重量化到W4/8,实际计算时还要转成bf16,并没有使用上INT8 tensor core加速计算

为了实现这个,我们就需要去量化激活值,这篇要介绍的SmoothQuant也是近几年来简单并且适用范围非常广的方法

对于LLM的激活值观察:

在LLM中,少数通道的 outlier 主导了量化范围,并且这部分都是分布在特定的通道上,普通值有一定比例关系,我们可以考虑把这部分异常比例关系移到权重上,让激活值变得平滑,Max更小更好量化


核心思想:等价缩放,迁移难度

回到线性层的基本运算 Y=XWY = XW。我们引入一个对角缩放矩阵 SS:

Y=XW=(X⋅S−1⏟X̂)(S⋅W⏟Ŵ)=X̂ŴY = XW = (\underbrace{X \cdot S^{-1}}_{\hat{X}})(\underbrace{S \cdot W}_{\hat{W}}) = \hat{X}\hat{W}(1)

注意矩阵”左行右列”,就好理解了,数学上完全等价,输出 YY 一模一样。

物理直觉:假设第 jj 个通道的激活有严重的 outlier(max = 100),而对应通道的权重范围很小(max = 0.5)。如果我们选 sj=10s_j = 10:

  • 激活第 jj 通道被缩小 10 倍,max 从 100 降到 10,量化精度大幅提升
  • 权重第 jj 通道被放大 10 倍,max 从 0.5 变成 5,权重本身范围小,放大后仍在 INT8 舒适区内

这就是 SmoothQuant 的全部思想:权重有富余的量化容量,激活没有。等价缩放让两者各归其位。


量化方式

注意下这里的矩阵维度定义是 Y=XWY = XW ,之前介绍的量化是Y=WXY= W X,所以会有一个转置

因为这部分outlier是跨token的,也就是集中在X矩阵的列上,因此非常适合:

  • 激活值用per-token
  • 权重用per-channel

Smoothing Factor 怎么算

核心问题:SS 的每个对角元素 sjs_j 该取多少?

SmoothQuant 给出的公式是:

sj=max⁡(|X:,j|)αmax⁡(|Wj,:|)1−αs_j = \frac{\max(|X_{:,j}|)^\alpha}{\max(|W_{j,:}|)^{1-\alpha}}(2)

逐项拆解:

  • max⁡(|X:,j|)\max(|X_{:,j}|):激活第 jj 个通道的绝对值最大值,衡量该通道 outlier 的严重程度
  • max⁡(|Wj,:|)\max(|W_{j,:}|):权重第 jj 个通道的绝对值最大值,衡量该通道能承纳多大的放大
  • α\alpha:迁移强度,控制把多少量化难度从激活搬给权重

当 α=0.5\alpha = 0.5 时,sj=max⁡(|X:,j|)/max⁡(|Wj,:|)s_j = \sqrt{\max(|X_{:,j}|) / \max(|W_{j,:}|)},也就是两个 max 的几何平均。

为什么是几何平均? 因为缩放是乘法操作。激活缩小 sjs_j 倍,权重放大 sjs_j 倍,两者的量化难度变化是对称的。几何平均保证两边各承担一半的迁移量,不偏向任何一方。

为什么用 max 而不是 mean/std? Outlier 本身就是极值问题。max 直接捕捉最坏情况,mean 会被大量正常值稀释,对 outlier 的感知能力太弱。

α 的选择

α\alpha 控制迁移的力度,两端都很危险:

  • α=0\alpha = 0:不平滑,X̂=X\hat{X} = X,激活该炸还是炸
  • α=1\alpha = 1:全部迁给权重,sj=max⁡(|X:,j|)s_j = \max(|X_{:,j}|),激活完全归一化但权重可能撑不住

规律直觉:模型越大,激活 outlier 越严重,需要更大的 α\alpha 把更多难度推给权重。


工程实现

SmoothQuant执行的实际上是权重量化的前处理操作,然后把系数乘到对应的权重矩阵中

我们不想在推理的时候真的去把激活值乘上系数,所以考虑:

  • 激活值的系数乘到上一个算子的权重
  • 权重的系数就乘到自身权重

下面我们以典型的 RmsNorm -> Gate (Linear) 结构为例,通过数学公式来推导这种融合的等价性。

标准 RMSNorm 的公式

对于输入 Xin∈ℝN×CX_{in} \in \mathbb{R}^{N \times C} 中的某一个 token 向量 x∈ℝCx \in \mathbb{R}^C,标准的 RMSNorm 计算公式为:

X=RMSNorm(x)=xRMS(x)⊙γX = \text{RMSNorm}(x) = \frac{x}{\text{RMS}(x)} \odot \gamma(3)

其中:

  • 均方根值 RMS(x)=1C∑i=1Cxi2+ϵ\text{RMS}(x) = \sqrt{\frac{1}{C} \sum_{i=1}^{C} x_i^2 + \epsilon},这是一个标量(对于每个 token 而言)。
  • γ∈ℝC\gamma \in \mathbb{R}^C 是模型训练学到的缩放权重(Scale Weight)。
  • ⊙\odot 表示逐元素乘法(Element-wise multiplication)。

SmoothQuant 等价融合推导

根据 SmoothQuant 的逻辑,我们需要将当前层的输出激活值平滑化,即乘上对角矩阵 S−1S^{-1}。等价于在通道维度上逐元素除以向量 s∈ℝCs \in \mathbb{R}^C:

X̂=XS−1=X⊘s\hat{X} = X S^{-1} = X \oslash s(4)

将 RMSNorm 的公式代入上面的平滑化公式中:

X̂=(xRMS(x)⊙γ)⊘s\hat{X} = \left( \frac{x}{\text{RMS}(x)} \odot \gamma \right) \oslash s(5)

因为 1RMS(x)\frac{1}{\text{RMS}(x)} 对通道维度 CC 来说是一个标量广播,而 γ\gamma 和 ss 都是长度为 CC 的向量,根据逐元素乘除法的结合律和交换律,我们可以直接把分母 ss 结合到参数 γ\gamma 上:

X̂=xRMS(x)⊙(γs)\hat{X} = \frac{x}{\text{RMS}(x)} \odot \left( \frac{\gamma}{s} \right)(6)

由此可以非常直观地看出,我们只需要定义一个新的 RMSNorm 权重:

γ̂=γs\hat{\gamma} = \frac{\gamma}{s}(7)

由此outlier的处理我们已经在权重中处理完了,SmoothQuant 部署推理时没有任何额外计算开销。

校准流程

  1. 用 128 条校准样本过模型,收集每层输入激活的 max⁡(|X:,j|)\max(|X_{:,j}|)
  2. 读取每层权重的 max⁡(|Wj,:|)\max(|W_{j,:}|)
  3. 计算 sjs_j,对权重做缩放融合
  4. 对融合后的权重做 W8A8 量化(RTN 就行)
  5. 保存量化后的模型

整个过程只需要一次前向传播收集激活统计量,不需要像 GPTQ 那样逐列迭代,也不需要计算 Hessian 矩阵。


总结

SmoothQuant 的一句话核心:等价缩放变换,把激活的量化难度迁移给权重。

工程实现极简、推理零开销、效果稳定(大部分模型 α=0.5 即可),是 W8A8 场景下的首选方案。

  1. α 需要手动调。 虽然大部分模型 0.5 就行,但碰到极端分布的模型还得试。这不是一个完全自动化的方案。
  2. 本质上只是一个”预处理”手段,量化本身用的还是最朴素的 RTN。
  3. 只处理了通道间的幅度差异,没处理分布形状。 Scaling 只能调范围,不能改变激活的分布形状。如果你的激活在某些通道上有严重的非对称分布(大量正值 + 少量极大负值),还需要 Shifting(平移)来处理。例如 Outlier Suppression+ 和 OmniQuant 的 Shifting + Scaling 组合。

对于上面碰到的问题,华为的msmodelslim做了一下改进,提出了Flex Smooth Quant 主要增加更智能的α\alpha计算和增加了激活值的Shifting

Join the discussion Powered by GitHub Discussions