qwen3-next线性注意力公式推导

传统Attention Soft注意力计算复杂度(以双向注意力也就是忽略mask来着)

先来看注意力计算机制:

  • 双向注意力的计算:Softmax(QKTdk)VSoftmax(\frac{Q K^T}{\sqrt{d_k}})V

  • 单向注意力的计算:Softmax(QKT⊙Mdk)VSoftmax(\frac{Q K^T \odot M}{\sqrt{d_k}})V

其中⊙\odot是点乘,MM 表示mask

为了方便展示,我们先忽略 softmax 符号和 dk\sqrt{d_k}( dk\sqrt{d_k} 可吸收到矩阵中去):

1、先计算 QKTQ K^T

QK⊤:(n,d)*(d,n)=n*n*dA=QK⊤A*V:(n,n)*(n,d)=n*n*d\begin{aligned} & Q K^{\top}:(n, d) *(d, n)=n * n * d \\ & A=Q K^{\top} \\ & A * V:(n, n) *(n, d)=n * n * d \end{aligned}(1)

2、先计算 KTVK^T V

KTV:(d,n)*(n,d)=d*n*dB=KTVQB:(n,d)*(d,d)=n*d*d\begin{aligned} & K^T V:(d, n) *(n, d)=d * n * d \\ & B=K^T V \\ & Q B:(n, d) *(d, d)=n * d * d \end{aligned}(2)

先计算 QKTQ K^T 时,复杂度为 O(n2d)O\left(n^2 d\right)

先计算 KTVK^T V 时,复杂度为 O(nd2)O\left(n d^2\right)

在长序列场景下, n≫d\mathrm{n} \gg \mathrm{d} ,所以先计算 KTVK^T V 的复杂度是要远远低于先计算 QKTQ K^T 的

但是,由于softmax的限制,没办法进行交换运算,导致长序列场景下计算复杂度很高。

那么,能不能不使用softmax计算注意力呢?

对于双向注意力来说,由于没有 MM 矩阵,可以直接交换矩阵相乘的顺序来达到降低复杂度的目的,但是对于单向注意力来说,由于 MM 的存在,不满足矩阵交换相乘,不能直接进行交换。

把(QKT⊙M)V(Q K^T \odot M)V写成分量的形式:

ot=∑j=1tvj(kj⊤qt)o_t=\sum_{j=1}^t v_j\left(k_j^{\top} q_t\right)(3)

其中,qtq_t 为当前 QQ 的分量,kjk_j 和 vjv_j 为历史 KK 和 VV 的分量 转换成如下形式:

ot=∑j=1t(vjkj⊤)qtot=(∑j=1tvjkj⊤)qt 令 St=∑j=1tvjkj⊤\begin{aligned} & o_t=\sum_{j=1}^t\left(v_j k_j^{\top}\right) q_t \\ & o_t=\left(\sum_{j=1}^t v_j k_j^{\top}\right) q_t \\ & \text { 令 } S_t=\sum_{j=1}^t v_j k_j^{\top} \end{aligned}(4)

则 ot=Stqt,St=St−1+vtkt⊤o_t=S_t q_t, ~ S_t=S_{t-1}+v_t k_t^{\top} \quad

可见,如上形式可以看成是一个以 StS_t 为State的线性RNN。

StS_t 是历史 vv 和 kk 的外积之和,存储了所有的历史信息,我们只需要维护一个固定大小的状态矩阵 (d*d)(d * d) 而无需燰存所有历史 kvk v 对 (n*d)(n * d) 。

这样的好处是在长序列场景下,无需额外的显存来存储 kvk v 对(序列越长需要的显存越高),只需固定大小的显存来存储状态矩阵,空间复杂度从 O(nd)O(n d) 到 O(d2)(n≫d)O\left(d^2\right)(\mathrm{n} \gg \mathrm{d})

不过,固定大小的状态矩阵是无法完美的存储所有历史信息的,每当新加入token的时俣,现有token就要被压缩,当序列长度变得很长的时候,每个token的信息占比很小,这就是为什么线性注意力检索能力比较差。

那么,一个很直观的想法是加入新token的时候遗忘掉一些不重要的历史信息(除旧迎新)。

可以给历史状态加入一个decay因子:

𝑺t=γ𝑺t−1+𝒗t𝒌t⊤\mathbf{S}_t=\gamma \mathbf{S}_{t-1}+\mathbf{v}_t \mathbf{k}_t^{\top}(5)

γ\gamma 可以是在一个 0 到 1 之间的常数(静态囊减因子)也可以是与输入相关的(data-dependent decay):

𝑺t=γt𝑺t−1+𝒗t𝒌t⊤\mathbf{S}_t=\gamma_t \mathbf{S}_{t-1}+\mathbf{v}_t \mathbf{k}_t^{\top}(6)

我们使用一个衰减矩阵(门控矩阵)来统一表述:

𝑺t=Gt⊙𝑺t−1+𝒗t𝒌t⊤\mathbf{S}_t=G_t \odot \mathbf{S}_{t-1}+\mathbf{v}_t \mathbf{k}_t^{\top}(7)

线性注意力的优化目标

状态矩阵 StS_t 中存储了所有历史信息,我们第望根据当前时刻输入 ktk_t 从 StS_t 中获取最相关的 vtv_t ,并且这个 vtv_t 无限接近真实的 vtv_t 状态矩阵 StS_t 可以理解成将 K,VK, ~ V 作为训练语料 (k1,v1),(k2,v2),…,(kt,vt)\left(k_1, v_1\right),\left(k_2, v_2\right), \ldots,\left(k_t, v_t\right) 训练得到的一个模型。 我们的优化目标就是 Skt=vtS k_t=v_t 我们便用MSE作为损失函数,则:

ℒt(𝑺)=12∥𝑺𝒌t−𝒗t∥2\mathcal{L}_t(\mathbf{S})=\frac{1}{2}\left\|\mathbf{S k}_t-\mathbf{v}_t\right\|^2(8)

应用梯度下降进行优化:

𝑺t=𝑺t−1−ηt∇ℒt(𝑺t−1)∇ℒt(𝑺t−1)=(𝑺t−1𝒌t−𝒗t)𝒌t⊤\begin{aligned} & \mathbf{S}_t=\mathbf{S}_{t-1}-\eta_t \nabla \mathcal{L}_t\left(\mathbf{S}_{t-1}\right) \\ & \nabla \mathcal{L}_t\left(\mathbf{S}_{t-1}\right)=\left(\mathbf{S}_{t-1} \mathbf{k}_t-\mathbf{v}_t\right) \mathbf{k}_t^{\top} \end{aligned}(9)

所以

𝑺t=𝑺t−1−ηt(𝑺t−1𝒌t−𝒗t)𝒌t⊤\mathbf{S}_t=\mathbf{S}_{t-1}-\eta_t\left(\mathbf{S}_{t-1} \mathbf{k}_t-\mathbf{v}_t\right) \mathbf{k}_t^{\top}(10)

把 ηt\eta_t 变成 βt\beta_t ,则

𝑺t=𝑺t−1−βt(𝑺t−1𝒌t−𝒗t)𝒌t⊤=𝑺t−1−βt𝑺t−1𝒌t𝒌t⊤+βt𝒗t𝒌t⊤=𝑺t−1(𝑰−βt𝒌t𝒌t⊤)+βt𝒗t𝒌t⊤\mathbf{S}_t=\mathbf{S}_{t-1}-\beta_t\left(\mathbf{S}_{t-1} \mathbf{k}_t-\mathbf{v}_t\right) \mathbf{k}_t^{\top}=\mathbf{S}_{t-1}-\beta_t \mathbf{S}_{t-1} \mathbf{k}_t \mathbf{k}_t^{\top}+\beta_t \mathbf{v}_t \mathbf{k}_t^{\top}=\boldsymbol{S}_{t-1}\left(\boldsymbol{I}-\beta_t \boldsymbol{k}_t \boldsymbol{k}_t^{\top}\right)+\beta_t \boldsymbol{v}_t \boldsymbol{k}_t^{\top}(11)

𝑺t−1𝒌t𝒌t⊤\mathbf{S}_{t-1} \mathbf{k}_t \mathbf{k}_t^{\top} 为模型对 ktk_t 的旧认知, 𝒗t𝒌t⊤\mathbf{v}_t \mathbf{k}_t^{\top} 为补充的新认知,除旧而迎新,这就是DeltaNet 在DeltaNet基础上添加门控:

𝑺t=αt𝑺t−1(𝑰−βt𝒌t𝒌t⊤)+βt𝒗t𝒌t⊤=αt𝑺t−1+(𝒗t−αt𝑺t−1𝒌t)βt𝒌t⊤\boldsymbol{S}_t=\alpha_t \boldsymbol{S}_{t-1}\left(\boldsymbol{I}-\beta_t \boldsymbol{k}_t \boldsymbol{k}_t^{\top}\right)+\beta_t \boldsymbol{v}_t \boldsymbol{k}_t^{\top}=\alpha_t \boldsymbol{S}_{t-1}+\left(\boldsymbol{v}_t-\alpha_t \boldsymbol{S}_{t-1} \boldsymbol{k}_t\right) \beta_t \boldsymbol{k}_t^{\top}(12)

这就是Gated DeltaNet,也就是在qwen3-next模型中使用的线性注意力。 苏神的博客中说只 αt\alpha_t 只乘到 St−1S_{t-1} 上会更好,即如下形式:

𝑺t=αt𝑺t−1−βt(𝑺t−1𝒌t−𝒗t)𝒌t⊤\mathbf{S}_t=\alpha_t \mathbf{S}_{t-1}-\beta_t\left(\mathbf{S}_{t-1} \mathbf{k}_t-\mathbf{v}_t\right) \mathbf{k}_t^{\top}(13)

更加符合我们上面说的添加遗忘门的方式:

𝑺t=Gt⊙𝑺t−1+𝒗t𝒌t⊤\boldsymbol{S}_t=G_t \odot \boldsymbol{S}_{t-1}+\boldsymbol{v}_t \boldsymbol{k}_t^{\top}(14)

PS: 最初的线性Attention对应的损失函数为 ℒt(𝑺)=−𝒗𝒕⊤(𝑺𝒌𝒕)\mathcal{L}_t(\mathbf{S})=-\mathbf{v}_{\mathbf{t}}{ }^{\top}\left(\boldsymbol{S} \mathbf{k}_{\mathbf{t}}\right) ,即内积损失,优化模型预测的 𝒗𝒕\mathbf{v}_{\mathbf{t}} 和真实 𝒗𝒕\mathbf{v}_{\mathbf{t}} 的相似性,此时应用梯度下降进行优化:

𝑺t=𝑺t−1−ηt(−𝒗t𝒌t⊤)=𝑺t−1+ηt𝒗t𝒌t⊤\mathbf{S}_t=\mathbf{S}_{t-1}-\eta_t\left(-\mathbf{v}_t \mathbf{k}_t^{\top}\right)=\mathbf{S}_{t-1}+\eta_t \mathbf{v}_t \mathbf{k}_t^{\top}(15)

即诙复了标准线性注意力更新。

Join the discussion Powered by GitHub Discussions