梯度
分类
集中
结果显示,在RMSNorm之后的注意力输入处,梯度集中的现象普遍存在。
文章
调节
换句话说,看起来异常的大激活,可能承担着梯度调节的作用。
文章
汇聚
于是,论文提出了这样一条机制链:注意力向少数位置集中,带来Value路径上的梯度汇聚,而较大的残差流激活则通过RMSNorm衰减传回残差流的分支梯度。
文章
他们发现,注意力汇聚也会把训练信号集中到少数Token上,形成「梯度汇聚」(GradientSinks)。
文章
在0.3B模型中,梯度汇聚比值的中位数从约40.3降至5.6。
文章
这就是论文观察到的梯度局部集中,称为梯度汇聚(GradientSink)。
文章
尺度
实验发现,虽然首Token的梯度经过注意力子层之后被急剧放大,但是其残差流梯度的尺度却相对稳定,这是因为经过注意力层汇聚的梯度被RMSNorm压缩了。
文章
这就需要进一步观察梯度尺度在整个注意力子层中的变化。
文章
影响
换句话说,看起来异常的大激活,可能承担着梯度调节的作用。
文章