登录

梯度


分类

集中

局部梯度集中呈现出明确的路径结构。
文章

结果显示,在RMSNorm之后的注意力输入处,梯度集中的现象普遍存在。
文章

调节

换句话说,看起来异常的大激活,可能承担着梯度调节的作用。
文章

这让激活尺度成为一种局部梯度调节手段。
文章

汇聚

于是,论文提出了这样一条机制链:注意力向少数位置集中,带来Value路径上的梯度汇聚,而较大的残差流激活则通过RMSNorm衰减传回残差流的分支梯度。
文章

他们发现,注意力汇聚也会把训练信号集中到少数Token上,形成「梯度汇聚」(GradientSinks)。
文章

在0.3B模型中,梯度汇聚比值的中位数从约40.3降至5.6。
文章

梯度汇聚与巨大激活又有什么联系呢?
文章

注意力的汇聚点,也是梯度的汇聚点。
文章

这就是论文观察到的梯度局部集中,称为梯度汇聚(GradientSink)。
文章

尺度

实验发现,虽然首Token的梯度经过注意力子层之后被急剧放大,但是其残差流梯度的尺度却相对稳定,这是因为经过注意力层汇聚的梯度被RMSNorm压缩了。
文章

这就需要进一步观察梯度尺度在整个注意力子层中的变化。
文章

影响

换句话说,看起来异常的大激活,可能承担着梯度调节的作用。
文章