登录
更多
已读文章
名词
现象
观点
问题
政要
巨大激活
效果
与此同时,首Token的残差流激活范数显著下降,即
巨大激活
被显著缓解而模型仍保留明显的注意力汇聚行为。
文章
并且
巨大激活
缓解主要源于MLP输出范数的下降。
文章