登录

巨大激活


效果

与此同时,首Token的残差流激活范数显著下降,即巨大激活被显著缓解而模型仍保留明显的注意力汇聚行为。
文章

并且巨大激活缓解主要源于MLP输出范数的下降。
文章