模型中

来自StartLux、清华大学等机构的研究者以MassiveActivations为探针，首次系统刻画了少数FullAttention层在混合线性注意力大模型中留下的「跨层痕迹」，并识别出「注意力前尖峰」（PAS）与「尖峰间平台」（ISP）两种核心形态。

混合线性注意力大模型中的「尖峰」与「平台」之谜首次揭开2026年09月01日11:07机器之心ProFullAttention层尚未开始计算，它前一层的激活值已提前「冲上峰值」——这就像演唱会主角尚未登台，观众席已提前沸腾。