长度外推

SWA/GLA/GDN-NoPE-LH的长度外推表现SWA/GLA/GDN-NoPE-LH的长文续训表现

更小的窗口具有更好的长度外推表现，体现了长窗口懒惰。

评测覆盖PG19PPL、LongPPL、RULER、BABILong和LongBench，包括短文训练下的长度外推表现和长文续训后的扩长训练表现，同时比较层混合（LH）与头混合（HH）两种方式。

短文预训练完成后，SWA-NoPE混合通常展现出很强的长度外推能力。