混合架构

论文从混合位置的角度，系统比较了基于RoPE/NoPE全注意力、滑窗注意力（SWA），以及GLA/GDN等门控线性注意力的混合架构在长上下文任务中的表现，并进一步分析了不同注意力的协同机制。

把这些能力组织起来，或许正是长上下文混合架构继续发展的方向。

论文首先给出的观察是：混合位置让混合架构具有更好的长文表现。

这项工作围绕两个看似简单的问题展开：混合架构为什么有效，以及怎样设计得更有效？