NeurIPS 2026|层内混合注意力：告别位置「伪混合」，STILL首个内容感知的层内混合注意力架构
本文一作孟维康是哈尔滨工业大学（深圳）博士研究生，主要研究方向是高效基础模型架构，线性 / 混合注意力机制。通讯作者张正教授是哈尔滨工业大学（深圳）长聘教授、博士生导师，长期从事高效能多模态机器学习研究。
Softmax 注意力的平方复杂度，一直是大模型迈向长上下文的最大拦路虎。线性注意力虽快，从头训练一个大型线性模型却动辄需要成千上万 GPU 时。于是，「把现成的预训练 LLM 直接线性化」成为最具性价比的路线 —— 但现有方法要么按位置粗暴划窗、把远处关键证据挡在高质量注意力之外，要么在特征映射中破坏预训练模型的范数结构，长文能力断崖式下跌。
STILL 近日被 NeurIPS 2026 正式接收。STILL 的核心贡献可以概括为两点：
首个真正的同层混合注意力框架 。 此前的层内方案（LoLCATs、Liger 等）只是把固定滑窗内的 token 交给 Softmax、窗外的交给线性注意力 —— 在作者看来，这种按位置一刀切的做法只是两种算子的「拼接」，算不上真正的混合。STILL 首次让 token 凭 内容重要性 在同一层内分工：重要的进 Softmax，其余的进线性注意力；
用局部窗口预测未来有用的历史信息 。 STILL 提出「自显著性分数（Self-Saliency Score）」，只需在局部滑窗内计算，就能预判一个 token 成为远端历史之后「未来还会不会被关注」，理论上保证局部 - 全局排名一致，实证重合率高达 84.8%。
配合保范数的特征映射 NP-Map 与统一训练 - 推理的分块并行实现，STILL 仅用 0.04B 训练 token 就完成线性化，在 16K 上下文下实现 80% 显存削减 、 83% 预填充加速 ，并在长上下文基准上相对已有线性化方法最高取得 86.2% 的提升。
论文题目：STILL: Selecting Tokens for Intra-Layer Hybrid Attention to Linearize LLMs
作者：Weikang Meng, Liangyu Huo, Yadan Luo, Jiawen Guan, Jingyi Zhang, Yingjian Li, Zheng Zhang
单位：哈尔滨工业大学（深圳），鹏城实验室，昆士兰大学，瑞汀灵动（上海）
论文链接：https://arxiv.org/abs/2602.02180
代码开源：https://github.com/ZacharyMeng/STILL
引入：层内混合，真的「混」了吗？
Transformer 自注意力需要计算所有 token 两两之间的交互，时间与显存复杂度均为序列长度的平方 O (N²)。为绕开从头预训练的天价成本，LoLCATs、Liger、KL-LS 等工作提出了 层内混合注意力（Intra-Layer Hybrid Attention） ：在同一个注意力层内，用 Softmax 注意力（SA）处理一小部分 token，用线性注意力（LA）总结其余上下文，只需少量蒸馏微调即可让预训练 LLM「变身」线性模型。
然而，这一范式存在两个关键缺陷：
1. 路由只看位置，不看内容 —— 滑窗拼接不是真正的混合 。 现有方法普遍依赖滑动窗口做路由：窗口内的 token 走 SA，窗外的全部交给 LA 笼统压缩（LoLCATs/Liger），或者像压缩稀疏注意力（CSA）那样把未选中的 token 直接丢弃（NULL）。在作者看来，这种按固定窗口划分的方式只是 Softmax 与线性注意力在位置上的「拼接」，算不上真正的混合 —— 哪些 token 值得高保真处理，应当由内容重要性决定，而不是由它离当前位置有多远决定。这一位置偏见隐含假设了「关键依赖都是局部的」—— 但关键证据往往远在窗口之外。一旦重要 token 被挤出 SA 分支，模型对它们的记忆就只剩线性注意力的有损压缩。
图 1：层内混合注意力对比。LoLCATs/Liger 对窗外上下文统一施加线性注意力，长文容量受限；CSA 使用压缩稀疏注意力，但未选中的 token 被完全丢弃（NULL）；STILL 为重要 token 保留高保真 Softmax 注意力，同时用线性注意力无损地保留全部上下文。
2. 特征映射破坏预训练范数结构。 此前研究（如 NaLaFormer）已指出，预训练 Softmax 注意力是「范数感知」的：向量模长调制表征强度，直接影响注意力分布的尖锐度。而主流线性化方案（如 Hedgehog）在特征映射前引入可学习 MLP，训练中会自由缩放特征范数 —— 即使后续的 softmax 映射名义上是范数感知的，它面对的也已经是被「拧歪」的范数分布，与预训练模型的表征强度失配。
这两个问题共同指明：有效的线性化需要 (i) 反映 token 重要性而非位置的路由，以及 (ii) 保持预训练范数统计、而非重新学习的核映射 。STILL 正是围绕这两点展开。
亮点一：同层混合注意力框架
什么才算真正的「混合」？STILL 的答案是： 让每个 token 凭内容重要性决定自己进入哪条分支，而不是凭位置 。论文的名字即点题 ——Selecting Tokens for Intra-Layer Hybrid Attention：先选 token，再谈混合。
图 2：STILL 层内混合线性注意力架构。先在滑窗内为每个 token 计算自显著性分数，Top-k 高分 token 路由至 Softmax 注意力，其余 token 由线性注意力处理；逐 token 选择被分块选择取代，支持并行训练与推理。
固定预算路由 。 为保证显存有界、复杂度线性，STILL 为每个注意力头设定与序列长度无关的固定 Softmax KV 缓存预算 m：其中 W 个槽位留给最近的滑窗 token（保留细粒度局部交互），其余 m−W 个槽位全部分配给 按分数选出的历史显著 token ，每个已完成的 chunk 保留 λ=⌊(m−W)/T_max⌋ 个。显著 token 一旦选中即永久保留，未选中的则累积进线性注意力的循环状态，全程无需重新打分或驱逐。换言之，滑窗只负责「近处」，「远处」的名额全部由内容竞争产生 —— 这是与此前位置式拼接的本质区别。
延迟选择与分块并行 。 逐 token 路由会引入不可忽视的开销、破坏并行性。STILL 改为以 chunk 为粒度做「延迟选择」：当新 chunk 开始时，才对上一个已完成 chunk 内的 token 按分数做 Top-λ 选择。训练与预填充阶段则采用分块并行形式，与解码阶段共享同一套路规则与记忆更新行为，训练 - 推理架构完全统一。
亮点二：自显著性分数
用局部窗口预测「未来有用」的历史
真正的混合需要一个回答得了关键问题的路由信号： 一个 token 在变成遥远的上下文之后，未来的 query 还会关注它吗？ 全局注意力可以回答这个问题，但那是平方复杂度、不可部署的。STILL 的洞察是：这件事可以在局部窗口内低成本地预测。
STILL 提出 自显著性分数（Self-Saliency Score） ：对每个 token，在其局部滑窗内分别计算「含自身项」与「去除自身项」的两个滑窗注意力分布 a^diag 与 a^nodiag，然后用二者的 KL 型敏感度作为该 token 的分数：