千万token下,比DeepSeek式稀疏注意力再快22倍
编辑|Panda
如今,百万 token 上下文已经从卖点变成了标配。4 月,DeepSeek-V4 把 1M 上下文定为所有官方服务的默认规格;8 月,智谱发布的 GLM-5.3-Flash 同样支持 1M 上下文,并首次在 GLM 系列中引入稀疏注意力与线性注意力的混合架构。这些模型背后有一个共同的选择: 让每个 query 不再看遍所有历 史 token,只挑出少数最相关的去「看」。
这条路线在 1M 量级上已经被反复验证。可当上下文继续往 1000 万 token 推进时,一笔原本不起眼的开销开始失控。以 GLM-5.3-Flash 的一个全局注意力层为例,在 10M token 下做 prefill, 98% 的时间并没有花在注意力计算上,而是花在决定「该看哪些 token」的索引器上。
问题的性质因此变了。稀疏注意力早已证明「只看一小部分」足以保住精度,真正卡住超长上下文的是 「找到那一小部分」依然会 随上下文 长度二次方增长 。
现在,伦敦初创公司 Prefrontal AI 与苏黎世联邦理工学院(ETH Zurich)联合发布论文,提出了一种名为 Latent Sparse Attention(LSA,隐空间稀疏注意力) 的新方法。
它在 10M token 下把 GLM-5.3-Flash 单个注意力层的 prefill 提速 22 .7 倍 ,把 Qwen3.8-27B 的提速 72.4 倍 ,同时在一系列任务上保持了与原模型相近的精度。
论文标题:Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention
论文地址:https://arxiv.org/abs/2610.42147
代码地址:https://github.com/Prefrontal-AI/latent-sparse-attention
稀疏注意力的「隐形账单」
先回顾一下 注意力 的成本结构 。在标准的全注意力里,每个 query 都要和之前所有的 key 计算一遍相关性,上下文长度为 T 时,prefill 的计算量是 O(T²),每解码一个 token 是 O(T)。上下文从 100 万涨到 1000 万,prefill 的注意力计算量就要涨 100 倍。
稀疏注意力 的思路是分工:先由一个轻量的「索引器」(indexer)为每个 query 挑出 k 个最相关的 key,再让真正的注意力只在这 k 个 key 上计算。这样注意力本身的开销被压到了 O(Tk)。
这个思路成立有个前提: 模型确实只需要很少的 key 。论文附录专门做了验证:在 128k token 下,让 Qwen3.8-27B 的每个 query 只看它「真正」最相关的 512 个 key(约占全部 key 的 0.8%),模型在 RULER 长上下文基准上仍能保留全注意力 98% 的精度。
但这里藏着一个悖论。索引器要想知道哪 512 个 key 最相关,就得先给每一个 key 打分。DeepSeek 的 DSA、MiniMax 的稀疏注意力,以及 GLM-5.3-Flash、Qwen 等模型采用的块稀疏方案,各自用了降低精度、减少维度、把 4 个 key 压成 1 个等办法给索引器「减负」,但这些改进只是把常数项除以了几倍, 索引器的工作量依然随上下文线性增长,prefill 依然是二次方 。
打个比方:你要从一座藏书千万册的图书馆里借 4096 本书,借书本身很快,麻烦的是为了确定借哪 4096 本,你得把每一本书的书脊都看一遍。书越多,看书脊的时间就越占大头。论文测算,在 10M token 下,如果索引器的开销能降为零,稀疏注意力的 prefill 还能再快 58 倍。
超长上下文下传统稀疏注意力的耗时构成(GLM-5.3-Flash 单个全局注意力层,单张 H200)。10M token 时,索引器占 prefill 总时间的 98%。
不按时间排,按语义排
LSA 的解法,是让索引器不再逐个检查 key,而是 去检查「key 的分组」 。
D-LSA 与 N-LSA 总览。上:一个注意力层中,key 先被池化并聚类成桶,query 只给桶中心打分,再只看被选中的远程 key(外加 sink 与滑动窗口);下:两种变体的精度与加速。
关键在于怎么分组。现有的块稀疏方法大多按位置分组,把相邻的几个 key 打成一个块。这相当于图书馆按入库时间把书装箱,每箱贴一张摘要。问题在于,一箱里只要有一本关键的书,就可能被其余几本无关书目的摘要「淹没」。
LSA 选择按内容分组 。它先把 key 投影到一个经过学习的低维隐空间(latent space)里,再在这个空间中用层次聚类(Ward 方法)把语义相近的 key 归入同一个「桶」(bucket),每个桶只保留一个中心向量和一张记录桶内 key 位置的索引表。查询时,query 只需要和桶的中心向量打分,选出最相关的若干个桶,再把桶「展开」成具体的 key,凑满 k 个送进注意力。
回到图书馆的比方:书不再按入库日期装箱,而是按主题上架。要找关于量子纠错的书,直接走到那一排书架就行,同一主题的书可能是十年间陆续入库的,但它们挨在一起。
这一步的收益是常数级的,论文把它称为 Flat(扁平)搜索。真正改变复杂度的是 Tree(树)变体:桶之上再聚成更大的「节点桶」,层层向上形成一棵层次树。query 从树顶出发,每一层只保留得分最高的若干分支往下走(束搜索)。就像先选楼层、再选区域、再选书架,每个 query 只需检查 O(log T) 个中心向量,索引器的 prefill 从二次方降到了 O(T log T) ,这也是论文标题中 「次二次方」(subquadratic) 的由来。
D-LSA 设计。左为 Flat 搜索:key 经投影、池化、聚类后存入桶缓存,query 给桶中心打分并展开为 top-k 索引;右为 Tree 搜索:桶被组织成多层层次结构,query 用束搜索逐层下探。
两种用法:嫁接进已有模型,或者从头长出来
LSA 提供了两种落地方式。
第一种是 D-LSA(Distilled-LSA) ,面向已经训练好的模型。它冻结原模型的全部参数,每层只新增两个小投影矩阵,把 key 和 query 投到 64 维的索引空间,再通过蒸馏让 LSA 的打分去逼近原模型注意力的分布。整个蒸馏只用了 3.52 亿 token,作为参照,DeepSeek DSA 仅索引器的稠密预热阶段就用了 21 亿 token。论文还给出了一个完全免训练的版本,直接用 key 的主成分方向充当投影,在 Qwen3.8-27B 上与训练版本精度接近。
第二种是 N-LSA(Native-LSA) ,在预训练时就原生使用 LSA,只靠标准的下一 token 预测损失训练。它直接对注意力自己的 key 做聚类,不需要额外的索引投影、不需要教师模型,也不需要辅助损失,模型参数量一个不增。
N-LSA 设计。注意力层直接对自身的 key 聚类,可仅靠下一 token 预测损失从头训练。
工程层面,团队为聚类、打分、选择和展开写了面向 H200 和 B300 的 GPU kernel(另有可在任意 GPU 上运行的 Triton 版本),并把 LSA 整合进了 SGLang,支持张量并行、专家并行、流水线并行,以及 prefill 和 decode 阶段的上下文并行。
1000 万 token 下的成绩单
先看 精度 。团队在 Qwen3.8-27B(其注意力层为全注意力)和 GLM-5.3-Flash(自带稀疏注意力)两个模型上测试 D-LSA,并把上下文推到 10M token,远超两者官方给出的 1M 上限。在 MMLU-Pro、GPQA-Diamond、AIME25、MATH500、LongBench v2 等知识、推理和长上下文任务上,D-LSA 都落在基线的 95% 置信区间内,也没有明显改变模型的推理长度。
在 4k 到 10M token 的 RULER 上,Qwen3.8-27B 加 D-LSA 在 1M 以内与全注意力的差距不超过 5 分,到了 10M 反而以 63.9 比 59.9 反超。GLM-5.3-Flash 加 D-LSA 在 1M 以内与原生稀疏注意力相差 3 分以内,2M 到 5M 区间最多落后 8 分,10M 时差距回到 4 分以内。需要说明的是,GLM 的基线稀疏注意力是与模型一起训练的,而 D-LSA 只是在冻结模型上做了蒸馏,这个比较本身对基线有利。
为了在更真实的场景中检验超长上下文能力,团队还构建了一个新基准 PaperTrail 。
它把一条条虚构的「研究线索」嵌进大量真实的 2026 年 arXiv 论文中:一篇虚构论文提出某个结果,若干真实论文中被插入引用它的段落,几周后另一篇虚构论文修正数值并给方法改名,而部分后续论文仍在引用旧值,就像真实的学术文献一样。模型需要像做文献综述那样找到并串联这些事实,10M 规模的样本包含近 400 到 465 篇论文。在这个基准上,Qwen3.8-27B 加 D-LSA 在 10M token 下得分 29.1,全注意力为 19.8。