登录
更多
已读文章
名词
现象
观点
问题
政要
98%
分类
98%
论文附录专门做了验证:在128ktoken下,让Qwen3.8-27B的每个query只看它「真正」最相关的512个key(约占全部key的0.8%),模型在RULER长上下文基准上仍能保留全注意力
98%
的精度。
文章