登录

98%


分类

98%

论文附录专门做了验证:在128ktoken下,让Qwen3.8-27B的每个query只看它「真正」最相关的512个key(约占全部key的0.8%),模型在RULER长上下文基准上仍能保留全注意力98%的精度。
文章