长上下文

长上下文解决的是记忆和信息承载;

2025年10月，Kimi发布KimiLinear，这是Kimi提出的一种线性注意力架构，核心目标是在保住长上下文能力的同时，把大模型处理超长文本的计算和显存成本降下来。