登录

长上下文

分类

训练

以飞星二号万卡集群训练2000B、256K长度数据为例，训练时间由4.5个月缩短至1.2个月，超长上下文训练效率达到原来的约4倍。

文章

混合架构

把这些能力组织起来，或许正是长上下文混合架构继续发展的方向。

文章

推理

KVCache用于保存模型生成过程中的部分计算结果，减少重复计算，是长上下文推理的重要支撑。

文章