登录

上下文


影响

这样处理的好处是解码时显存与算力不随上下文线性增长,团队称这对推理服务和强化学习训练两端都有收益。
文章