登录

缓存


分类

重算

与操作文本不同的是,直接操作缓存能够复用已经计算过的缓存,并不需要缓存的重算。
文章

缓存工程:直接管理缓存,避免缓存重算
文章

这揭示了上下文工程的主要问题:直接修改上下文,导致缓存重算,引入的额外成本有时反而超过其省下的成本。
文章

缓存

操作

为了便于探索这一维度,研究团队实现了AKV推理服务系统,通过简单的接口开放缓存操作。
文章

AKV通过扩展的radixtree(如下图c)能够正确高效处理所有的缓存操作。
文章

AKV:支持缓存操作的推理服务系统
文章

Agent与Harness可以根据任务进展组合缓存操作,决定每一步实际使用哪些缓存。
文章

为了实现缓存操作,研究员团队基于SGLang[3]开发了对应的模型推理系统AKV。
文章

对使用者来说,AKV的接口很简单:照常提交完整消息历史,再附上缓存操作记录,说明何时移除哪些KV、何时重排位置。
文章

要实现支持缓存操作的推理系统,团队主要解决了缓存状态匹配的问题。
文章

效果

在三个模型、四个Agent任务的评测中,缓存工程相比上下文工程,平均推理成本降低27.7%,平均任务成功率提升1.7%。
文章

直接管理后续推理使用的缓存(KVCache),同时加速运行、降低成本并提高任务成功率。
文章