缓存
分类
重算
与操作文本不同的是,直接操作缓存能够复用已经计算过的缓存,并不需要缓存的重算。
文章
这揭示了上下文工程的主要问题:直接修改上下文,导致缓存重算,引入的额外成本有时反而超过其省下的成本。
文章
缓存
SRAM通常被用于处理器缓存、片上系统和高性能计算芯片。
文章
操作
为了便于探索这一维度,研究团队实现了AKV推理服务系统,通过简单的接口开放缓存操作。
文章
AKV通过扩展的radixtree(如下图c)能够正确高效处理所有的缓存操作。
文章
Agent与Harness可以根据任务进展组合缓存操作,决定每一步实际使用哪些缓存。
文章
为了实现缓存操作,研究员团队基于SGLang[3]开发了对应的模型推理系统AKV。
文章
对使用者来说,AKV的接口很简单:照常提交完整消息历史,再附上缓存操作记录,说明何时移除哪些KV、何时重排位置。
文章
要实现支持缓存操作的推理系统,团队主要解决了缓存状态匹配的问题。
文章
效果
在三个模型、四个Agent任务的评测中,缓存工程相比上下文工程,平均推理成本降低27.7%,平均任务成功率提升1.7%。
文章
直接管理后续推理使用的缓存(KVCache),同时加速运行、降低成本并提高任务成功率。
文章
另一个看点是bLLC大容量末级缓存,通过增加处理器可直接访问的缓存,有望减少部分游戏场景对系统内存的访问需求,改善对缓存敏感的游戏表现。
文章
这一思路与AMDX3D处理器通过增加缓存提升游戏性能有相似之处,但缓存具体容量和实际效果尚未披露。
文章