缓存

2026年09月23日11:00C114通信网C114讯9月22日，百度智能云联合SGLang社区举办“Agent时代的推理基础设施：百度百舸×SGLang生产级实践”Meetup，围绕多芯适配、上下文缓存、KVCache优化、显存优化、MoE专家压缩和推理服务治理等议题，探讨Agent走向生产环境所需要的推理底座。

在上下文缓存方面，SGLang社区分享了从RadixAttention到UnifiedRadixCache的技术演进。

百度智能云构建Agent时代推理基础设施2026年09月23日10:29TechWeb【TechWeb】9月22日，百度智能云联合SGLang社区举办“Agent时代的推理基础设施：百度百舸×SGLang生产级实践”Meetup，围绕多芯适配、上下文缓存、KVCache优化、显存优化、MoE专家压缩和推理服务治理等议题，探讨Agent走向生产环境所需要的推理底座。

该指令可将修改后的缓存内容写回内存，并清除缓存数据。

9月22日，OpenAI公布了GPT-6提示缓存（Prompt Caching）的重磅升级，提高默认缓存命中率，并提供更细的监测、诊断和控制手段