创新性地迁移至了跨集群异构PD分离

这背后是一项为了「给Decode实例重复前缀存储去重」而设计的「Decode-sideRadixCache（DRC）」技术，无问芯穹推理技术团队将其创新性地迁移至了跨集群异构PD分离的架构中：针对Agent场景长序列、高前缀命中的特征，在解码侧缓存历史KVCache，论文数据显示它能在90%平均命中率下把所需的跨机房带宽降低最多10倍。