登录

历史上

分类

相似输入

然而，当前主流MoE路由方式大多仍然遵循一种statelessparadigm：每个输入独立处理，历史上相似输入的专家选择经验并不会被系统性利用。

文章

随后，模型会根据检索相似度和历史效用信息，聚合得到一个memoryprior，也就是「历史上相似输入更可能适合哪些专家团队」。

文章

有效

三是专家之间的协作关系难以沉淀，模型只是在选择单个专家，而没有显式复用历史上有效的「专家团队」。

文章

CAM用于存储和检索历史上有效的专家组合；

文章