专家计算

LatentMoE负责降低专家计算和通信成本，RMSNorm与SiTU-GLU用来稳定专家分支的数值，QuantileBalancing负责协调近千个专家之间的负载，KDA与NoPEMLA则重新分配长上下文中的记忆和检索任务。