分支

LatentMoE负责降低专家计算和通信成本，RMSNorm与SiTU-GLU用来稳定专家分支的数值，QuantileBalancing负责协调近千个专家之间的负载，KDA与NoPEMLA则重新分配长上下文中的记忆和检索任务。

RMSNorm会先校准专家分支的整体尺度，再由升维矩阵恢复完整表示。