登录

数据重排

分类

瓶颈

MoE专家并行架构下的通信与数据重排瓶颈

文章

操作

这说明MoE中的数据移动瓶颈不仅来自网络带宽限制，还受限于内存绑定的数据重排操作。

文章

这是一种全新的融合式通信优化路径：将通信过程与数据底层布局主动协同，在数据搬运的同时完成布局转换，从而彻底消除冗余的数据重排操作。

文章