网络

这些因素直接影响首Token时延（TTFT）和每个输出Token的生成时延（TPOT），而网络通信往往是重要瓶颈。

采用PD分离架构时，需要依靠大量网络通信完成资源和数据传递。

万伟表示，在万卡级分布式训练中，网络通信耗时已占整体任务时间的30%至50%。

在典型两层组网中，数据从源端到目标端通常需要经过“接入、汇聚、接入”三跳，网络时延也会随转发层级增加而累积。

据介绍，scaleFabric通过构建“算存传”三级紧耦合的Token加速通道，在网络层面和计算、存储紧密协同，加速Token吞吐效率，实现Token在大模型训练、推理到存储复用全链路的高速流转。

面向未来，万伟透露，scaleFabric后续最基础的演进方向是向更高带宽和更高交换容量发展，下一代将推出800G网络产品和网卡，同时支持更高的交换容量。

在典型两层组网中，数据从源端到目标端通常需要经过“接入、汇聚、接入”三跳，网络时延也会随转发层级增加而累积。