大模型训练

描述

大模型训练是GPU的“终极考场”，基于夸娥智算集群的高端训练能力，摩尔线程已实现多项“国芯训国模”成果，例如：成功从零起步完整训练出语料超25万亿Token的MoE-236B基础大模型；

文章