预训练

打个比方：后训练是装修，预训练是盖房子的地基和主体结构。

例如，完全不同的架构、优化方法、神经形态硬件、模拟计算，或者基于强化学习预训练、显式世界模型的新路线。

等到Flash系列打磨完成时，Gemini4Argon的预训练已经收尾。

根据Figure公布的结果，在相同任务数据和评测条件下，从头训练的模型在陌生环境中的成功率为9%，而经过Index数据预训练的Helix2.5，成功率提高至56%。

Brett认为，由于机器人需要处理连续视频、空间信息和复杂动作，未来的机器人预训练可能需要比当前大语言模型更加庞大的计算集群。

论文同时披露，团队在摩尔线程旗舰级AI训推一体智算卡MTTS5000上，成功完成了ProtCell的全流程预训练复现，主要定量评测指标与国际主流GPU平台的差异仅约0.2%，充分验证了摩尔线程全功能GPU（UniversalGPU）与MUSA全栈软件生态对前沿生命科学基础模型的高承载力。

本次预训练复现的高效稳定落地，依托于摩尔线程全栈软硬件生态的成熟支撑：