后训练

DeepTech：后来，是什么吸引你转向大语言模型后训练？

当时，团队开始用进化策略（evolutionstrategies）做大语言模型后训练。

梁琪瑶：我的硕士和博士研究主要有两个研究对象：扩散模型，以及大语言模型的后训练。

从扩散模型的组合泛化，到大语言模型的后训练，她始终沿用一套看似简单的方法：构建小型的“玩具模型”（ToyModel），通过控制变量、观察现象，寻找复杂系统背后的规律。

人类经验还显著降低了机器人后训练的数据需求。

在GR-1评测中，使用W0预训练权重的模型，仅需1%的机器人后训练数据，预测质量就超过了使用全量数据的通用视频生成模型初始化版本。