持续预训练

持续预训练数据规模实验。

持续预训练的数据来源。

研究者从完整混合数据集中按任务抽样，使用5%、25%、50%和100%四档持续预训练数据，并分别控制持续预训练、后训练是否采用空间对齐，再在RoboTwinClean2Random设置下比较表现。

持续预训练阶段也没有使用后训练数据集，以降低下游评测泄漏风险。