独家|刚刚,启元PrimeSim世界模型,登顶两大机器人权威榜单
训练机器人控制策略高度依赖仿真环境,但传统手工搭建的仿真器规模化落地门槛极高。
今日,启元具身研究中心正式发布 PrimeSim,一款面向机器人操纵任务的世界模型仿真器。它基于预训练视频生成模型,经由中训练、后训练两阶段改造,具备替代传统仿真器的交互推演能力。
在 EWMBench 基准上,PrimeSim 拿下 6.09 的综合得分,位列榜首;在 WorldSimProbe 的五项评测维度中,斩获三项第一。
PrimeSim generated demos 为什么机器人需要「从数据中学出来的仿真器」
理想的机器人仿真器,应当满足几个核心特质:能够并行调度上万条轨迹 rollout、支持场景精确重置且无硬件损耗、无需针对不同场景大量工程定制,同时尽可能缩小现实鸿沟(sim-to-real gap)。
但只用视频生成模型做这件事,「视觉逼真」远远不够。作为仿真底座,它必须同时守住三重约束:
严格服从策略输出的动作指令;
多相机视角之间保持几何、语义一致;
在远长于训练上下文窗口的长时间推演中维持状态连贯。
在团队看来,现有的通用世界模型大多只能满足其中一到两项,很难同时兼顾三者。
技术路径:先中训练,再后训练
PrimeSim 采用两阶段改造范式,将原生双向视频生成模型逐步转化为可交互、可自回归滚动的世界模型仿真器。
第一阶段:中训练|从视频生成模型到机器人世界模型
模型训练基于 30110 小时精选机器人演示数据,覆盖人形、双臂、单臂、手持 UMI 设备等 22 种异构机器人平台,混合真实采集数据与传统仿真数据;其中人形机器人样本占比 54.8%,真实世界数据占比 84%。核心设计包含三点:
统一动作表征 : 将头部、躯干、腰部、末端执行器、夹爪、底盘的控制信号编码至同一动作向量,实现跨本体兼容;
帧对齐双路径条件注入 : 结合时序对齐注意力机制与直接动作注入,强绑定控制指令与生成运动;
视角感知交错注意力 : 引入显式相机标识完成跨视角信息交互,保证多视图一致性,避免不同视角画面互相坍缩。
第二阶段:后训练|高速生成 + 长时序记忆
自回归仿真的难点在于,模型需要基于自身上一步不完全精确的预测继续推演,而原生视频生成模型仅在固定长度真值上下文上训练。团队针对性设计三项机制:
高速生成链路 : 分块因果适配 + 四步一致性蒸馏,支撑长序列连续仿真;
自条件稳定性 : 以冻结双向教师模型作为参照,开展 Self-Rollout 的世界模型仿真器训练与非对称分布匹配,缓解误差累积;
分层时序记忆 : 在有界 KV Cache 内分层存储初始场景、稀疏长程历史、稠密近期运动,支撑超长推演。
这套方案最终把双向生成模型改造为因果、Self-Rollout 的世界模型仿真器:超过固定的训练上下文窗口后依旧可以稳定推演,最长支持两分钟以上连续 rollout。
在 RoboTwin 2.0 留出集、单张 A100 环境下,50 步去噪的因果自回归扩散基线速度仅 1.12 FPS,PSNR 26.15;CD 将去噪步数压缩至 4 步,速度提升至 10.04 FPS,PSNR 回落至 24.40;叠加 DMD 后,保持 4 步去噪,PSNR 回升至 24.87,LPIPS 由 0.193 优化至 0.176,相较 50 步教师模型整体提速约 9 倍。
实验结果
EWMBench:综合得分第一
PrimeSim 在 EWMBench 拿到 6.09 综合分,高于 GE-Sim(LTX,5.82)、GE-Sim(COSMOS2,5.79),同时领先 Thinker-WM、EnerVerse-FT、Qwen-RobotWorld、Sora2。分项上,HSD(1.000)、nDTW(1.000)、BLEU(0.570)、CLIP(0.954)、Logics(1.000)均取得第一名。
WorldSimProbe:五项指标三冠
WorldSimProbe 基于 LIBERO 设计五套评测套件,刻意剥离视觉观感、任务成功率的干扰,聚焦仿真器本身的动态保真度。PrimeSim 在全局轨迹覆盖(T2,67.9)、动作来源行为保持(T3,72.3)、交互动态(T5,37.1)三项登顶。
作为策略仿真底座:和传统仿真器高度对齐
实验选取 8 个 OpenVLA-OFT 策略,基线仿真器成功率区间 29.3%–85.0%,在 300 个共享初始状态的设定下,PrimeSim 与 LIBERO 原生仿真器的策略成功率相关系数 r = 0.99,MMRV = 0.000,平均绝对误差 |Δ| = 2.8。作为对照,Wan2.2-FT 对应指标为 r = 0.91、MMRV = 0.041、|Δ| = 8.3。
团队更进一步,直接在 PrimeSim 内部对 OpenVLA-OFT 做 GRPO 强化学习,每轮采样 512 条 episode,共计 200 轮更新。策略在原生仿真器上的成功率 提升了 11.5% ,在 PrimeSim 内的评估指标上涨了 11.8%。这证明:在该神经仿真器中得到的策略增益,可以有效迁移到传统物理仿真环境。
主题:世界模型仿真器