机器人开始学会“三思而后行”?这家公司将世界模型接入灵巧操作,任务成功率提高至75%
机器人家务到底做得怎么样了,距离真正解放我们的双手还有多远?拧灯泡、撕厨房纸、抽出叠放纸杯,对人类轻而易举,但在具身智能领域,如何让机器稳定完成这些看似简单的操作,一直是个难题。
过去几年,机器人基础模型逐渐从针对单项任务训练,转向利用视觉、语言和动作数据学习通用策略。视觉语言动作模型(VLA)可以根据画面和指令输出动作,世界模型则尝试预测动作执行后环境将如何变化。
但如果机器人最终要进入工位、厨房和家庭,它需要追赶的或许不只是人类“完成动作”的能力。人类已经积累了海量与现实世界交互的经验,从怎么看物体、怎样用手,到接触失败后如何调整。如何让模型、训练数据和机器人本体都围绕这些经验共同演进,正在成为具身智能的一条重要路线。
9 月 10 日,生数科技联合创始人、首席执行官(CEO)骆怡航在 2026 外滩大会发布 Motus2。 该模型由生数科技研究团队与清华大学共同完成,面向高自由度灵巧操作,已在采用 WUJI Hand 2、Sharpa Wave 等灵巧手的双臂机器人上测试。
Motus2 给出的技术路线,正可从人与模型、数据和硬件关系理解。它用共享模型连接动作生成、后果预测和价值评估,从约 13 万小时人类第一视角视频中提取操作先验,再用机器人轨迹完成本体适配。在执行端,双目视觉、工作记忆和触觉传感分别补充深度、历史与接触信息。
其核心变化,是让机器人在行动前“多想一步”,并把想象结果变成学习信号。前代 Motus 已联合建模视频与动作,Motus2 再加入价值模型,提出动作、预测后果并判断其是否接近目标。反馈既筛选当次动作,也用于更新策略。
给动作后果打分
如果想让机器人自主完成任务,那么首先需要回答一个问题:根据当前观测和任务指令,下一步应该执行什么动作。
工业机器人通常依赖预设轨迹、状态机或人工设计的规划器,在工位、物体位置和流程高度确定时稳定有效。一旦物体形态、摆放方式或任务指令发生变化,规则与轨迹往往需要重新设计。
近年来,模仿学习和视觉语言动作模型从示范数据中学习“观测—动作”映射,提高了任务泛化能力。但这类方法更擅长复现已有行为,通常缺少对动作后果及其任务价值的显式判断。
世界模型由此提供另一种思路。它不急于把动作送给真实机器人,而是根据当前观测和候选动作,先预测未来几帧环境可能发生什么变化。近年来,DreamDojo、Ctrl-World 等研究都在探索动作条件世界模型,机器人因此获得一个近似的内部模拟器。
此前,生数科技发布的 Motus 已在统一潜在动作世界模型中连接视频预测和动作生成。它既可作为世界动作模型(WAM),根据语言指令、当前观测和视觉历史生成动作,也可作为动作条件世界模型(AC-WM),在给定动作后预测未来视觉状态,分别回答“下一步做什么”和“执行后会发生什么”。
不过,“能想象未来”仍不等于“知道哪个未来更好”。机器人还需要依据人类设定的任务目标,在多个可能结果中判断哪一种更值得执行。
为此,Motus2 在这套结构中增加了价值模型(VM): 类似人类在行动前权衡不同选择及其后果的思维,机器人需要根据动作及其结果评估任务进展,通过价值模型判断“这个结果是否更接近目标”。
图|Motus2 整体架构:共享模型统一策略、模拟与评估,触觉模块进一步支持动作 但要让同一个模型兼顾动作、预测和评价,还必须确保三类信息按照真实行动顺序流动,不能让机器人在训练时“偷看答案”。
假如模型在生成动作时读取到了执行这个动作以后才出现的画面,相当于利用了现实部署时不存在的未来信息,训练结果则难以在实际部署中复现。
因此 Motus2 采用动作优先(Action-first)的信息流,让动作只读取此前信息,未来视频读取动作,价值评估再读取动作和预测结果,以保证动作生成过程符合真实部署时的因果顺序。
在此基础上,预测和评价结果进入两条路径。一条用于推理阶段的当次动作选择,另一条用于训练阶段的长期策略更新。
具体而言,在推理阶段,模型通过 Best-of-N 规划生成多个候选动作,分别预测其后果并评分,再选择较优方案执行。完成一个动作片段后,机器人重新获取真实环境中的观测,随后开始下一轮规划。这种方式仅改变本次动作选择,但不会更新参数。
第二种发生在训练阶段。 Motus2 通过引入基于模型的强化学习(MBRL),可以将模拟器预测的未来和评估器给出的价值转化为策略更新信号:高价值方案得到更强引导,低价值动作逐渐减少。 这意味着,世界模型预测出的未来不再只用于展示,也能反过来影响动作策略,使模型以后更容易生成有利于完成任务的方案。
另外,区别于主要依赖高质量成功示范进行行为克隆的训练方式,失败数据在此体系中也获得了新的用途。例如,经过筛选的成功示范可以直接监督动作学习;失败和次优轨迹虽然不适合作为模仿目标,却可以用于学习动作导致的环境变化,并为价值模型提供“哪些结果偏离任务目标”的判断依据,间接参与策略优化。
研究团队在放置手机和多指操作两项真机任务中,分别进行了每项 20 次闭环测试。基础策略的平均成功率为 65%,单独加入规划后达到 67.5%,单独加入 MBRL 后达到 72.5%,同时使用两种机制后达到 75%。
从对照结果看,推理时规划使成功率提高了 2.5 个百分点,MBRL 带来的提升为 7.5 个百分点。二者结合后较基础策略共提高 10 个百分点,说明在这两项任务中,更新策略产生的作用更明显,而规划可以在此基础上进一步改善当次动作选择。
如何学习 13 万小时的数据
在搭好了行动、预测和评价框架后,下一道门槛是数据。
灵巧手单手可有 20 个以上自由度,遥操作采集既需要设备、操作者和标定,也要承担磨损与安全成本。因此,如何获得足够丰富的操作数据,并将其扩展至不同任务和机器人本体,成为训练灵巧操作模型的一大难题。
目前,业内常见的数据扩展路径包括大规模机器人遥操作、仿真生成与从人类视频中提取先验。其中,机器人数据最接近部署本体,却昂贵且覆盖有限;仿真便于批量试错,但接触、材质和传感噪声与现实仍有差距。互联网或第一视角视频规模更大,却通常缺少可直接执行的机器人动作标签。
为缓解高质量机器人数据稀缺、不同数据源又难以直接对齐的问题,Motus2 采用了分层的数据扩展路径,先从人类第一视角视频中学习操作经验,再逐步迁移到机器人。
其数据体系包含约 13 万小时原始录像,训练依次使用单目视频、同步双目视频与人类动作,最后加入机器人轨迹和人机对应数据。