人类数据如何变成机器人真实能力？Ropedia重磅发布六项研究成果
第一视角视频越来越多，研究人员怎样把这些记录变成能够改善机器人能力的训练信息？
一个人拿起桌上的杯子，相机可以记录下动作的整个过程。但是如何从中提取相机轨迹、手部动作和杯子的位置变化，并将它们与画面和文字描述对齐，还是一个没有被完全解决的问题。且这些信息能否让模型预测得更准、让机器人操作得更好，就更需要通过具体任务来检验。
据机器之心了解，Ropedia 之前已推出 HOMIE 系列数据采集设备、Ropedia Foundry 数据处理平台和 Xperience 系列数据集。团队在采集与整理人类经验之外，还需要检验这些经验中哪些信息对模型有用，以及系统在具体任务中能否把信息用好。因此， 10 月 19 日至 23 日，Ropedia 举办了第一届 Ropedia Super Week，在这一周中，集中发布了六项围绕这些问题的研究 。
Ropedia W0 与 DONIC 分别把人类经验用于未来画面预测和双手操作，直接检验模型能否从中受益。HoliWorld 与 EgoXperience 则关注经验如何被准确记录：前者整理物体的交互历史，并转成能够回查观测依据的训练问答；后者联合重建相机、场景、双手与物体，让几类运动信息在空间上对得起来。
模型得到信息以后，也可能在使用时出错。S-Agent 2.0 研究模型怎样借助工具与场景记忆，依据空间证据作出判断；Ropedia A0 则让编程智能体把观测、决策和检查写成控制代码，由程序完成操作。研究人员可以沿着代码追查失败原因，把修复保存在共享技能中，还可以记录执行轨迹，为后续研究准备数据。
图 1｜Ropedia W0 通过同一个世界模型预测不同本体的画面 。模型用相机轨迹与骨架描述运动条件，覆盖人类、夹爪机械臂及灵巧手人形机器人等本体。图中展示的是模型生成的第一视角画面。
01 Ropedia W0
人和机器人，共用一个世界模型
在 Ropedia W0 中，研究团队检验模型从人类视频中学到的经验，能否帮助它预测机器人的未来画面。 研究团队用相机位姿描述视角变化，用投影在画面上的骨架描述动作，让人手、夹爪和机械臂共用一套运动接口。模型结合起始画面、文本与运动条件，预测后续第一视角视频。
图 2｜Ropedia W0 通过共享运动接口接收不同本体的运动条件 。相机轨迹描述视角变化，骨架描述手部或夹爪的运动。模型结合起始画面、文本和运动条件，生成后续第一视角视频。
为了训练这一模型，研究团队构建了 Xp-Data，整合约 1 万小时人类第一视角视频和 3000 小时机器人视频 ，统一相机轨迹、运动骨架和任务描述等多模态标注。
除了数据规模，准确的动作与视觉对齐同样重要。研究团队发现， 所使用的开源机器人数据集未提供可靠的手眼标定结果，或存在手眼标定不准确的问题 ，导致机器人关节状态与视频画面中的运动难以准确对应。为此，团队通过人工标注和修正机器人关键点，改善运动信息与视觉画面的对齐精度。Ropedia W0 随后利用人类视频进行预训练，再加入机器人数据进行人机混合训练。
在覆盖八种本体的跨本体评测中，同一组 Ropedia W0 权重无需针对目标评测数据额外训练，就取得了 21.98 dB 的 PSNR，高于使用相同机器人混合数据适配的 Cosmos3-Nano（19.02 dB），展现出跨本体的世界预测能力。
人类经验还显著降低了机器人后训练的数据需求。在 GR-1 评测中，使用 W0 预训练权重的模型， 仅需 1% 的机器人后训练数据，预测质量就超过了使用全量数据的通用视频生成模型初始化版本 。进一步的 Scaling Law 实验显示，随着人类预训练视频增加到 1 万小时，模型在人类和机器人评测中的预测质量均持续提升。
除了预测未来画面，Ropedia W0 还被用于机器人策略评估（Policy Evaluation）和基于模型的规划（Model-based Planning）。研究人员让世界模型模拟不同策略的执行结果，并根据预测画面评估策略表现。在 Unitree G1 真机实验中，模型评估结果与实际表现的相关系数达到 0.996 。在规划任务中，机器人可以先通过模型预测不同候选动作的结果，再选择更合适的动作执行，真机任务完成进度由随机选择时的 26% 提升至 55% 。
Ropedia W0 还展示了实时交互能力。经过模型蒸馏加速后，系统在单张 GPU 上达到 21.3 FPS 的视频生成速度。用户可以佩戴 VR 头显，通过头部和手部运动实时控制生成的第一视角画面，实现超过一分钟的连续交互。
研究团队还将 Ropedia W0 的预训练权重用于机器人动作学习。他们使用 Ropedia W0 5B 初始化世界动作模型 FastWAM 的视频骨干，保持动作预测头和训练方案不变。在 LIBERO-Plus 基准上，Ropedia W0 初始化版本的成功率由 50.06% 提升至 56.82% ，并在相机、光照、背景等七类环境扰动下均取得改善。
从跨本体世界预测，到策略评估、动作规划和实时交互，Ropedia W0 展示了大规模人类经验在机器人学习中的多种用途，也为减少机器人专有数据需求提供了新的研究方向。