迈向Physical RSI第一步，具身智能系统RoboCoach如何高效主动纠错？
RSI（Recursive Self-Improvem ent，递归自我改进） 关注系统能否不断发现自身短板、获取新经验，并用新经验提升下一轮表现。然而，当前的具身系统仍高度依赖真机试错和人工决策。随着任务越来越长、技能组合越来越丰富，加之真机数据采集成本高昂， 如何让有 限的人类 参与用在最需要的地方 ，成为具身 RSI 的核心问题。针对这一问题，RoboCoach 训练世界模型定位长程任务中的薄弱子任务策略，引导人类定向示教并更新对应策略专家，以有限干预实现长程任务最大化的能力提升。
10 月 5 日，斯坦福 Shuran Song 和 Chelsea Finn 团队发布的 Mulligan 也得出了同样的判断：均匀采集是昂贵的浪费。区别在于，Mulligan 把预算投向已观测到的失败状态，RoboCoach 则投向世界模型定位出的薄弱子任务。
本文第一作者为中国人民大学刘嘉俊、清华大学陈奕帆、刘驿超。通讯作者为清华大学自动化系张长水教授，智源青年学者、清华大学自动化系助理研究员崔森（project leader），清华大学交叉信息研究院徐梦迪助理教授。
先看发现
1｜ 具 身 RSI 的核心，是提高固定预算下的有效迭代效率。 真实机器人验证和人类示范成本高，系统需要把有限资源用于最有效的改进。RoboCoach 在有限人工示范预算下，将 Franka 的成功率从 13.3% 提升至 75.0%，AgileX 从 40.0% 提升至 83.8%，相比起基线方法有显著效率提升。
2｜ 具身数据的价值，取决于它与当前具身基础模型的互补程度。 数据的价值是能够针对模型当前短板提供新能力。RoboCoach 在真机和仿真共四个平台的实验证明，世界模型定位次优子任务策略后，定向人类示教数据优于传统均匀采集示教数据。
3｜世界模型学习通用的动力学规律，而动作策略则需要兼顾实时性与任务特异性。 世界模型利用不同机器人和任务背后的可迁移的动力学规律，在闭环迭代中替代部分真机验证。但机器人策略需要在真实执行中保持实时，同时不同任务往往对应高度特异的技能。
4｜长程任务的组合泛化难题，可能通过子任务策略纠错高效实现。 长程任务有指数级的组合复杂度，定向子任务增强可以极大降低人类示教数据需求。RoboCoach 通过复用子任务的技能专家，在四个已有技能重新排序、跨任务拼接或直接接长的 held-out 任务上， 取得 35.0% 的平均成功率 ，而对应的共享策略基线为 0% 。
01 具身 RSI 的难点
长程任务如何完成具身策略的补教纠错
很多机器人已经可以学会抓取、放置、按压、推拉等短程行为。难点在于，真实需求通常不是执行一个孤立动作，而是根据目标把多个行为组织起来。例如，同样是“按按钮”，有时先按绿色再按红色，有时顺序相反；同样是“放置”，可能要放进抽屉、鞋盒或杯子，还要与后续的关门、倒水动作衔接。
仅从组合数量看，如果有 m 类技能，长度为 L 的任务在每一步都能选择其中任意一类，那么理论上可排列出的技能序列就有 m^L 种。真实任务还会增加物体、位置与执行状态的变化。逐条覆盖完整路线，显然不是积累机器人经验的理想方式。
RoboCoach 的切入点，是把完整任务的学习需求重新落到可复用的子任务上。 长程任务可以很长，但一次改进未必需要覆盖整条路线。如果机器人已经稳定完成拿取和摆放，只在“拉动灯绳”上反复失误，那么下一轮训练应该优先改善拉动技能，并让这项能力随后服务于其他任务组合。
02 RoboCoach 设计思路
共享预测，专家执行
RoboCoach 将预测和执行分开处理： 通用世界模型积累跨任务的交互知识，模块化策略承接具体任务中的执行与更新。
通用世界模型：理解多种机器人与任务中的物理变化
CoachWorld 是团队构建的动作条件世界模型。它接收历史视觉观察、任务文本、机器人动作以及相机几何信息，预测这些动作会带来怎样的后续视觉变化。末端执行器移动、夹爪开合、物体接触和位置变化，是不同任务共享的预测对象。
为了让同一个模型覆盖单臂和双臂机器人，CoachWorld 使用统一的 双 槽末端 执行器表示 ：每个槽位记录三维位置、6D 旋转、夹爪状态和有效性标记。单臂机器人使用一个槽位，双臂机器人使用两个槽位，动作表征得到有效统一。
相机几何则负责把机器人坐标中的动作与每个视角里的图像对应起来：机器人坐标系中的同一段移动，从不同视角看可能朝向完全不同的图像方向移动，距离也会有所差异。先把三维末端轨迹投影到对应相机，再用轨迹与相机信息约束视频生成，动作指令才有了与画面位置对应的依据。
这一设计让不同本体的数据能够进入共享的预测空间。CoachWorld 基于 W an2.2 TI2V-5B 初始化，使用接近 500 小时 交互数据训练，其中不仅包括成功示范，也纳入了失败、自由交互和次优轨迹。