CoRL 2026｜移动双臂灵巧操作，也能从人类示范中学？
双手提起水果篮，转身，将它送到另一张桌子前。对人来说，这只是一个普通的日常动作；但对机器人而言，却需要移动底盘、躯干、双臂、头部和灵巧手的持续协调。要让机器人学会这样的全身操作，需要大量高质量的示范数据。然而，随着移动能力与灵巧手的引入，机器人遥操作示范的采集愈发复杂，甚至需要多名操作者协同完成。
人类日常操作中，恰好蕴含着丰富的全身协同经验。那么，能否直接利用这些人类示范，帮助机器人学习复杂的移动双臂灵巧操作？
围绕这一问题，香港科技大学、北京智源研究院、北京大学等机构的联合研究团队提出了 DexRoam ，构建了一套从第一视角人类示范采集、全身动作对齐，到机器人策略学习与真机执行的完整系统。该工作已被 CoRL 2026 接收。
DexRoam 的核心价值在于，在解决人机动作差异的同时，保留人类示范中连续、精细的全身协同关系 ，使其能够与机器人数据共同用于策略训练，为复杂移动双臂灵巧操作拓展数据来源，并减少对高成本机器人遥操作示范的依赖。
论文标题：DexRoam: Learning Mobile Bimanual Dexterous Manipulation from Egocentric Whole-Body Human Demonstrations
arxiv 链接：https://arxiv.org/abs/2609.35761
项目主页：https://dexroam.github.io/
采集对齐代码 链接：https://github.com/zhourui9813/DexRoam
策略训练代码链接：https://github.com/zhourui9813/DexRoam-Policy-Training
方法框架：从人类全身示范到机器人策略学习
轻量化采集人类与机器人全身示范 图 1 DexRoam 数据采集系统
DexRoam 构建了一套无需外部动捕设备的便携式第一视角全身采集系统。示范者只需佩戴 Meta Quest 3 头显和头戴式 ZED Mini 双目相机，即可同步记录第一视角视频、全身关节运动与手部关键点，无需外部摄像头、环境标记或额外的身体追踪器。系统还将相机画面实时显示在头显中，使采集时的视觉体验与后续策略训练的视觉观测保持一致。
此外，团队还搭建了一套单人全身遥操作系统，通过 VR 头显、控制器与数据手套，即可同步控制机器人底盘、躯干、双臂、头部和灵巧手。两套系统分别提供人类与机器人示范，为后续联合学习建立数据基础。
跨越人机差异，保留连续全身协同 图 2 DexRoam 三阶段人机动作对齐流程
为了克服人机差异，同时保留连续的全身协同动作，DexRoam 设计了本体对齐、动作语义对齐和时间对齐三个阶段。
第一步，本体对齐 ：建立人与机器人之间的动作映射。
针对人与机器人的身体结构差异，DexRoam 以人体骨盆为参考建立坐标系，将人的移动、躯干、双臂和头部运动映射到对应的机器人部件，并通过手部重定向生成灵巧手指令，保留全身动作的相对运动关系。
第二步，动作语义对齐 ：统一人类与机器人的动作表达。
仅完成本体映射，动作中仍包含人体身高、臂长和初始姿态等差异。DexRoam 进一步将底盘、躯干和双臂运动表示为相对动作表征，减少对人体绝对姿态的依赖，使两类示范具有一致的控制含义。
第三步，时间对齐 ：匹配人和机器人的执行节奏。
针对人和机器人执行速度的差异，DexRoam 按照任务进度重新采样人类轨迹，在保留原有运动轨迹的同时，匹配机器人示范的时间尺度，提供更加一致的时序监督。
从人类示范中学习移动灵巧操作
经过三阶段对齐，人类与机器人示范可以通过统一的观测—动作接口，共同用于 VLA 策略训练， 无需针对人类数据额外修改模型结构，即可从人类示范中学习移动与灵巧操作的协同关系 。
团队采用 GR00T N1.7 和π₀.₅ 两个 VLA 模型，并探索三种训练策略： 人机联合训练、人类预训练后使用机器人数据微调，以及人类预训练后进行人机联合微调 ，验证这一框架在不同模型与训练方式下的有效性。
实验结果：DexRoam 从动作迁移到真机学习
让人类动作真正适配机器人