荣登ECCV！全球首个可仿真的人–场景交互重建框架：大晓HSImul 3 R让人类视频变成机器人技能
一段人坐上椅子的视频，对人类而言再普通不过。我们不仅能看见 “人坐了下来”，还天然理解椅子承受人体重量，人与椅面形成接触并最终稳定，这些重力、接触与作用关系共同构成真实世界中的物理交互。但对今天的三维重建系统而言，“看见动作” 与 “重建真实交互” 仍是两回事。一个视觉上准确坐在椅子上的人体，进入物理仿真后，椅子可能因结构缺失倒下，人体也可能与椅面严重穿模。 视觉上成立，并不意味着物理交互上成立。
近日，大晓机器人联合南洋理工大学 S-Lab、上海人工智能实验室发布全新人–场景交互重建研究 HSImul3R，直指三维视觉长期存在的 “感知 — 仿真鸿沟”，推动三维重建从 “视觉正确” 走向 “物理可执行”。该成果已被全球计算机视觉顶级会议 ECCV 2026 正式接收。不同于传统方法主要关注人和场景是否重建得像、是否对齐，HSImul3R 将 重 力稳 定性、真实接触与交互稳定性 纳入核心评价标准。团队将其定义为首个面向非标定稀疏视角输入、实现稳定可仿真（Simulation-Ready）人–场景交互重建的框架，并进一步支持单目视频输入。与此同时，团队构建了面向人–场景交互的 HSIBench ，直接检验重建结果能否在物理仿真中稳定交互。HSImul3R 在 Easy、Medium、Hard 三档任务中的交互稳定率分别达到 53.68%、30.56% 和 13.92% ，显著高于 HSfM 的 10.52%、4.50% 和 2.66% ，并将人–场景三维穿模率从 69.51% 降至 22.90% 。
为实现这一目标，HSImul3R 提出 物理闭环（Physics-in-the-Loop）双向优化框架， 让物理仿真器从最终检验工具变成重建过程中的主动监督者。一方面，通过 面向场景的强化学习（Scene-targeted Reinforcement Learning）优化人体运动，使其既物理可行，又能与当前场景稳定交互；另一方面，通过直接仿真奖励优化（Direct Simulation Reward Optimization，DSRO） ，利用交互后的仿真反馈反向优化三维场景。最终，团队将优化后的人体动作迁移至 Unitree G1 人形机器人，贯通日 常图像 / 视频 → 三维人–场景交互重建 → 物理仿真优化 → 人形机器人动作迁移 → 真实机器人执行 的完整链路，让人类视频中的交互经验从视觉信息进一步转化为 可仿真、可学习、可执行的机器人技能资产 。