RoboTwin第一、RoboDojo领跑:Physical AI的下一轮Scaling,为什么是Physics?
近日,厘清智能创始人、清华大学人工智能学院李一鸣教授团队发布了两项 Physical AI 研究成果:世界动作模型 PrismWAM,以及面向机器人执行诊断与持续改进的 Agentic 框架 RoboDoctor。
PrismWAM 从模型层面探索如何更好地表征物理状态、预测状态变化并生成动作,在 RoboTwin 2.0 评测中以领先优势位列第一 ;RoboDoctor 则从系统层面探索如何利用执行反馈进行诊断、纠错与经验积累,在覆盖 RoboDojo 全部 54 项任务的测试中取得 57.1 分,位居当前对比首位。
过去几年,人工智能的进步,很大程度上来自对语义智能的规模化扩展——更大的模型、更多的数据、更强的理解与推理能力。然而,随着 GPT-6 Astra、Gemini 等通用基础模型不断展现出更强的理解、推理与规划能力,一个更根本的问题正在浮现:让机器人理解世界,和让机器人真正改变世界,是两种不同的能力。
理解一条指令,不等于知道如何施力;识别一个物体,不等于理解它在接触、运动与受力中的变化;规划一条看似合理的路径,更不意味着机器人能够在真实环境中将任务可靠地完成。
这正是 Physical AI 下一阶段的关键命题:Scaling Semantics,还是 Scaling Physics?
前者让模型拥有更广泛的知识、更强的语义理解与任务推理;后者则让模型真正理解物理状态与动作后果,让机器人能够感知变化、应对不确定性,并在失败中持续纠正并自我改进。
两项工作分别从模型与系统两个层面探索 Scaling Physics:PrismWAM 研究物理状态如何被表征、预测并转化为动作;RoboDoctor 进一步研究动作进入真实执行后,系统如何利用物理反馈诊断偏差、纠正动作并积累经验。
一、语义与物理的解耦
让物理状态变化参与动作生成
当语义理解逐渐成为通用能力,机器人还需要什么样的世界模型?
近年来,视觉语言模型与视频生成模型的发展,为通用机器人策略提供了新的基础。世界动作模型(World Action Model,WAM)进一步尝试将未来世界状态预测与机器人动作生成结合起来,使机器人不仅能够根据当前观测选择动作,还能够学习动作与未来状态变化之间的关系。
但现有方法也面临一个值得重新审视的问题:我们是否应该把世界的外观,当作世界状态本身来建模?
一段 RGB 视频同时包含了大量不同性质的信息:物体的颜色、纹理、光照与背景,物体的几何形状、空间位置、接触关系,以及它们在动作作用下发生的变化。这些信息在图像中交织在一起,却并不具有相同的控制价值。
对于机器人而言,理解“这是一个杯子”与判断“杯口在哪里、瓶子应当如何倾斜、接下来会不会洒出液体”,是两类不同的问题。前者主要涉及语义识别与任务理解,后者则要求系统准确把握几何关系、物理状态及其随动作演化的过程。