机器人领域的OpenAI,竟然是OpenAI自己?

拿 GPT-6 Astra 当机 器人「大脑」?
好像还真行!
最近,一台售价约 150 美元的 SO-101 机械臂,在 GPT-6 Astra 的控制下,画出了一幅金门大桥。
这可不是照着预设轨迹画的,Astra 先规划从哪里落笔,再通过摄像头边画边看,最终完成了一幅红蓝相间的金门大桥。
这段视频迅速爆火,Sam Altman 直接转发:给我也来一个! 视频链接:https://x.com/cdngdev/status/2097339677128982873
最近几年,机器人圈一直在讨论一个问题:「 谁会成 为机 器人领域的 OpenAI? 」
如今看来,这个问题的答案, 有可能是 OpenAI 自己。
Astra 的「动手能力」究竟如何?
画金门大桥看起来唬人,但这还不是最厉害的那个。
CMU Robotics 的 Wenli Xiao 做了一个很直观的实验。
他们先录下一段人类完成新任务的视频,把录 像丢进 Codex,再让 GPT-6 Astra 控制机械臂,用同样的方式完成任务。
竟然一次就跑通了!
视频链接:https://x.com/_wenlixiao/status/2097801944119349455
Wenli Xiao 把它称为「physical ICL」—— 过去大模型可以从上下文里的文字、代码示例中临时学会一个新任务,现在的人们发现,这种能力搬到物理世界里也行得通。
另一批人则干脆让 Astra 开始当「机器人工程师」。
Lingxiao Guo 把真实机器人演示的多视角画面和动作数据交给 Astra,让它自己处理相机标定、场景重建和物理参数,再把真实环境搬进 MuJoCo。
最终得到的不只是一个看起来相似的 3D 场景,而是一套可以继续进行接触仿真和动作回放的 real2sim 环境。
视频链接:https://x.com/Lingxiao234/status/2096992059731443923
X 上还有人把 Astra 接到更复杂的机器人身体上。
Dmytro Hrybov 在 MuJoCo 中给 Astra 配了一台 Kinova Gen3 机械臂和 Shadow Hand 五指机械手,让它握住铅笔,画出毕加索那只著名的鸽子。
为了让笔真正落到纸面上,机械手还需要同时处理握笔姿态、手指与铅笔之间的摩擦,以及笔尖与纸面的接触。
视频链接:https://x.com/dimentary/status/2097141042214797801
如果说以上这些还比较像网友整活,下面这个就真能说明一些问题了。
RoboCurve 把 GPT-6 Astra 接到两只真实的 I2RT YAM 机械臂上。
每一步行动,Astra 都能看到顶部和两只手腕上的三个相机视角,以及机械臂自身的状态。随后,它直接给出两只机械臂末端执行器的 x、y、z、yaw、pitch、roll 和夹爪状态,再由底层 IK 转换成具体关节动作。
测试任务很简单:把桌上的红色积木抓起来,放进旁边的碗里。一共 20 次,Astra 成功了 19 次,成功率 95%。同样的测试里,Fable 5.1 只成功了 8 次。
谁都没想到,一个并没有专门为机器人训练的通用模型,竟然能做到这种程度。
而这个问题,恰好撞上了过去几年机器人行业最热的一条路线 —— 专门给机器人训练一颗自己的「基础模型大脑」。
「机器人大脑」不必从头训练
过去几年,随着大模型能力一路向视觉、语音和 Agent 扩展,机器人行业也在反复追问同一个问题:如果语言领域已经出现了 GPT,机器人什么时候才能拥有自己的「GPT」?
Physical Intelligence 和 Skild,正是在这样的期待中迅速成为明星公司。
Physical Intelligence 希望训练一个真正跨任务、跨场景、跨机器人本体的通用机器人基础模型。它的 π 系列模型把视觉、语言和动作放进同一套模型里,希望机器人能够像大模型理解文本一样,从大量具身经验中学会如何操作真实世界。
Skild 的目标更直接 ——「Any task, any robot, one brain」。无论是四足机器人、人形机器人,还是桌面机械臂和移动操作平台,都由同一个通用「大脑」来理解任务、规划动作。
两家公司代表的其实是过去几年机器人基础模型最典型的一条思路:既然语言有自己的 foundation model,那么机器人也需要在海量机器人数据上,训练出一套真正理解身体和动作的基础模型。
也因此,「谁会成为机器人领域的 OpenAI?」一直是这条赛道绕不开的问题。
但 Astra 出现后,这个问题突然有了一个有点出人意料的答案。
Amazon Alexa Principal Scientist、Retrocausal 联合创始人 Zeeshan Zia 有一个判断:「机器人领域的 OpenAI,看来可能就是 OpenAI,而不是 Physical Intelligence 或 Skild。」
这句话听起来有些挑衅,因为 Astra 并没有沿着机器人公司的传统路线来。
它没有先收集大量机器人轨迹,再专门训练一套从视觉到动作的基础模型,Astra 带来了另一种可能:如果通用 AI 本身已经足够强,还需不需要再从头造一颗机器人的大脑?
这个问题放在 OpenAI 身上尤其微妙,因为它其实很早就做过机器人。
2018 年,OpenAI 推出了 Dactyl,让 Shadow Dexterous Hand 在真实世界里旋转物体;随后又进一步让灵巧手完成魔方操作。