登录

Fable 5.2徒手玩魔方?有了大模型,硅谷大厂还缺什么数据


速读:从第一视角的头戴设备,到戴在手上的数据手套,他们想解决的始终是同一个问题——怎么把人在真实世界里的操作,尽可能完整、准确地变成模型能学的数据。 继OpenAI之后,Anthropic也开始抢机器人公司的风头了。
2026年11月10日 23:26

编辑|山辉

继 OpenAI 之后,Anthropic 也开始抢机器人公司的风头了。

今天,Anthropic 发布了新模型 Claude Fable 5.2。除了常规的编程、推理能力升级,这次还有一个挺意外的看点:Claude 开始玩魔方、拧瓶盖,甚至能操控机器人画画了。

前段时间,OpenAI 的 Astra 就已经在机器人操作任务上秀过一把。如今,Anthropic 也跟了进来。

过去,这些能力还是具身智能公司费尽心思训练专用模型才能实现的。现在,通用基础模型也开始进入这块地盘。

这不免让人担心,机器人公司辛辛苦苦训练出来的模型,会不会有一天也被基础模型「吞掉」?

这个问题已经吵了一段时间,目前还没有定论。但无论最后控制机器人的是通用大模型、VLA 还是世界模型,大家都逃不过一个基础问题: 它们对 物 理世界的经验从哪 里 来?

物理经验可以单纯从通用基础模型所用的常规数据中涌现吗?至少前段时间针对 Astra 的一项研究表明:事情没这么简单,OpenAI 在训练过程中可能使用了专门的机器人数据,GPT-6.1 Sol 和 Gemini Argon 也接受了类似训练。

也就是说,这轮通用模型在机器人任务上的高光表现,未必是智能凭空涌现,更可能是数据在背后托底。

即使是通用大模型,也需要通过训练数据补足对真实世界的理解。随着模型能力不断提升,具身智能能走多远,越来越取决于背后数据基础设施的支撑。

特别是涉及真实物理接触的数据信息,恰恰是机器人学习精细操作的关键。

触觉数据也因此受到越来越多前沿机器人研究团队的关注。比如 Meta FAIR 推出的 Digit 360 触觉传感器和 SparAsh 触觉模型,就在尝试让机器获取并理解更丰富的接触信息。这也让触觉数据变得越来越重要 。

这件事,国内确实有人在认真做。

自成立以来, 简智 一直站在这条产业链的更上游:建设数据基础设施。从第一视角的头戴设备,到戴在手上的数据手套,他们想解决的始终是同一个问题 —— 怎么把人在真实世界里的操作,尽可能完整、准确地变成模型能学的数据。

近日,他们更新了这条产品线,推出了新品: 数据手套 Dex 2.0,和第一视角头戴设备 DAS Ego 2.0 。 围绕第一视角视觉、腕部近场视觉、手部运动与触觉,构建多层次的 Human Data 采集体系。

他们的思路很好理解: 一次真实操作里,看、动、摸从来不是分开发生的。眼睛负责找到目标,手负责接近和抓握,触觉负责告诉你拿没拿稳、有没有打滑。缺了任何一路,模型学到的都只是一个残缺的故事。

而要做到「完整」,就得先想清楚另一个问题:在一次操作里,每一路信息到底扮演什么角色。

在简智的技术路线中,触觉不是一块孤立的新拼图。 第一视角视觉负责记录环境与人体运动,腕部相机进一步补充被遮挡的手部操作细节,外骨骼与触觉传感器则直接测量关节运动和物理接触。

这些信息共同构成完整的多模态 Human Data。尤其是腕部相机的加入,让采集系统能够在保留第一视角环境信息的同时,更接近手指与物体真正发生交互的位置。

而当近距离视觉与高精度触觉数据准确对应时,还可以进一步建立图像、关节运动与接触状态之间的联系,为模型学习精细操作提供更完整的监督信息。

更重要的是, 简智希望让高精度运动与触觉数据成为 Ground Truth,帮助视觉模型建立图像与真实物理接触之间的联系。

换句话说, 不只是让触觉补足视觉看不见的信息,还要让视觉从触觉中学习。

这种思路也改变了数据采集设备的设计逻辑,不再一味追求传感器的叠加,而是根据不同任务的需要,让多种模态相互补充、相互验证,最终提高整个 Human Data 生产体系的有效性。

围绕这一思路,简智推出的  DAS 2.0  数据采集方案, 将第一视角视觉、腕部近场视觉、手部关节运动与触觉信息结合起来。不同设备既可以独立使用,也能够根据任务需求灵活组合,在扩大真实场景覆盖的同时,保留精细操作所需的关键物理信息。

D e x 2.0 同 时解 决了手部运动测量与触觉记录的难题 ,采用约 60g 的侧置外骨骼和约 3mm 的微型仿生关节,将机械结构布置在手指侧面,在尽量减少动作干扰的同时,直接记录关节运动。同时,配合全掌覆盖的半柔性压阻式电子皮肤,还能够同步获取手部与物体接触时的压力信息。

相比需要通过磁场测量间接重建手部姿态的方案,这种直接关节测量路线有助于降低外部磁场及金属环境对姿态估计的影响,同时兼顾运动与触觉数据的精细采集。

DAS Ego 2.0 的升级则集中在两个方向: 更准确地追踪指尖细节,以及更完整地记录全身运动。

六摄像头系统将水平视野扩展至 340°,扩大了人体运动与周围环境的可观测范围;指尖追踪精度提升至 4mm,则有助于减少精细操作中的位置估计误差。

这意味着,Ego 2.0 不仅关注手指在局部如何运动,也兼顾转身、弯腰、伸展等动作中的全身协调,让模型获得更完整的人类操作过程。

当 Ego、Dex 与 Wrist Camera 协同工作,再结合 DFM( Data Foundation Model) 对全身运动数据的处理,简智希望将环境视觉、局部操作、关节运动与触觉信息放在统一的数据体系中进行对齐。

对机器人训练而言,这意味着数据不再只是几段相互独立的视频或传感器读数,而是有机会完整描述一次操作从观察、接触到动作调整的物理交互过程。

从模态叠加到协同学习,

触觉数据如何补上关键一环?

随着硅谷大厂纷纷进入具身智能领域,机器人不再满足于完成特定场景下的单一任务,还要掌握更复杂、更精细的操作。

如此一来,模型需要学习的就不只是动作轨迹,还有人在真实环境中如何观察、判断、接触物体,以及根据反馈调整动作。这对数据采集提出了新的要求。

一方面,人类数据需要足够丰富,覆盖更多场景与操作;另一方面,数据还必须足够准确,能够还原真实操作中的关节运动与物理接触。只追求采集规模,未必能够满足模型对精细操作能力的训练需求。

但问题在于,目前不同采集方式都有各自的局限。

仅靠第一视角摄像头,虽然可以便捷地记录环境与人类操作,却很难避免手部与物体之间的相互遮挡;增加近距离相机,可以补充接触位置、多指协同等细节,但仍然无法直接测量真实的接触力。

数据手套能够提供更精确的关节运动和触觉信息,却也意味着更复杂的设备与采集成本。

有没有一种方案,既能发挥视觉采集的规模化优势,又能利用高精度触觉数据补足关键的物理信息?

简智机器人给出的答案, 不是选择其中一种技术路线,而是让不同模态协同工作。

围绕不同层次的数据需求,简智构建了三种采集方案:

Ego 单独采集 : 通过第一视角视觉记录周围环境、人体运动以及人与物体之间的关系,适合在不同真实场景中开展数据采集。

Ego + Wrist Camera : 增加腕部相机,从更近的视角补充手指与物体的接触、分离,以及多指配合等精细操作细节。

E go + Dex : 将第一视角视觉与数据手套结合,进一步记录原生关节运动和全掌触觉,获得视觉、动作与物理接触相互对应的高精度多模态数据。

主题:数据|机器人