让机器人学会「预判接触」:它石智航牵头四大顶尖机构发布TacForeSight,破解精细操作难题
机器之心发布
机器人已经学会看见世界,也开始学会摸到世界。但对于真实接触操作而言,仅仅感知当前状态远远不够,机器人还需要预测物理世界接下来会如何变化。擦拭、插接、拧紧,这些人类几乎凭感觉就能完成的动作,对机器人来说却并非易事:接触力度会变化,物体位置会偏移,反馈慢一步,就可能打滑、卡住或丢失。
近日,它石智航联合新加坡国立大学、上海交通大学、中科院自动化所、复旦大学发布论文 “TacForeSight: Force-Guided Tactile World Model for Contact-Rich Manipulation”。该研究提出一种力条件触觉世界模型,首次将腕部力觉作为未来触觉状态的先导信号,用于预测短时接触演化,并将预测结果引入机器人动作生成过程。
论文链接:https://arxiv.org/pdf/2606.11184
项目主页:https://tacforesight.github.io/ProjectPage/
视频链接:https://www.youtube.com/watch?v=ZY2xBTaR6ek
这意味着机器人不再只是依赖触觉反馈进行事后修正,而是能够提前理解接触变化、预测接触变化,并在物理世界发生变化之前主动调整动作。从 Reactive Feedback 到 Proactive Foresight,从 “摸到世界” 到 “预感世界”,TacForeSight 为接触智能提供了一种更接近人类操作逻辑的新范式。
这是它石智航在机器人精细操作领域的又一项关键进展。今年 3 月,它石智航发布 OmniVTA 视触觉操作框架和 OmniViTac 大规模视触觉数据集,帮助机器人通过视觉与触觉理解真实接触;此次 TacForeSight 则进一步补上 “提前预判” 的能力,让机器人不只是 “看见” 和 “摸到”,还能提前判断接触变化。
为什么机器人需要 “预判接触”?
当前,行业多数接触操作方法虽然融合了视觉、触觉和力觉等传感器,但本质上仍偏向 “看到问题后再反应”。然而,接触并不是一个静态状态,而是随时间连续演化的动态过程。这点在执行精细操作时的弊端尤其明显,一旦反馈滞后,就容易出现卡顿、错位甚至任务失败。
例如,擦拭时,接触压力会随着物体表面高度变化而改变;刷卡时,卡片姿态和轨道约束会持续影响滑动状态;插接与锁紧任务中,微小的位置偏差就可能导致卡滞、滑脱或接触丢失。机器人如果只依赖当前时刻的触觉反馈,往往已经慢了一步。
TacForeSight 的核心洞察正在于此:力觉与触觉并不是重复信息,而是具有 “时间先后关系” 的信息。以人类操作为例,在擦拭、刷卡、插接等过程中,手腕往往会先感知整体受力趋势,指尖随后感知局部接触细节,人也正是依靠这种连续反馈与提前判断,完成动态调整。