英伟达等重新设计VLA推理!机器人动作提速3.4倍
本文第一作者为纽约大学计算机科学博士生 Jack Lu,研究工作完成于他在英伟达实习期间。本文由英伟达资深研究科学家、Alpamayo 研究技术负责人 Yan Wang,以及英伟达自动驾驶研究负责人、斯坦福大学副教授 Marco Pavone 共同指导。
如今,许多视觉 - 语言 - 动作(VLA)模型会先推理、再行动。在输出动作之前,模型先写一段简短的文本,比如对场景的描述、一个计划,或者下一步要完成的子任务。这样做的机器人成功率更高,但速度也更慢。推理文本需要逐个 token 自回归地生成,动作必须等文本写完才能开始。在论文的实验中,写推理文本最多占到单次模型调用耗时的 70%。
来自英伟达、纽约大学、UC 伯克利、约翰斯・霍普金斯大学和斯坦福大学的研究团队仔细考察了推理的收益究竟从何而来。他们发现,动作并不需要读取当前这一步写出的推理,模型学会写推理就已经足够。团队据此提出了 TacitVLA。它和标准的推理 VLA 一样被训练去写推理,但它的动作从不等待这段文本。
在机器人操作和自动驾驶的四个 benchmark 上,TacitVLA 的成功率与显式推理相当,延迟最多降低 3.4 倍。在相同速度下,它比不加推理训练的同一模型成功率最多高 17 个百分点。在两个长程记忆 benchmark 上,TacitVLA 还刷新了已发表方法的最好成绩,在 RMBench 上提升 21 个百分点,在 RoboMME 的计数任务上提升 16 个百分点。
论文标题:TacitVLA: Reasoning Vision-Language-Action Models Without Reasoning Latency
论文链接:https://arxiv.org/abs/2610.17540
项目主页:https://tacitvla.github.io/