指令

但标准benchmark中的语言通常较为固定，模型在训练和测试阶段看到的指令表达高度相似。

接下来只需要判断：改写指令生成的动作，最接近正确任务的原始动作，还是更接近其他错误任务？

其中最主要的痛点之一便是指令泛化能力。

对于预训练来说，像pi一样经过大规模的数据训练，模型见多了语言任务形式，也能增强指令泛化的能力。

反击VLA中「L」无用论：用对位置指令泛化能力暴涨20-40%

反击VLA中「L」无用论：用对位置指令泛化能力暴涨20反击VLA中「L」无用论：用对位置指令泛化能力暴涨20-40%

对于具身AGI来说，这是一个不能接受的问题，我们期待的是一个在各种环境下能听懂人的各种表述形式的任务指令的机器人。

它保持机器人面对的场景、物体、初始状态和成功标准不变，只改写任务指令中的动作表达、物体描述，或同时改写两者，用来测试模型在任务没变、只是换了一种等价表述的情况下能否继续正确执行任务。

第一次前向中，Qwen接收真实图像和任务指令；

该分支同时接收当前图像和任务指令，因此语言token并不是由文本单独编码得到，而是在视觉—语言联合建模过程中产生。

在改写指令进入最后一个Bridge-Attentionblock前，实验不改变imagetoken，也不改变statetoken，只将该位置接收到的语言特征替换为原始指令对应的语言特征。