触觉

T-Rex的核心创新，就是改变触觉输入的方式。

去掉所有触觉输入后，平均成功率从65%降至42%，下降了23个百分点，说明触觉信号确实至关重要。

这种渐进式训练的好处在于：触觉能力不需要从头学，而是在视觉运动先验已经建立之后，以相对较少的数据"嫁接"进来。

该研究提出一种力条件触觉世界模型，首次将腕部力觉作为未来触觉状态的先导信号，用于预测短时接触演化，并将预测结果引入机器人动作生成过程。

触觉专家接过来，用最新的触觉数据完成剩下的4步，输出最终可执行的动作。

视觉信号的更新频率通常在5Hz左右，而触觉反馈天然需要在20Hz甚至更高的频率下才能发挥作用。

触觉专家不需要每次都重新处理视觉和语言信息，而是直接利用动作专家已经计算好的结果，只专注于处理最新的触觉反馈。

触觉专家再根据实时触觉反馈，对动作进行快速微调。

这些任务都需要机器人根据实时触觉反馈不断调整力度和动作。

论文提出了一种时空触觉编码器（Spatial-TemporalTactileEncoder），同时捕捉两种互补的触觉信息：一是力的时间动态——通过一个VQ-VAE（向量量化变分自编码器）将每根手指过去16帧的六维力向量压缩为一个紧凑的离散token，既能捕捉力的变化趋势，又能有效抵抗传感器漂移；

它以大约20Hz的高频运行，接收实时触觉信号，在动作专家产出的"草图"基础上进行快速修正。

当研究者引入触觉时，最自然的做法就是把触觉信号编码成token，和视觉、语言token一起喂进同一个Transformer。

这不仅更符合人类处理视觉和触觉的方式，也避免了高频触觉信号被低频模型“淹没”，难以发挥作用。

除了架构创新，T-Rex在触觉信号的编码和数据上也下了功夫。

两种信号拼接后，构成触觉专家的完整输入。

去掉异步执行机制（让触觉专家和动作专家以相同频率同步运行），性能下降5个百分点，验证了频率解耦的必要性。

第三个也是最关键的，是触觉专家（TactileExpert）。

第二阶段是触觉中间训练（mid-training）：在100小时的T-Rex数据集上，将动作专家适配到机器人平台，同时训练触觉专家。

把这两种时间尺度完全不同的信号塞进同一个以低频运行的Transformer，不仅无法发挥触觉的优势，反而会干扰视觉模态已经学好的表征，造成性能退化。

更理想的过程是：手指先向物体靠近，触觉传感器检测到接触，系统读取压力变化，控制器判断是增加力度、减小力度，还是保持当前状态。

视觉信号的更新频率通常在5Hz左右，而触觉反馈天然需要在20Hz甚至更高的频率下才能发挥作用。

在这个过程中，触觉传感器的作用，就是把指尖接触到物体后的变化，持续送回控制系统。