视觉

动作微调还可能损伤预训练的视觉表征。

在NEO-VLA中，视觉与语言从主干的第一层起共同建模，因此，动作模块可以接触到视觉表征逐层形成的过程。

整个视觉通路无需独立的预训练视觉编码器。

目前，多数视觉语言动作（VLA）模型采用相似的处理流程：先由CLIP、SigLIP、DINOv2等预训练视觉编码器提取图像特征，再将这些特征交给语言主干和动作模块。

图1三类VLA设计的视觉接口与动作输出方式

从视觉处理方式与动作输出形式看，可以将相关设计分为三类。

这些看似简单的操作，往往依赖细微的视觉信息。

区别在于，编码器式VLA即使读取语言主干的不同层，所用视觉信息也已经过独立编码器的处理。

在视觉信息逐层抽象的过程中，部分与精细操作有关的线索可能变得不易利用。