大道至简！复旦×南洋理工提出SimpleVLN，用原生MLLM刷新导航SOTA
设想这样一个场景：给机器人下达一句自然语言指令，让它穿过走廊、接连转弯，最终走进指定房间。视觉语言导航（VLN），需要让机器人结合沿途看到的画面，把人类的语言指令转化为一连串连续行动。
现有多数 VLN 方法会引入专门的空间推理模块、图结构建模或分层决策系统来增强导航能力，但多模态大模型本身自带的导航潜力，究竟能不能被充分激活，还有待深入探索。复旦大学与新加坡南洋理工大学团队开辟了新的研究思路：能不能不改动多模态大模型的核心结构，也不新增专门的导航模块，仅靠巧妙的决策设计与训练流程，充分发挥模型原生能力，完成导航任务？
论文标题：SimpleVLN: Towards Simple and Frontier Vision-Language Navigation With Native MLLMs
作者： Lingyi Hong, Weiren Cai, Jiayu Chen, Xinyu Zhou, Bailin He, Yunfei Guo, Qiao Sun, Xiang Liu, Boyu Ma, Jianfei Yang, Wenqiang Zhang
机构：复旦大学，新加坡南洋理工大学，联想研究院
论文链接： https://arxiv.org/pdf/2610.23203v1
项目主页： https://simplevln.github.io/
代码仓库： https://github.com/simplevln/SimpleVLN
题与两项导航 基准上的表现。
给机器人看什么，又该让它怎么走？
机器人转过一个弯后，眼前的画面可能已经与之前截然不同。此时，它既需要判断自己当下的位置，还要结合之前看到的画面，规划后续行进路线。
不过历史画面并非存得越多越好：全部保存会不断拉长输入；只保留最近几帧，又容易丢失早前的路线信息。
SimpleVLN 把每一次模型调用都当作一次独立决策，输入包含导航指令、当前画面以及筛选后的历史观测，不会持续累积过往对话与动作。针对历史图像，团队采用全局 + 局部的组合策略：从早期观测里均匀采样，同时保留最新一帧画面。
消融实验证明，把所有历史图像全部输入并不会提升效果；对全局历史做均匀采样反而效果更佳，继续增加局部帧也无法继续提高导航成功率。
由此可见，重点不在于输入多少历史图像，而是如何利用有限画面，保留关键路线信息。
在动作输出上，模型每次预测一段有序的基础动作，交由环境依次执行，称为动作块（Action Chunking）。实验中，动作块将导航成功率从 45.6% 提升到 53.6%。这说明，如何组织一次决策所使用的信息，以及一次推理所输出的动作，都会影响连续导航表现。
图 3｜SimpleVLN 根据导航指令、当前画面与选出的视觉历史，直接预测一组连续动作。 走偏了？偏离的轨迹也能用于训练
监督微调（SFT）让模型从专家示范中学习导航动作。但在真正执行任务时，机器人很容易走出和专家示范不一样的路线，遇到示范数据里没有见过的场景。如果只学习固定的专家轨迹，很难覆盖这些意外情况。
SimpleVLN 通过 DAgger 算法，将模型策略产生的轨迹纳入训练数据构建过程。研究团队根据策略轨迹与真实轨迹之间的偏离程度进行筛选：偏差较大时，使用专家轨迹做指导；偏差较小时，则保留模型自身生成的轨迹。随后，这些轨迹被转换为决策级监督样本，与原有专家示范合并，用于继续训练模型。
在结合 R2R、RxR 和 ScaleVLN 示范数据后，DAgger 让模型在 R2R-CE 数据集上成功率从 57.9% 提升至 65.4%，RxR-CE 上从 55.3% 提升至 63.4%。
训练数据不再局限于固定专家示范，纳入模型自身探索轨迹，大幅增强了模型的纠错能力。
表 1｜专家示范覆盖与 DAgger 数据的对照。模型执行经验带来表中最大的成功率增幅。
让机器人实地交互，导航能力还能再上一层楼
SFT 和 DAgger 依靠动作监督信号训练模型，但这种方式有局限：哪怕模型走出了一条和专家完全不同、却能顺利抵达终点的路线，单纯比对单步动作是否匹配参考轨迹，无法评判决策好坏。
导航任务的核心目标，是能否完整走完任务、抵达终点。一次转弯会改变后续视野，一整套动作共同决定机器人最终位置。SimpleVLN 因此进一步引入强化学习 (RL)： 不再局限于教模型每一步应该怎么走，而是让模型在仿真环境中实际完成任务，再根据最终结果调整策略。
研究团队先构建全新导航任务：在导航场景中设置不同起点与目标房间，依托多模态模型，结合沿途转角、房间、标志性物体和第一视角画面，生成配套的自然语言导航指令。
在这些新任务中，模型通过动作块与环境持续交互，根据指令、当前画面和历史观察连续作出决策，直到任务结束。训练则根据整段导航是否成功完成来提供反馈。
在新任务中，模型借助动作块与环境持续交互，根据指令、当前画面和历史观测持续决策直到任务结束。训练反馈以整段导航任务结果为准：评判机器人能否停在目标附近，任务成功得 1 分奖励，失败则为 0。 模型不必复刻专家路线，只要顺利到达目的地，就算路线不一样，同样可以获得正向奖励。
这也改变了模型学习导航的方式。模型需要通过多次策略执行产生的任务结果，在后续优化中逐步调整动作选择。
主题：