NeurIPS 2026｜AI搜索时搜到的图，为什么用不了？港科大给每张图编了号
这张雪山照片是在哪里拍的？
智能体裁出照片里的一段山脊，以图搜图，找到了 “折多山” 这个地名。它接着查阅网页，又把搜到的另一张照片放大核对，最后把拍摄地点锁定在折多山垭口。
难点在最后这次放大。在不少多模态搜索系统里，模型能看见刚搜回的照片，想放大细节时，却没法把这张图交给下一个工具。
港科大 MMSense Lab 为此设计了视觉原生智能体框架（Visual-Native Agent Harness）。它给每张图分配一个编号，让不同工具接着用同一张图。工具接通了，模型还得学会什么时候该继续搜，什么时候该回头看图。
为此，团队提出了数据合成方法 On-policy Data Evolution（ODE）。模型拿到题目，搜索、调用工具，直到给出答案，这整个过程称为一次 rollout。为强化学习出题时，做 rollout 的就是即将接受训练的目标模型。从递归自我改进（RSI）的角度看，除了智能体本身，给它出题的方法也值得改进。ODE 让数据合成器根据智能体的解题记录调整出题规则，再用下一轮的 rollout 检验这些调整是否合适。这项工作已被 NeurIPS 2026 接收。
在同一套框架下，用 ODE 数据训练后，8B 模型在八项评测上的平均准确率从 24.9% 升至 39.0%，30B 模型从 30.6% 升至 41.5%。单独比较出题方式时，两组 8B 模型用等量的题做强化学习。按 rollout 调整出题规则的一组，在八项评测上都优于沿用固定规则的一组。
论文题目：Towards On-Policy Data Evolution for Visual-Native Multimodal Deep Search Agents
论文链接：https://arxiv.org/abs/2605.10832
项目代码：https://github.com/JoeYing1019/ODE
让搜索和看图的工具接力
在该工作中我们支持了九种工具，让智能体可以检索网页、论文和图片，也可以打开来源网页、放大或旋转图片，或者用 Python 计算。题目自带的原图和工具返回的新图都存入同一个图像库（image bank）。每张图都有独立的编号，在这次解题过程中，后续工具随时可以按编号取图。
以折多山为例，原始照片是 <0>，裁出的山脊是 <1>。智能体把 <1> 交给以图搜图工具，找回的清晰照片另存为 <3>。即使中间又查过网页，要放大新照片时，模型仍然能把 <3> 准确地传给放大工具。
图 1：左图为折多山案例中图片在工具间的传递过程。右图为 ODE 从搜集证据、合成题目到根据 rollout 修订出题规则的流程。
这套框架也给 ODE 提供了出题的手段。系统先找一个能从至少两个独立来源核实的对象，再选一张相关图片。图中要有值得辨认的细节，比如图例、数字或标记。随后，系统沿网页搜集线索，为每条线索记下事实和出处。有用的图片也一并留下，记下它在图像库里的编号。
系统把相关线索组织成一张证据图。图中要核实的标记可以放大，网页上的数字可以到另一个来源交叉核对。出题器从图上选取一组相连的线索，编成有明确答案的问题，再删去会泄露答案或解题步骤的提示。
题目编好后，接下来轮到模型解题。ODE 每轮按当前规则出 32 道题，让模型逐题完成 rollout。这几轮里，做 rollout 的模型参数始终不变。模型只拿到问题和原图，参考答案用于作答后的核验。分析器对照整批解题记录和出题时的证据，诊断哪些环节需要改进。通过审核的改动随即写入下一轮的出题规则。
一道地图题怎样改变下一轮的出题规则
在为强化学习合成数据的一轮演化中，ODE 从联合国地图资料入手，找到了 1948 年 9 月的世界地图，又查到联合国最初共有 11 个托管领土。把这两条线索放在一起，就有了一道题：当时地图上标出的托管领土，占最初总数的百分之几？题目隐去了总数。作答者既要查出分母，也要读懂图例，数出分子。
图 2：1948 年 9 月的世界地图。不同的阴影分别表示托管领土和其他属地。 完成这次 rollout 的是之后要做强化学习的目标模型。它只拿到题目和原图，自己决定查哪些网页、调用哪些工具。模型漏数了几处托管领土，又把西南非洲算了进去。等它答完，系统才拿出参考答案核验。图上共有 10 个，占原来 11 个的约 91%。
错的不只是最后那个百分数。分析器把 rollout 和出题时搜集的材料对照起来，发现部分小字地名和图例缺少逐项核实的证据。综合这批题的解题记录，ODE 调整了出题规则：涉及数量的线索要逐项用以图搜图核实，整理证据时可做的视觉操作从最多四步增至五步。同时，带图线索的目标占比从 50% 降到 40%，给逐条核查留出余地。
新规则下一轮就用在了巴尔的摩港的航道图上。同一个模型来回放大、搜图，始终没能认出码头。这一批 rollout 暴露了另一种困难：可供比对的图片线索不足，题目对当前模型太难。ODE 随后把带图线索的比例从 40% 调回 50%。上一轮通过审核的改动，到下一轮仍然可以凭新的解题记录撤回。
这个例子也说明了为什么要区分两种 rollout。为强化学习（RL）准备训练题时，做题的是已完成监督微调（SFT）、即将接受 RL 训练的目标模型。它能否找到新线索，还是反复搜索却毫无进展，直接关系到这道题适不适合它。为 SFT 准备示范时，换成教师模型 GPT-5.2 做 rollout。此时更关心解题过程值不值得模仿，例如哪一次放大帮助核实了答案，哪一次搜索只是重复。
这样调整出题规则，最多进行五轮。各轮都要看新规则能否合成适合当前模型的训练样本。演化结束后，团队从通过审核的规则中选出表现最好的一套，再用它批量合成正式训练所需的数据。
用于监督微调的 8,855 条示范，是团队从教师模型的解题记录里筛选出来的。强化学习的题目则按目标模型分别准备：8B 和 30B-A3B 模型各有 4,000 道，合成后直接用于各自的训练。
三套数据都覆盖 11 个主题，区别在于题有多难。按出题器的难度标注，“困难” 和 “专家级” 题目在 SFT 示范中合计约占 29%，在 8B 和 30B-A3B 模型的 RL 题中分别约占 62% 和 94%（图 3）。换了更强的目标模型，出题范围没有缩窄，但难题在这批练习里的比重明显增加了。