NeurIPS 2026 Oral｜让大模型精准「看图」：NV-CoT用连续坐标重构视觉思维链
一张高清照片中，远处的手提包是什么颜色？一页票据里，某项费用到底是多少？面对这些问题，多模态大模型常常需要先找到相关区域，再放大查看。但如果第一步就框错了位置，后面的推理也可能跟着出错。视觉思维链让模型能够边看边想、调用工具寻找证据。不过，许多方法仍然像生成句子一样，把边界框坐标逐个写成文本 token。 连续的空间位置，为什么要通过离散文字来表达？
图 1 三种区域选择方式：文本坐标、固定 patch，以及 NV-CoT 的连续数值坐标。 针对这一问题，南洋理工大学、中国科学技术大学、新加坡国立大学与微软研究院的研究者提出 NV-CoT（Numerical Visual Chain-of-Thought） ：让模型直接预测连续数值坐标，将区域选择变成可学习的连续动作。该工作已获 NeurIPS 2026 Oral（Top 0.4%） ，支持监督微调与强化学习。
第一作者赵克森 是南洋理工大学博士生，主要研究多模态大模型中的强化学习。 通讯作者朱贝尔 是中国科学技术大学特任教授，主要研究多模态大模型推理、图像与视频可控生成、情感计算等。
论文标题：Thinking with Images as Continuous Actions: Numerical Visual Chain-of-Thought
论文链接：https://arxiv.org/abs/2602.23959v2
项目主页：https://kesenzhao.github.io/NV-CoT/
代码仓库：https://github.com/kesenzhao/NV-CoT
Hugging Face：https://huggingface.co/kesenZhaoNTU/NVCoT-Qwen3-VL-8B-Joint-GRPO-Step32
背景与挑战
现有视觉思维链通常先输出边界框，再调用裁剪工具，将局部图像交回模型（图 1a）。然而，坐标文本化带来了两个问题。
一是 训练目标与空间误差不匹配 。真实坐标为 3.1 时，预测 3.2 比 4.1 更接近；token 级交叉熵却不会直接按照这种数值距离设置惩罚。二是数字可能被拆成多个子 token，完整的位置含义被分散到离散序列中，增加了精确生成的难度。
为避免将坐标写成文本，一些研究尝试直接利用视觉 patch 进行推理（图 1b）。例如，PaDT 则预测需要关注的 patch 索引。但 patch 是视觉编码器预先划分的图像块，模型选择区域时仍受固定网格限制，难以灵活、精确地框选目标；相关方法还可能需要较多架构改动。NV-CoT 则保留原有裁剪流程，直接输出连续坐标，让区域选择摆脱固定 patch 边界的限制（图 1c）。
贡献一 用数值回归学习精 确定位
NV-CoT 在语言模型输出头之外， 增加四个轻量线性输出 ，直接预测边界框左上角与右下角的坐标。文本仍由原有词表生成，坐标则通过数值分支输出，再交给工具执行放大。
在监督微调（SFT）中，文本继续使用交叉熵，坐标则采用回归损失。采用论文主结果中的 L1 设置时，联合目标可写为：