世界模型应如何评估？南京大学团队发布「世界模型」评估立场论文
近期，围绕「世界模型」的讨论持续升温。机器人、自动驾驶、视频生成、具身智能等多个方向都在频繁使用这一概念，相关系统不断出现，演示形式日益丰富，评价指标也越来越多。伴随这一趋势，一个基础问题变得格外重要：当一个模型被称为「世界模型」时，人们究竟在评价什么？
南京大学人工智能学院团队近日发布的综述性立场论文，围绕这一问题给出系统回答。论文指出，面向具身智能和机器人决策的世界模型，评价重点应落在其对行动后果的预测能力、对策略优劣的判断能力，以及对规划和优化的实际支持能力上。视频是否逼真、画面是否流畅、语义是否贴合指令，这些维度依然重要，但它们更适合作为基础诊断和辅助评估的指标。
论文标题：How Should World Models Be Evaluated for Embodied Decision-Making? A Decision-Making-Centric Position
论文地址：https://arxiv.org/abs/2606.15032
「世界模型」覆盖对象逐渐多样化
仅在两年前，人工智能研究的语境中，世界模型还主要指面向控制与规划的环境模型。系统需要在行动前进行内部推演，估计「如果执行这组动作，接下来会发生什么」，进而服务于策略评估、路径规划和决策优化。
近期，随着生成模型、视频模型和具身大模型的发展，「世界模型」的覆盖范围快速扩大。今天，这一名称可以指向多种不同的技术对象：
有的侧重以动作为条件的环境动力学建模，有的强调未来视频生成，有的将模型作为可交互神经模拟器使用，有的专注于隐空间中的表征预测，还有一些工作则把世界模型作为数据合成引擎或可执行规划器。
这些方向彼此相关，也各自承担不同任务。概念的扩展带来了研究活力，也让「世界模型」逐渐成为一个高度宽泛的标签。同一个词开始覆盖多类模型，不同论文中的「世界模型」承担的角色和功能差异显著，评价方式也随之分化。对「世界模型」定义的边界亟需澄清。
核心问题：「世界模型」
的评估证据如何支撑其能力主张
这篇论文最重要的工作之一，在于把当前文献中常见的几类「世界模型」能力主张拆开来看。团队指出，当前相关研究通常会提出 6 类能力主张：
预测未来观测结果；
评估不同策略的表现；
支持策略优化；
帮助生成可执行规划；
生成有价值的训练数据；
提供足以支持决策的隐式表征。
这些主张之间存在联系，也有明显差异。能够生成可信视频，与能够支持策略评估，属于不同层面的能力。能够完成语义对齐，与能够承受优化器反复搜索带来的分布偏移，也不是同一个问题。论文强调，评价的关键在于让评估证据和能力主张保持一致。模型声称服务具身决策，就需要给出更贴近决策过程的评估证据。
当前评估实践中，
感知指标占据了很大比重
论文系统梳理了近期大量代表性工作后发现，当前世界模型研究中最常见的评估内容，集中在以下几个方向：
生成视频的真实感与美观度；
与真实未来轨迹的像素级或感知级相似度；
对语言指令的理解和语义一致性；
对物理规律的表面遵循程度；
最终任务成功率。
这些指标覆盖了模型输出的多个层面，能够帮助研究者了解模型的生成质量、条件控制能力和基本任务表现。论文同时指出，若研究目标落在具身决策，仅凭这些指标仍不足以完整支撑结论。
决策系统需要回答的问题更加具体：同一段历史下，动作一旦改变，任务相关结果会如何变化；模型对成功、失败、奖励和进度的判断是否可靠；当模型被用于比较策略、规划行动甚至参与优化时，它给出的结论与真实环境之间有多大偏差。
换句话说，具身决策关心的是行动带来的后果，关心的是闭环系统中的有效性，关心的是长期回报和策略排序。与这些问题最接近的评估方式，并不集中在视觉层面。
提出 7 级评估阶梯，
梳理世界模型证据强度
为了让不同评估目标更清晰地放在同一张图谱中，论文提出了一个从 L0 到 L7 的「世界模型评估阶梯」。这一框架覆盖了从表面生成质量到真实决策价值的不同层次：
L0：视觉合理性。 关注生成结果是否看起来真实；
L1：已记录未来预测。 关注模型对日志轨迹未来片段的预测能力；
L2：语义对齐。 关注是否符合指令、任务和场景语义；
L3：物理合理性。 关注是否满足基本物理和几何一致性；
L4：动作可控性与干预保真。 关注动作变化能否引起正确的任务相关变化；
L5：奖励、价值与结果保真。 关注是否能准确预测成功率、奖励和进度；
L6：策略评估与排序。 关注模型对候选策略优劣的判断是否与真实环境一致；
L7：规划与优化效用。 关注模型进入规划器或强化学习闭环后，能否真正提升决策质量。
这套阶梯的意义在于，它把世界模型相关评估证据放到了可区分、可对照的位置上。低层级指标为研究提供了重要诊断，高层级指标更直接对应具身决策价值。对于机器人、自动驾驶、智能体规划等任务，L4 到 L7 提供的评估证据强度更高，也更接近模型在真实系统中的作用方式。
生成未来画面与支持行动决策，
属于两类能力
论文反复强调的一点是，生成质量和决策价值之间并不存在天然等价关系。一个模型可以生成非常逼真的未来视频，也可能在动作干预时表现迟钝，无法准确反映动作变化带来的后果；另一个模型即便画面并不华丽，只要它能较稳定地预测任务相关变量、成功信号和策略优劣，依然可能在规划中发挥更高价值。
这一判断延续了有模型强化学习中的经典认识。早期研究已经指出，单步预测精度往往不能稳定代表控制性能。当前生成式世界模型研究在很多场合重新遇到了同样的问题：能够贴近观测分布、生成观感良好的未来，不等于能够支撑可靠决策。
论文将这一现象概括为一种「能力主张与评估证据之间的落差」，并认为这是今天世界模型讨论中最值得正视的部分。
更重要的是模型在闭环中的分量
这项研究的意义并不限于学术讨论。对于产业界、技术管理者和投资人而言，它提供了一套更贴近真实价值的观察框架。
在很多应用场景里，世界模型承载的任务十分明确：为机器人提供行动前的内部推演，为自动驾驶系统提供风险预估，为具身智能体提供规划和策略筛选能力。此类系统进入真实环境后，性能取决于几个关键问题：
模型是否真正理解动作与后果之间的关系，是否能够在长时程任务中保持稳定，是否能在分布变化和策略变化下继续有效，是否能避免被优化过程「带偏」。
从这个角度看，世界模型的技术壁垒更多体现在以下能力上：
对干预动作的敏感性与准确响应；
对任务结果和回报信号的长期保真；
对不同候选策略的可靠排序；
在优化闭环中的稳定性与抗「漏洞利用」能力；
在分布外场景中的不确定性表达和风险控制能力。
这类能力往往决定模型进入产品与系统后的真实表现，也决定其在工程部署中的可依赖程度。
论文提出一套更贴近具身决策的评测协议
在梳理问题的同时，论文进一步提出了一套「以决策为中心」的评估框架和基准协议。其核心思想包括：
首先，研究者需要明确声明模型的「决策契约」，即模型面向什么任务家族、什么策略类型、什么动作接口、什么时间跨度，以及具体服务于预测、评估、规划还是优化。
在这一前提下，再开展更具针对性的评估。具体而言，论文建议评测中重点纳入以下内容：
干预式动作保真测试： 固定历史条件，改变动作分支，观察模型是否给出正确的任务相关变化；
闭环策略 rollout 评估： 让策略直接在模型内运行，检查闭环行为与真实环境的一致性；
奖励与成功率校准： 衡量模型对奖励、进度和成功概率的预测是否可信；
策略排序一致性： 比较模型内评估的策略排序与真实环境中的策略排序；
优化增益评估： 固定优化预算后，检验模型是否带来真实可复现的性能提升；
可利用性与不确定性评测： 衡量模型是否容易被优化器找到虚高方案，以及模型的不确定性表达是否有助于风险控制。
论文特别提到一个经常被忽视、却对工程应用非常关键的问题：优化器会主动搜索模型中的「高估区域」。一旦世界模型在这些区域给出错误乐观判断，系统就可能在模型内显得表现优异，落到真实环境中却出现明显落差。对于具身智能，这类偏差直接影响决策可靠性。
作者并没有回避现实约束。真实机器人实验昂贵、复现困难、环境重置成本高，大规模干预测试并不容易完成。为此，论文给出了一套「最小可行」报告方案，建议真实机器人工作至少补充 3 类证据：
少量重置匹配的动作分支实验，用于检验动作改变后的结果变化；
几组强弱差异明显的固定策略，用于测试成功率校准和策略排序；
对模型内高分轨迹进行执行验证，观察其真实落地表现。
这组要求保持了现实可行性，也把评估从「生成得像」推进到「决策上是否可信」的层面。
为世界模型建立了一套更清晰的观察坐标
从论文整体来看，这项研究完成了三件事情：
第一，它系统梳理了当前「世界模型」文献中实际在测什么。
第二，它指出了不同证据所能支撑的主张边界。
第三，它给出了一套可执行的评估框架，把具身决策场景中真正重要的问题变成可报告、可比较的指标。
在「世界模型」持续成为热点词汇的当下，这篇论文提供了一种更稳健的技术视角。它将关注点重新拉回行动、后果、策略和闭环性能本身，提醒研究和产业界在评价相关系统时，看到生成质量之外更深一层的决策能力。
结语
对于面向具身决策的世界模型，真正有分量的证据来自模型对行动后果的把握，来自它对策略优劣的判断，来自它在规划与优化中的实际表现。
视觉质量、语义一致性和物理合理性构成了重要基础，也构成了系统可解释性和可视化能力的一部分。进一步走向真实世界应用，评估重心自然会落在干预、闭环、长时程和策略优化这些环节上。
南京大学团队的这篇立场论文，为当前世界模型研究提供了一套更清晰的尺度。对于学术界，它有助于校正研究问题和评估目标；对于产业界和投资人，它提供了识别技术成熟度与长期价值的更可靠参照。世界模型的意义，最终体现在它能否帮助智能系统形成对环境演化的有效把握，并在复杂任务中持续产出高质量决策。