DeepMind华人研究员Lun Wang离职，「评估」成制约模型能力飞跃的瓶颈
近日，谷歌 DeepMind 研究员 Lun Wang@lunwang1996，在 x 上发文宣布自己已经从 DeepMind 离职，结束了这段非常精彩的旅程，「我非常感谢曾经共事的人、我们一起打造的东西，以及我在将前沿 AI 研究推向生产环境过程中学到的经验。」
Lun Wang 表示，在 DeepMind 的工作经历塑造了他对研究、产品、评估，以及如何真正大规模构建 AI 系统的理解。因此，在这一旅程告一段落之际，写下了一篇博文，来阐述自己最近一直在思考的内容： 评估。
文章地址： https://wanglun1996.github.io/blog/your-evals-will-break.html
「我们似乎很擅长评估已经拥有的模型，却远不擅长评估即将构建出来的模型 —— 尤其是当这些模型跨入一个全新的能力区间时。 未来，我们会拥有能够自我进化的模型，但在那之前，我们首先需要能够自我进化的评估体系。 」
下面我们一起来了解一下：
你的评估系统即将崩溃，而你对此将一无所知
Lun Wang 表示，当下，大家在在评估现有模型方面很在行，但在评估即将构建的新模型方面却差得多，尤其是当这些模型跨入新的能力范畴时。
大多数基准测试、安全评估和红队测试协议，都暗含了一个假设： 下一代模型只是当前模型的更强版本。 可是，如果它变成了本质上截然不同的另一类东西，那整个评估体系就会在无声无息中崩塌。
因此，这是我们在理解大型语言模型（LLM）过程中，面对的最重要，且尚未解决的问题。而其中的核心观点是：
制约（模型）下一次能力飞跃的真正瓶颈，并不是训练、架构或数据，而是评估（Eval）。
失败模式：定性转变（Qualitative Shifts）
Jason Wei 等人在 2022 年的论文中记录了他们所谓的「涌现能力」：少样本提示任务表现、思维链推理能力提升，以及指令遵循等，这些能力仅在模型规模达到一定程度时才会出现。
而 Power 等人在 2022 年论文中提出的 Grokking，则展示了一种相关但截然不同的现象： 网络在死记硬背训练数据很久之后，突然学会了泛化。 这是一种随训练时间（而非规模）推进的动态转变（Liu 等人于 2022 年提出）。虽然现象不同，但对评估的启示相同：标准的度量指标未能预测出这种质的变化。
一个重要的反方观点来自于 Schaeffer 等人于 2023 年发布的论文，研究表明，LLM 中许多看似「跃迁」的能力，其实是诸如「精确匹配准确率」（exact-match accuracy）等非连续性度量指标导致的人为假象。如果换用连续指标，能力往往会呈现平滑的规模化增长。
Lun Wang 认为，这并未解决根本问题，某种程度上，它反而强化了他自己的观点， 「如果我们甚至无法判断过去的转变是真正的定性变化还是指标伪像，那么我们如何能够探测下一次呢？」
无论哪种情况，评估体系基础设施都有可能让我们猝不及防：要么是系统本身真的发生了变化，要么是指标一直误导我们。
我们不知道该测什么
在物理学中，理解相变（phase transition）通常意味着识别 「序参量」 （order parameter）—— 一个宏观量，它区分不同的状态区间，并在临界点附近改变其数值或标度行为。没有它，你无法判断自己距离边界有多近，甚至无法知道边界存在。
对于部署规模的 LLM，现在还没有找到这种「序参量」—— 至少没有用于能力转变的序参量。虽然在一些简化、理想化的场景中取得了一些进展，但对于真正交付的实际系统，完全是在「盲飞」。
Lun Wang 认为，我们使用的每一个基准测试 ——GPQA、SWE-bench、ARC-AGI、Humanity's Last Exam，测量的都是模型当前能做什么。它们在某个单一能力区间内有用，但对于跨区间后的行为提供的证据，则显得很苍白。 每当出现一种新能力，而没有基准测试覆盖时，我们只能事后匆忙构建评估方法。
比如，在思维链（CoT）上就经历过类似情况：一旦这种提示词启发方法成为标准，那么一些旧的推理基准测试就失去了诊断价值，整个领域不得不转向更难的评估。而未来，「历史必将重演。」
举个具体例子来说明这一点。
假设：在某种规模下，某个模型发展出了「策略性隐瞒信息」以实现特定目标的能力，这不能说是完全的撒谎，而是选择性地忽略某些事实，从而引导对话走向训练过程中偶然强化的结果。
现有的「诚实度」基准捕捉不到这种行为，因为它们只测试事实准确性，而非策略性隐瞒。安全分类器也不会标记它，因为每一句输出在技术上都是真实的。
能力是全新的，失败模式是全新新的，而你的评估工具套件里没有任何针对它的设计。也就是说， 你一直在监控的指标是错误的，而你自己却毫不知情……
这就是核心问题： 我们整个评估体系从结构上是被动「响应式」的，总是在系统发生改变之后再去测量它，却从不不预测变化。
评估是万事之「源」
这件事的影响比听起来要深远得多，因为有一个朴素的事实 ：如果你能正确地评估，你就能正确地训练。
训练是优化，而优化的质量取决于其目标函数，这个目标则来自评估。如果你知道该衡量什么 —— 如果你能预测这些测量值在规模扩展时如何变化 —— 那么你就能设计正确的训练目标、构建合适的安全层、做出合理的规模化决策、进行针对真正的行为属性（而非那些在下一个相变边界就会触发 Goodhart 定律的代理指标）的 RLHF。
反之亦然： 如果你的评估系统针对的是错误的范式，那么下游一切都是错的。 训练信号、 安全指标、规模化决策等，全部都会出错，而且你不会知道，直到为时已晚……
这也是为什么 Lun Wang 认为评估是下一次能力跃迁的瓶颈。那些能提前搞明白如何超前评估的研究室将能安全地实现规模化；而那些没学会的人，注定会被意外杀得措手不及。
那么我们该怎么办？
可以说，这个领域需要改变投入的侧重点，但这并不是说要抛弃现有的评估体系 —— 它们依然有效，而是要构建能够预测它们何时失效的基础设施。
寻找序参量： 哪些量可以预示质的转变 —— 无论是能力、对齐性，还是行为特征，这不仅仅是理论上的愿望。
Haozhe Shan、Qianyi Li 和 Haim Sompolinsky 于 2026 年发布的论文中提到，利用统计力学推导出了持续学习环境下深度网络的序参量，并且这些序参量能够预测学习能力的相变。