NeurIPS 2026 ED Oral丨Benchmark也有保质期？我们给158个评测基准打了分

伴随模型能力提升，模型评测也面临着新的挑战。

部分评测基准已接近饱和，模型分数越来越难拉开差距，跑分的参考价值也随之下降。哪些基准仍然有效，测出的分数还能说明什么？

针对这一现状，来自 阿里数据 的研究团队在论文《Benchmark Health Index: A Systematic Framework for Benchmarking the Benchmarks of LLMs》中尝试给出答案， 相关论文已被 NeurIPS 2026 Evaluations and Datasets Track（Oral）接收， 是本届该赛道的 15 篇 Oral 论文之一 。

团队基于 117 个模型的技术报告，整理并筛选出 158 个评测基准，提出基准健康指数（Benchmark Health Index，BHI），从 能力区分度、抗饱和度和影响力 三个维度，给评模型的「尺子」做体检，分析它们是否仍能提供有参考价值的模型比较结果。

论文标题：Benchmark Health Index: A Systematic Framework for Benchmarking the Benchmarks of LLMs

作者：Longyuan Zhu、Hairan Hua、Linlin Miao、Wei Wang、Bing Zhao

机构：阿里数据、晓天衡宇（https://skyeval.com）

录用：NeurIPS 2026 Evaluations and Datasets Track（Oral）

评模型的尺子还好用吗？

在一些基准上，头部模型的得分逐渐接近，出现 「分数压缩」 的问题，细小的分差可能是统计噪声的影响，难以有效区分模型实力。

长期固定的评测题目可能被纳入预训练数据，提前学习过的高分未必还能反映模型真实能力，而随着模型跑分逐渐接近上限，评测基准的挑战空间也在收缩。一个基准今天还能区分模型，明天或许就趋于饱和，显现出 「天花板效应」 。

这些问题使评测基准的更新和选择格外重要。

换一套更难的题未必有效。如果所有模型都答不出来，分数同样拉不开。

引用量也并不是最可靠的选择依据。有的评测基准频繁被引，但不代表已经被领先模型广泛采用。这就是 「热度与采用情况脱钩」 的情况。

怎样筛选仍能有效地区分模型能力、且具有持续评测价值的高质量基准？首先要看清问题出在哪里。

给评测基准做一次「体检」

在论文所分析的 158 个评测基准中，BHI 的系统诊断主要围绕三个问题展开。

BHI 研究数据的构建与分布。左侧为基准筛选与对齐流程，右上为基准在 13 个任务领域中的分布，右下为各厂商纳入分析的模型数量。

评测基准能不能拉开模型差距？

「能力区分度」 衡量分数能否清晰呈现模型差异，避免把过小分差或少数极端成绩当成区分能力。

BHI 先以最高分与最低分之差的 2% 为阈值，统计分差超过阈值的模型对占比；再取第 10 到第 90 百分位的分数跨度，观察多数模型之间的距离。占比越高、跨度越大，说明模型表现越能拉开差距。

两项结果经归一化和加权，合成能力区分度得分。得分越高，说明该基准在所收集的记录中越能区分模型；但超过阈值，不等于差异已通过统计显著性检验。

评测基准还剩多少提升空间？ 

「抗饱和度」 不只看模型得分是否接近满分，还要结合参与模型的能力。平均分低，可能是基准难，也可能是参与模型较弱，不能直接说明挑战空间充足。

它先按模型能力对成绩加权，估计当前剩余的提升空间；同时，拟合分数随时间变化的趋势，向后推算 30 天，判断基准是否正在接近饱和。

两部分按 8:2 合成，让当前状态占更大权重，减少短期预测不确定性的影响。

抗饱和度得分越高，说明在所收集的评测记录中，该基准仍保留较大的挑战空间，但不代表能准确预测它何时饱和。

评测基准在实际评测中的采用覆盖如何？

「影响力」 指标不只看评测基准的知名度，引用量、下载量和仓库星标等数据并不直接参与这一指标。

它统计报告中提供了有效成绩的模型，并根据模型能力对采用情况加权计算，前沿模型采纳的评测基准权重更高，以此来反映评测基准在高能力模型评测中的使用情况。

同时，该指标不依赖基准或模型的发布时间，也不采用启发式时间衰减，而是根据实际采用情况计算，减少历史热度积累对影响力得分的干扰。

因此，评测基准的影响力得分越高，说明在纳入统计的评测实践中，能力较强的模型仍在较多地使用这一基准。

主题：评测基准|分数|能力|NeurIPS2026|参考价值