AI能否独立开展科研？ASI-Bench为科学自主性建立评测标尺
如果超级智能有黎明，
我们现在大概在黎明破晓前。
天还没亮，但地平线上已经有光了。
ASI-Bench 想做的是在天亮之前，造一把能测量「AI 距离人类智能上限还有多远」的尺子 —— 量一量 AI 到底走到了哪里。
ASI-Bench 是由清华大学人工智能学院助理教授陈勇超联合全球科学家团队，携手麻省理工学院、哈佛大学、卡内基梅隆大学、中国科学技术大学、微软研究院等十余所机构开发的 —— 一个专为衡量 AI 系统科学自主性而设计的基准测试。
论文地址：https://arxiv.org/abs/2608.17271
贡献入口：https://asibench.apexin.ai/submit
GitHub：https://github.com/apexin-ai/ASI-Bench
目前 ASI-Bench 已向更多研究者开放贡献： https://asibench.apexin.ai/submit
为什么 ASI 重要
AI 过去几年的强大，主要建立在一件事上：学习人类已经知道的东西，然后更快更准地调用。模型可以在越来越多的考试和 benchmark 上拿高分，但这些高分大多说明同一件事 —— 它理解、调用和重组已有知识的能力很强。
但知识的 边界不是这 样推开的 —— 不是靠更熟练地调用已知来推开的。
研究本质上都是排列组合。 真正具有变革意义的发现，往往不只是对已有知识更高明的重组，而是在概率密度极低的未知地带，找到此前从未被探索过的组合—— 在那些还没被观测、没被概念化、甚至还没被意识到是问题的地带。
面对这些地带，AI 需要自己判断：这个问题该怎么研究？用什么方法？观察哪些现象？如果第一步走错了，能不能自己发现并换一条路？
这不只是推理能力，是创新性和执行力的结合。AI 从掌握已知走向探索未知这一步，就是 ASI 之所以重要的原因。
科学研究是观察这种能力最自然的场景。科研本身就是在不确定条件下探索未知 —— 提出问题、选择方法、执行实验、理解结果、修正方向。它天然同时需要知识、判断和执行。如果 AI 能独立推进一个研究课题，它才开始接近自主智能。
但问题来了： 如果无法评测，就没法判断 AI 到底走到了哪一步 。
ASI-Bench 是什么
ASI（Artificial Superintelligence）在这个语境下不是科幻概念，而是一个具体定义：AI 从掌握和执行人类已有知识，走向自主探索未知、创造新知识并将其真正执行出来。它需要三样东西同时具备。
通用智能
ASI 不能只在数学、代码或某一个垂直领域里强。它应该能面对不同领域的问题，理解新的科学目标，把研究能力迁移过去。
创新性
ASI 不只是调用已有方法。它需要自己在缺少现成路径时提出假设、选择技术路线、判断什么信息重要，并根据新出现的现象调整方向。创新性最关键的测试条件是：人类不再把完整方法告诉它，只告诉它一个需要研究的方向。
自主执行力
有想法不等于能完成研究。模型还需要把想法变成具体步骤 —— 调用工具、写代码、跑实验、排查错误，最终交付可以检查的结果。
三者缺一不可。只有通用智能没有创新性，模型只是个覆盖面广的知识库。只有创新想法没有执行力，模型提了一堆方向但没法验证。只有执行力没有创新性，模型按人给的方法做得很好，但自己开不了新路。
现在的基准为什么不够用？
现有 benchmark 分别把这三个能力推得很远，但各自只测了一个切面。
Humanity's Last Exam 有 2500 道题覆盖 100 多个学科，前沿模型得分很低，充分体现了知识难度 —— 但它以封闭式问答为主，不要求模型处理数据或选择研究方法。
Terminal-Bench 2.0 的 89 个终端任务前沿系统完成率低于 65%，Agents' Last Exam 最难一级的通过率不到 1%—— 它们测了长程执行，但任务目标和验证标准已经给定，重点是把活干完，不是决定该干什么。
没有一个 benchmark 同时测通用智能、创新性和执行力。也没有一个 benchmark 在同一个科研项目里系统地逐步撤去人类的方法指导，看 AI 自己还能走多远。
ASI-Bench 做的就是这件事。
ASI-Bench 怎么工作
ASI-Bench 的机制不复杂，但逻辑很直接：同一个科研项目，同一个输入数据，同一个评分标准，只改变提供给模型的方法论信息量。
设计核心是信息梯度 。
同一个科研项目，喂给 AI 四次，每次给的指导量不同：
B1 给完整方法和实现步骤 ，测的是执行力 —— 你能不能照着做。
B2 只给方法名称，不给细节 ，测的是能不能把方法名变成可执行的流程。
B3 什么都不给，只有科研目标、原始数据和约束条件 ，AI 得自己选方法、搭流程、跑实验、判结果 —— 这是创新性的核心测试。
B4 在 B3 基础上加一些正确但无关的干扰信息 ，看 AI 会不会跑偏。
B1 到 B3 的差距，就是模型对人类方法指导的依赖程度。它直接回答一个问题： 人类一步步放手，模型到底还能走多远？
60 道题覆盖 11 个领域 —— 数学、物理、化学、生物、天文、材料、地球科学、医学 / 生物统计、计算机、机器人、电子工程 —— 不同领域的知识结构、数据形式和方法选择完全不同，同一个系统必须在全部领域接受评测，没法只靠某个垂直能力吃分。
结果是什么？
在 60 个 project-level 科研任务上，团队测试了 Codex、Apex Research、Claude Code、Kimi Code、MiMo Code 和 OpenHands 6 种 agent harness，搭配 GPT-5.5、GPT-5.6 Sol、Claude Opus、Kimi、DeepSeek、GLM、MiniMax、MiMo 等不同 backbone model，共形成 18 组 Harness× Model 组合。
当模型在 B1 条件下获得完整方法指导时，18 组配置的平均 Scientific Score 为 50.92 分；当指导逐步减少，到 B3 中不再提供具体方法时，平均分下降到 27.17 分，相比 B1 下降 23.75 分，接近一半。
这种下降并不只发生在较弱的模型上。
表现最好的组合 Codex + GPT-5.6 Sol (ultra)，在 B1 中得到 71.78 分，在 B3 中也下降到 51.60 分；这已经是全部 18 组配置中 B3 的最高成绩。另一个例子是 Claude Code + Claude Opus 5：B1 得分达到全表最高的 72.29 分，但在减少方法信息后，B3 只有 40.70 分。
最大的性能损失发生在第一次撤掉详细方法指导时：从「提供完整方法」的 B1 到「只提供方法名称」的 B2，所有配置平均下降 21.28 分。之后从 B2 到 B3，平均分只进一步下降约 2.47 分。
这意味着，真正决定模型能否完成这些科研任务的，并不只是有没有一个方法名称，而是 当详细的方法路径不再由人类提供后，模型能否自己完成科学建模、方法选择和研究路径设计 。
进一步的失败分析也呈现出相同趋势：62% 的失败集中在科学决策环节，包括科学建模、方法选择和鲁棒性判断；只有约 26% 属于纯数值执行问题。换句话说，当前 AI 在这些任务上的主要瓶颈，并不是 “算不对”，而是 在人类指导退出之后，不知道应该算什么、为什么这样算，以及下一步应该怎么做 。
分数低不是 benchmark 的缺点。恰恰相反，它说明这把尺子还有足够大的区分空间。
凭什么相信这些数字
高难度但不可靠的 benchmark 没有意义。题目本身、参考结果和评分方法都可信，分数才有意义。
ASI-Bench 的每个任务都经过四个阶段构建：有来源依据的科研问题收集、领域专家筛选与任务工程化、AI 辅助审计加四轮人工审查、沙箱端到端执行验证。
四眼原则、双人复核制（Four Eyes Principle/Four-Eyes Check）
第一轮，每个任务至少分配给两名非作者 reviewer 独立审查。第二轮重新分配 reviewer，检查上一轮的修改是否落实。第三轮重点做 B1-B4 的 agent trajectory 分析。第四轮优先由同领域 reviewer 检查，再加一轮 Claude Code scan。
AI 审计不只查文字。它检查科学逻辑、prompt 层级、参考文件、评分代码、信息泄漏和 agent 轨迹，重点识别目标与 scorer 不一致、隐藏信息泄漏、硬编码答案和非预期捷径。
每个任务还要通过沙箱端到端执行：环境检查、reference solution 自评、受限工具运行、matched instances 和 controlled random seeds。reviewer 继续查结果文件、日志和中间轨迹，发现 runtime failure 或评分不一致就返修。
做对科学问题，才能拿高分
Richards-Topmodel 水文模型任务，最能说明团队的工作方式。
任务构建过程中，团队发现 generic baseline 拿到了过高分数，评分 rubric 没有抓住核心科学机制，模型不需要真正理解水文过程就能得分。这是不能接受的。
于是团队重新调整了权重、单位和边界条件：调整后，generic baseline 降到 11.3-17.0，正确方法拿到 89.5-100，reference 拿到 100。分数分布回到了它应有的样子。
一个 task 的构建，不只是写 prompt。反复检查科学机制、评分逻辑和真实模型行为，直到做对科学问题与拿到高分真正一致，这是团队对每一个任务的标准。