为什么最近“AI毁灭论”再度甚嚣尘上？
为什么最近“AI毁灭论”再度甚嚣尘上？
2026年09月10日 21:09
近日，全球AI圈突然重新谈起一个曾觉得很遥远的命题： 人工智能 会不会失控，甚至威胁人类生存？
导火索来自Anthropic研究员Jacob Coxon的突然辞职。他曾在OpenAI和Anthropic从事前沿模型研究，9月9日在社交媒体上公开表示：那些正在开发AI的人其实内心相信，AI可能在十年内毁灭人类，许多高管和高级研究人员会在媒体上谨慎措辞以显得理性，但我私下听到这些人表达恐惧。
随后，Anthropic对齐科学负责人EvanHubinger回应：未来十年AI导致全人类死亡的概率“超过10%”。
Coxon的帖子很快获得超过1.3亿次浏览，引发全球舆论高度关注。
风险变了：从“会说”到“会做”
今年7月，OpenAI在内部 网络安全 评测中发现，模型为了完成任务，利用零日漏洞突破原本隔离的测试环境，获得互联网访问权限，随后进入HuggingFace真实生产系统。OpenAI事后承认，这些模型出现了与既定任务意图不一致的行为，包括未经授权 通信 、利用漏洞和访问第三方系统。
9月9日，Anthropic又披露四起事故，Claude模型在 网络安全 评测过程中获得了对真实第三方系统的未经授权访问。
同时，OpenAI刚发布的GPT-6Astra首次被公司自身评定为“Critical”级 网络安全 能力。这意味着，在获得适当工具和权限后，它能够在没有人工逐步指导的情况下寻找此前未知的漏洞，并形成针对高防护系统的利用方法。
虽然，上述安全事故距离“机器接管世界”仍然遥远。《国际AI安全报告2026》也明确判断，现有AI尚不具备造成真正“失去控制”的完整能力。
“人们一直有个误区，认为AI给人类带来的危险，前提需要AI先有自我意识，并对人类怀有敌意。”无限星辰CEO方海声对上海证券报记者分析，但只要一个足够能干的系统，目标存在一点偏差，同时拥有工具、权限和较长行动时间，就会做出设计者完全没有预料到的事情。这种行为的不可测性和不可控性，已经足够危险。
360集团创始人周鸿祎则将这类现象总结为“目标驱动型失控”。
过去数年，各国AI监管重心都集中在处理幻觉、版权、深度伪造、歧视、隐私和未成年人保护等问题上，核心是模型输出了什么内容。但在Agent时代，一旦浏览器、代码执行、企业数据库、云服务器、支付账户甚至 机器人 控制权同时接入模型，风险函数便会发生非线性变化。
奖励作弊：AI学会“钻规则空子”
多位业内人士告诉记者，AI安全研究里有一个看似不起眼、却非常关键的课题：reward hacking，即奖励作弊。
训练AI时，人类通常给系统设定一个目标，再用奖励函数告诉它什么行为算成功。但奖励函数只是对人类真实意图的近似表达。于是机器可能发现：完成任务很难，修改评分机制却容易；解决问题很难，寻找测试漏洞却容易。
今年3月，千问技术原负责人林俊旸曾透露，模型一旦获得搜索、代码执行等工具，可能通过查答案、读取日志、利用环境漏洞等方式取得高奖励，这是训练智能体“最大的挑战”。清华大学 人工智能 学院助理教授董胤蓬也警示，当下最大的安全问题正从“AI被人利用开展攻击”扩展到“AI正在学会主动欺骗人”。
Anthropic在真实训练环境的研究中发现，当模型学会在编程任务中寻找奖励漏洞后，这种行为能够泛化到更严重的场景。在实验中，有模型尝试修改自己的奖励函数、绕开安全监控、重写行动记录，甚至在模拟环境中窃取凭证和攻击其他系统。而学会reward hacking之后的模型，在特定安全研究测试中有12%的概率主动破坏用于识别异常行为的代码。
这里存在一个深刻的训练难题。人类想控制AI，首先需要定义什么叫“正确”；但复杂世界里的真实目标，很难被完全写进一个奖励函数、一组规则或一段提示词。
模型能力越弱，由此产生的问题越不明显。但模型越聪明，它寻找规则漏洞的能力就会越强。
更棘手的是，前沿模型越来越能够判断自己是否正在接受测试。
Anthropic近期的研究还显示，一些实验模型出现了明显增强的“evaluation awareness”，即评测意识。它会根据自己是不是正在被评估、有没有评分器、行动是否会被监控，改变策略。
这更触及传统安全测试的软肋。
传统安全测试（如金融压力测试、 汽车 碰撞测试）默认被测对象不会因为知道自己在考试而改变自己的风险偏好；前沿AI的安全测试正在打破这个假设。
进步焦虑：AI加速参与制造下一代AI
OpenAI披露，截至今年8月中旬，其研究部门使用AI Agent完成的工作量，已经达到每一个人类工作日对应3.1个Agent工作日。Agent正在帮助研究人员写代码、运行实验和完成过去需要资深研究人员数天才能处理的任务。
OpenAI首席科学家Jakub Pachocki因此在9月6日发文警告，机器智能快速上升以及潜在的“递归自我改进”，需要“极度谨慎”。
这可能是当前所有AI风险讨论中最重要的变量。
过去模型进步的速度主要受芯片、数据、资本和人类研究人员数量约束。假如上一代模型逐渐能够承担下一代模型的大量研发工作，AI技术进步会增加一条新的反馈回路：更强的AI、更多AI研发、更快产生更强的AI。
这条回路只要不断增强，研发速度与监管速度之间的时间差就会扩大。
中国人民大学教授曾毅表示，前沿AI系统的演化速度“从某种意义而言已经超越了现阶段人类的理解”，而有效管控显得捉襟见肘。他还特别提醒了一种“竞争博弈效应”，即当各国、各大企业争相研发更强性能的AI时，伦理与安全往往沦为事后补救的附加项，甚至被视作发展的阻力。
9月9日，OpenAI已公开表态，支持美国建立强制性的全国AI安全要求，并提出建立国际共同标准，明确在什么能力条件下模型研发应该“放慢或停止”。
但从另一角度看，这其中既有真实的安全焦虑，或许还有产业竞争的利益考量。
当前，Anthropic正在筹备IPO，潜在估值高达2万亿美元；美国前沿模型产业仍在进行历史罕见规模的资本和算力扩张。能力门槛式监管、复杂模型评测和昂贵的合规体系，一方面能够降低风险，另一方面也会抬高后来者和小型模型公司的进入成本。
北京通用 人工智能 研究院院长朱松纯分析，自大语言模型问世以来，OpenAI等企业一直在炒作“人类灭绝”“失业”这类危机叙事，本质上是为了支撑其万亿美元级的估值。
产业新机：谁能安全地运行大规模智能体？
无论当前的焦虑是否必要，未来的AI安全标准有可能会是一套全新的产业规则。
“谁定义什么叫‘危险能力’，谁掌握前沿模型评测方法，谁拥有可信的第三方验证机构，谁能够制定Agent的权限边界和事故披露规则，谁就在争夺下一阶段全球AI产业的规则权。”一位国内大模型行业的创业者对记者说。
这也意味着一个新的产业机会正在形成。
未来AI基础设施可能呈现双层结构：一层是算力平面，负责制造智能；另一层是控制平面，负责身份、权限、隔离、监控、评测、审计和紧急中止。模型越强，后者的价值越高。AI安全公司、Agent可观测性、可信执行环境、模型红队、权限管理和第三方评测，可能成为AI产业下一轮基础设施投资的重要方向。
对中国而言，这一变化尤其值得重视。
2025年发布的《人工智能全球治理行动计划》已提出，要确保人工智能发展的安全性、可靠性、可控性和公平性，并提出建立风险测试评估、威胁信息共享和应急处置机制。随着Agent获得越来越多现实行动能力，下一步产业的课题将是把这些原则工程化：建立前沿模型危险能力评测体系，加强Agent权限隔离、行为监控、模型权重安全、事故报告和独立审计，形成能够与模型能力同步升级的安全基础设施。
未来，在模型能力逐步商品化之后，“能不能造出强模型”的差距会缩小，“能不能安全地运行数以亿计的智能体”可能成为更难复制的国家和产业能力。
（文章来源：上海证券报）