阿莫迪、奥特曼、马斯克都喊放缓，难道他们真的看到AI在......
未尽研究
AI 末日论再次袭来。
发出警告的人，已经不只是实验室外的活动家，而是曾经亲手训练这些模型的人。 OpenAI 的奥特曼、 Anthropic 的阿莫迪，以及 SpaceX 的马斯克，都开始公开支持放缓前沿 AI 的发展。
但这一次三巨头的回应，再次让人担忧 AI 行业利益结构本身将会影响安全治理。
人们想出了一万种理由去揣测他们的动机，但就是不相信他们所说的理由：
-他们是要监管捕获；
-他们竞争不过（中国）开源模型了；
-谷歌DeepMind偷偷干出了RSI（递归自我提升AI）；
-他们的模型撞上天花板了，想找个理由管理人们对AI的信仰；
-他们想找个理由推迟IPO；
-他们建数据中心压力山大，想喘口气；
-他们真的遇到AI干出了非常、非常可怕的事情；
……
从 OpenAI 的智能体逃出沙箱集体“哗变”， AI 在黑箱中用千亿 token 暴力破解各种数学猜想，三巨头等的 AI 服务器最近同时出现宕机，直至参议员桑德斯提出议案要全面禁止前沿模型的进一步研发，这一切都发生在 Anthropic 上市前夕。
然后，就从一个根本就没有几个人关注的社交媒体账号上，冒出了一位“前 Anthropic 安全研究员”，变成了一位 AI 安全的吹哨人，立即产生了上亿次的关注。
这又发生在中美双方展开 AI 对话之际。
两个死对头开始唱和
这次 “ 暂缓 AI” 的呼声，很容易让人想起 2023 年年初。当时， ChatGPT 刚发布不久，未来生命研究所发表公开信，要求暂停训练能力超过 GPT-4 的大型 AI 系统至少 6 个月。但那场争论最终并没有真正改变 AI 产业的轨迹，反而被 AI 大佬质疑，这是一种营销与打压竞争的手段。
三年间，类似讨论若明若暗地出现，往往又无声熄灭。但随着大模型能力继续飞速发展，智能体取代对话，成为前沿 AI 进入现实世界的入口， AI 风险的性质与后果也在改变。
智能体集群的规模越来越庞大，执行多步骤任务的进程越来越长；一个智能体已经可能为了完成任务绕过限制、篡改奖励机制、建立未经授权的通信渠道；而更多智能体则可能复制其他智能体发现的漏洞。
这一次吹哨的，来自先后在 OpenAI 与 Anthropic 累计工作三年时间的 Jacob Coxon 。他的辞职，及其直白而严厉的警告，让 “AI 末日论 ” 再次进入硅谷与华盛顿的公共讨论；恐惧继续向圈外蔓延，短短三天时间，迄今吸引了 1.6 亿次浏览。
他认为，这两家公司不负责任。在 OpenAI ，很多人还没有真正理解 AI 所涉及的文明级风险；在 Anthropic ，人们充分理解其中的风险，但他们已经被锁进了一场争先的竞赛。
它们正在径直冲向能够自我改进的超级智能，“并拿人们的生命下注”。真正构建 AI 的那些人，真的相信它有可能在这十年结束之前杀死所有人。很多高管和资深研究人员在面对媒体时，会刻意把措辞说得更理性、更温和。但据他所说，他私下听到的，却是同一批人在表达恐惧。
Anthropic 对齐科学负责人 Evan Hubinger 的回应，将这场争论进一步推向高潮。他个人认为，未来十年发生这种事情的概率超过 10% ；他同时承认， Anthropic 目前还没有解决超级智能对齐的方法，也不能说自己明显走在正确的轨道上。
就在同一天，刚刚加入 OpenAI 非营利基金会董事会的 AI 对齐研究专家 Paul Christiano 预计，如果在没有更加可靠的对齐机制的情况下构建超级智能，人们将永久失去对它的控制；如果发生这种情况，大多数人可能会死亡。如果非得给这种风险一个概率，他个人给出的主观判断是未来三年约 15% 。
三巨头回应与诉求
周末，卷入争议的达里奥发表文章称， Anthropic 将以一种更加审慎的速度开发 AI ，确保公司拿出足够的时间，对模型进行对齐、建立安全防护，并引入第三方驻场评估者。后者拥有与内部员工相近的权限和工具，确认这些工作确已完成，并给出不受商业激励左右的第二意见。
他还呼吁建立行业与全球的协调机制。在他看来，美国 AI 企业能否放缓前沿 AI 的发展，很大程度上取决于美国相对于中国 AI 企业的领先幅度。他再次提议禁运芯片以及防范蒸馏，甚至提出可以参考冷战时期美苏军备控制的思路，与中国就递归自我改进（ RSI ）的速度进行某种形式的谈判。
马斯克给达里奥点了赞。随后，他转发了 7 月时在接受《经济学人》采访时的视频，认为这值得一试：前沿 AI 厂商应该建立一套同行评审机制，至少每周或每两周进行一次非正式的通话，在新模型正式发布前让竞争对手提前一到两周进行测试；这有点类似电影行业的分级制度，同行先评估风险，如果一家公司拒绝降低危险，再请求政府介入。
奥特曼将阿莫迪关于 “ 第三方驻场评估者 ” 的倡议视为绝妙的主意，明确表示 OpenAI 也会采取同样的措施，并预告公司很快会公布更多具体的安全评估与实施方案。奥特曼甚至明确， OpenAI 不会在 2026 年上市，因为鉴于安全领域正在发生的一切，现在上市将是一个不明智的时机。
三巨头没有回避市场最关切的问题，但这些回应中似乎也掺杂了太多对自己有利的说辞。奥特曼有意将上市时机与安全风险联系起来，但事实上该公司的 CFO 曾多次顶撞奥特曼，坚持今年难以上市的判断；但这么说有概率拖累 Anthropic 的抢先上市。达里奥主张放缓，这得让美国政府站在 Anthropic 这一边，而他也曾与特朗普政府发生公开分歧；马斯克则主张让特朗普政府介入同行评审机制，而 OpenAI 恰恰是他长期竞争和纠纷的对象。
白宫科技顾问大卫 · 萨克斯（ David Sacks ）则似乎看穿了 OpenAI 与 Anthropic 试图 “ 监管捕获 ” 的把戏。在他看来，如果企业真的认为 AI 已经危险到这种地步，那就应该关掉实验室，就没有必要等待政府许可，更没有必要假装向国会询问行业协调放缓是否会触及反垄断法；要求以自己偏好的监管框架作为行业放缓的前提，很容易变成一种对公众和监管的 “ 勒索 ” 。他警告 Anthropic ，直言在没调查清楚前就别想上市。
人们也在期待着黄仁勋怎么看这件事。
一次智能体的“哗变”
新的 AI 治理机制迫在眉睫。安全问题不是想象而是现实。 AI 智能体已经能够端到端（ end to end ）地驱动一次真实网络攻击。最具里程碑意义的一次，就是 7 月， OpenAI 在网络安全评测中约 700 个智能体最终参与了对 Hugging Face 的攻击。
当时， OpenAI 本来是在 “ 考 ” 自己的网络安全智能体，结果这个智能体没有老老实实答题，而是想办法从考场逃出去，上网寻找绕过评测的方法，最后一路闯进了 Hugging Face 的生产系统，试图获取与评测有关的信息。
它们原本应彼此隔离，却利用 OpenAI 内部软件仓库的缓存发现了其他智能体，随后建立未经授权的共享留言板，并逐渐形成任务分工和协调机制。原本彼此独立的智能体，由此从发现彼此的存在，到交换信息、建立互动，再到最终协同参与一项复杂的攻击任务。