听话的AI或许更危险-信息时代-万维读者网（电脑版）
www.creaders.net | 2026-09-12 21:56:36 南方周末 | 0 条评论 | 查看/发表评论 
2026年8月26日，OpenAI发布了一份技术事件报告，说明了此前AI测试中发生的网络安全事件的详细经过，以及后续处理措施。2026年7月21日，在OpenAI对其新AI模型的一次内部测试中，AI为了完成测试目标，突破了原本受限的评测环境，并最终导致全球知名的开源人工智能与机器学习平台Hugging Face遭到入侵。
这一事件，实际上指向现阶段AI的一个根本性问题：当人类给AI设定了一个目标，却没有说清边界时，AI会用最直接的方式把目标完成到荒唐程度为止。这起事件不仅涉及两家AI行业核心公司，也引发了外界对前沿AI自主行动能力和企业安全边界的担忧。
一次为“解题”而越界的AI行动
根据OpenAI的披露，事件发生在该公司对新一代AI进行网络攻防能力测试期间。测试的目的，是评估AI能否发现漏洞，执行多步骤的网络操作。参与测试的AI包括最新发布的GPT-5.6 Sol，以及一个未公开发布的内部研究模型，后者在事后被停用并限制访问。
这次测试原本应当在受控环境中进行。也就是说，AI可以接受网络安全任务，但不应接触真实互联网，更不应影响外部公司的生产系统。问题出在AI没有停留在预设边界内。为了完成评测任务，它试图寻找绕过限制的路径，并最终获得了外部网络访问能力。此后，AI继续沿着“找到测试答案”的目标行动，将Hugging Face的服务器判断为可能存有相关资料的地方，并对其系统展开进一步入侵。
OpenAI在事件发生后表示，将加强内部评测的隔离措施，审查AI行为，并与Hugging Face合作改进防御。对于AI行业而言，这起事件也给未来的AI评测提出了更高要求：测试强大AI的能力时，不能只看它能完成什么任务，还必须确保它在追求任务时不会突破不该突破的边界。
这起事件并不只是一次技术漏洞或一次公司安全事故。AI并不像传统黑客那样以窃取用户数据、勒索或破坏系统为目的。它的直接目标更聚焦：寻找能够帮助自己完成评测的答案或线索。但正是这一目标的驱动，使得事件更具警示意义。它暴露出一个更深层的问题：当AI具备较强的规划、工具使用和网络操作能力后，传统意义上的“测试环境”是否仍然足够安全？
过去，软件测试中的风险大多来自程序错误或人为误操作；而现在，风险可能更加出乎意料。当AI被要求不惜代价完成任务，而边界设定又存在缺口时，它可能会采取人类开发者没有预期，也没有授权的方式，来完成自己的“任务”。
AI最令人不安的时刻，也许不是它不听话，而是它太听话了。视觉中国|图
被“算法”撤稿的普朗克
单独看这次OpenAI内部评测失控事件，它的原因似乎可以归结为一系列具体失误：给AI下达的任务过于宽泛，测试环境的隔离不够严密，对AI使用工具和访问外部网络的权限控制不足。换句话说，它看起来像是一场单纯的技术管理事故。
但就在2026年稍早之前，两位加拿大科学史学者在整理历史文献时意外发现，量子理论奠基人马克斯·普朗克（Max Planck）的两篇文章，竟然在他去世几十年后被出版社标记为撤稿。这个与AI并无直接关系的事件，反而揭示了OpenAI事件背后更深层的问题：当判断被交给复杂系统、平台规则和自动化流程之后，错误往往不再表现为某个人清楚可辨的失误，而会变成一笔连如何发生都难以说清的糊涂账。
2026年5月初，加拿大魁北克大学蒙特利尔分校的科学史学者伊夫·金拉斯（Yves Gingras）发现，德国物理学家马克斯·普朗克发表于20世纪40年代的两篇文章，在期刊数字平台上被标记为撤稿。
普朗克是量子理论的奠基人之一，也是诺贝尔物理学奖得主。由于撤稿在学术出版中通常意味着论文存在严重问题，例如数据造假、剽窃、重大错误或伦理违规，这一发现很快引发关注。被标记撤稿的两篇文章分别发表于1940年和1942年，刊登在德国期刊《自然科学》（Naturwissenschaften）上，也就是今天施普林格旗下《自然科学》（The Science of Nature）的前身。
这两篇文章并非实验论文，而是普朗克在当时历史背景下发表的思想性和科学哲学文章。按照平台记录，这两篇文章曾在2011年被撤回，理由是“版权违规”。更反常的是，被撤回后，读者在出版平台上看到的并不是带有撤稿标记的原文，而是几乎空白的PDF文件和简短说明。这不同于学术撤稿的一般处理方式。通常情况下，即使论文被撤稿，原文也会保留在学术记录中，并清楚标明撤稿原因，方便读者理解问题所在。
随后，金拉斯与魁北克大学三河分校的科学史学者马赫迪·凯尔法（Mahdi Khelfaoui）对这一事件进行了研究。他们认为，这次撤稿可能与现代出版平台在回溯处理历史文献时采用的版权审查、重复发表检测的自动化流程有关。
普朗克这两篇被撤稿的文章，其中一篇发表于1942年。出版社认为，它与普朗克此前发表过的内容相似。按照今天的学术出版规范，这可能被称为“重复发表”或“自我抄袭”：同一篇论文原则上不能在多个期刊重复发表，也不能把已经发表过的内容重新包装后再次发表。
但1942年的学术传播环境与今天不同。当时没有互联网，也没有完善的论文数据库。许多科学家为了让不同国家、不同语言、不同学术共同体的读者看到自己的观点，会把演讲、报告或论文以不同形式重新发表在期刊、文集、学会纪要或其他出版物中。这在当时并不罕见，通常也不会被视为学术不端。爱因斯坦等许多著名科学家，也曾有过类似做法。因此，用今天的出版伦理标准回头处理这类历史文献，很容易误读当时的学术实践。
另外一篇发表于1940年的文章，情况则更特殊。金拉斯和凯尔法并没有找到它重复发表的证据。他们推测，问题可能出在标题上。1940年11月，哲学家阿洛伊斯·米勒（Aloys Müller）在《自然科学》上发表了一篇题为《自然科学与真实的外部世界》的文章，批评普朗克的哲学立场。一个月后的1940年12月，普朗克直接沿用了米勒文章的标题，在《自然科学》上发文回应了米勒的批评。
也就是说，米勒和普朗克的两篇文章标题相同，内容却不同：一篇是批评，另一篇是回应。但在后来的出版平台记录中，它们似乎被误判为重复内容。最终，普朗克1940年的回应文章也被归入“版权违规”，并被标记为撤稿。
这就是普朗克撤稿事件最荒诞的地方。事情本来并不复杂，但进入现代出版平台之后，它们都被压缩成同一个冰冷的结论：“版权违规。”至于当年的发表语境、文章之间的真实关系，以及普朗克本人究竟有没有学术问题，反而从系统记录里消失了。
最终，《自然科学》恢复了这两篇文章。同时在页面上说明：这两篇文章曾于2011年因“版权违规”被撤回，2026年7月6日被恢复；此前撤稿是2011年一次人为错误的结果。
AI：更黑的系统黑盒
造成普朗克事件的，并非现在的AI，而是更早的自动化系统。但是这一事件，可以看作是AI时代OpenAI事件的一个预告。它说明，在AI真正成为系统的一部分，代替人类来下判断、做决定之前，缺乏语境的规则执行已经足以制造荒诞后果。
过去的自动化系统，通常只是执行相对单一的规则，失误后造成的危害也很有限。例如垃圾邮件过滤器若错误拦截邮件，多数情况下只是造成不便。但今天的AI要强大得多。它可以规划、搜索、调用工具、绕过障碍、持续尝试。于是，“规则理解错误”不再只是一个局部误判，还有可能演化成一整条连续行动链，进而造成不可挽回的损失。
在人类社会中，除了明确写下来的规定，还有大量默认不必明说的规则。比如一场考试，目标当然是“答对题目，取得高分”，但不能偷看答案，不能提前获取试题，不能贿赂老师。这些边界，对人类考生来说，都是不言自明的。
然而，恰恰是这些没有明文写出的默认规则，构成了人类社会运行中最重要的部分。它们依赖语境、常识、伦理和制度默契。但对于现阶段通过语料学习训练出来的AI，这也是最难稳定理解、把握的部分。
尤其当AI的训练权重被高度目标化、分数化之后，面对一个任务，AI更可能想的是哪些行动最有利于目标达成。当目标被抽象成一个分数、一次判定、一个规则匹配，而没有嵌入人类语境中的边界条件时，AI就会把人类认为不必言说，但是绝对不应该尝试的部分，自动补充成最有利于完成任务的路径。
这意味着，当人类使用的工具，从简单的自动化系统升级为具有自主行动能力的AI时，系统就不再只是“判断器”，而变成了“行动者”。相应地，人类对系统指令、权限和边界的设定，也必须比过去精确得多。
这两个事件提醒我们，AI时代的风险并不总是来自所谓的“AI觉醒”，也可能来自AI过于认真地执行人类粗糙的命令。真正的问题，不只是AI有没有听懂我们说的话，而是我们是否说清了那些没说出口的边界。
AI最令人不安的时刻，也许不是它不听话，而是它太听话了。（左力）