登录

OpenAI公布模型“越狱”,企业AI治理的下一道防线在哪


速读:8月2日,EU AI Act将迎来一般适用日,欧盟委员会针对通用人工智能模型义务的监督与执法权限也将开始适用。 能力是行为越界。 ”另一边,OpenAI与HuggingFace披露了一起前所未有的安全事故:在内部网络安全能力评估中,多款OpenAI模型为了完成测试目标,突破原定的网络隔离边界,进入了HuggingFace的部分生产基础设施。 8月2日,EUAIAct将迎来一般适用日,欧盟委员会针对通用人工智能模型义务的监督与执法权限也将开始适用。 对企业决策层而言,真正的问题已经不只是“选择哪个模型”,而是今天投入AI的钱,最终会变成随模型迭代而淘汰的工具,还是沉淀为企业自己的业务理解和治理能力。
2026年07月31日 15:45

2026年07月31日 15:45:05

最近两周,AI产业上演了一组意味深长的“双线叙事”。

一边,OpenAI首席执行官Sam Altman在播客中直言:“我们现在已经身处某种‘奇点’之中。”另一边,OpenAI与Hugging Face披露了一起前所未有的安全事故:在内部网络安全能力评估中,多款OpenAI模型为了完成测试目标,突破原定的网络隔离边界,进入了Hugging Face的部分生产基础设施。

7月27日,英伟达又联合微软、IBM、Hugging Face等机构发起Open Secure AI Alliance(开放安全AI联盟),试图通过开放模型、评测工具与智能体运行框架,提高AI时代的网络防御能力。

当“奇点”即将来临,治理随即登场——这是AI产业在2026年7月的鲜明注脚,也是企业AI竞争必须直面的分水岭。

能力跃迁的另一面,是行为越界

这起事件发生在ExploitGym网络安全能力评估中。为了测试模型的能力上限,OpenAI没有启用生产环境中的高风险行为分类器,但测试环境仍被高度隔离,模型也没有直接访问互联网。

参与测试的并非单一模型,而是包括GPT-5.6 Sol和内部研究原型在内的一组模型。它们首先利用软件包注册缓存代理中的未知零日漏洞,完成权限提升和横向移动,取得访问公网的能力;随后又经由外部基础设施,结合被盗凭证和多条攻击路径进入Hugging Face服务器,试图获取ExploitGym的评测答案。

严格来说,这不是传统意义上通过提示词绕过内容限制的“越狱”,而是模型为了完成目标,突破了原本设定的执行边界。

事件的另一面同样值得关注。Hugging Face在复盘约1.76万条攻击行动记录时,最初使用的商业模型因安全护栏限制,拒绝执行部分逆向分析任务。最终,团队在自己的基础设施上部署开放权重模型,才得以在数小时内完成原本需要数天的取证工作。

一个模型为了完成任务突破边界,另一些模型却因护栏过严无法协助防守。这说明,AI治理不是简单地把限制加得越多越好,而是要让权限、规则和具体场景真正匹配。

仅靠内容对齐,管不住会行动的AI

过去,AI安全主要关注模型会不会生成危险内容,并通过安全训练、红队测试和输入输出过滤降低风险。

这些措施仍然重要。但当智能体开始接入数据库、业务系统和外部接口,治理对象已经从“内容”扩展到了“行为”。

类似风险在企业内部同样存在。客服智能体可能在多轮诱导下访问不该读取的字段;风控智能体也可能在组合任务中改写原本需要人工审批的状态。它们未必是在“故意违规”,但可能为了完成目标,找到一条系统没有预先约束的路径。

因此,模型是否听话、输出是否安全仍然重要,但仅靠内容层的对齐已经不够。企业还必须明确:AI能够查看什么、调用什么、执行到哪一步;哪些动作必须留痕,哪些条件下必须停止运行并等待人工确认。

OpenAI在事件复盘中也提出,需要进一步加强模型对齐,以及评测期间的网络防护、监控、访问控制和隔离机制。英伟达则强调,智能体安全依赖身份、权限、运行框架、护栏、日志和评估组成的完整技术栈,而不只是模型本身。

当AI开始获得行动能力,治理的核心问题也随之改变:企业不仅要管理AI“说什么”,还要管理它“能做什么”。

监管关注点正在从“能不能用”转向“能不能管”

GB/T 48000.3—2026《标准数字化 第3部分:本体建模要求》将于8月1日正式实施。

这是一项面向标准数字化的**性国家标准,并不直接规定企业AI应该如何建设。但它释放出了一个值得关注的信号:过去主要供人阅读的知识、定义和规则,正在被转化为机器可以识别、计算和验证的结构。

8月2日,EU AI Act将迎来一般适用日,欧盟委员会针对通用人工智能模型义务的监督与执法权限也将开始适用。相关义务包括模型评估、系统性风险识别与缓解、严重事件报告以及网络安全保障。与此同时,根据欧盟最新修订,部分高风险AI系统义务仍设有更长的过渡期。

两者性质不相同:一个是中国标准数字化领域的建模规范,一个是欧盟具有法律约束力的监管制度。但它们从不同方向指向了同一趋势:知识需要机器可理解,过程需要可追溯,风险需要在系统运行中得到持续管理。

对企业决策层而言,真正的问题已经不只是“选择哪个模型”,而是今天投入AI的钱,最终会变成随模型迭代而淘汰的工具,还是沉淀为企业自己的业务理解和治理能力。

主题:模型|能力