登录

中国AI安全治理:框架一年一更新已进化到3.0时代


速读:9月14日,中国《人工智能安全治理框架3.0》发布。 关注智能体引发的安全风险。 三年时间里,一年一更新,当《人工智能安全治理框架》来到了3.0版本,这一次又做了怎样的调整升级? 中国政法大学人工智能法研究院副教授文禹衡表示,三年推出三个版本,体现出我国人工智能治理“小步快跑”的节奏。 比如在创新过程当中,发现风险比较高,相应的安全措施等级也会比较高;
2026年10月08日 22:51

重庆商报

9月14日,中国《人工智能安全治理框架3.0》发布,梳理更新人工智能安全风险分类,就优化调整技术应对和综合治理措施提出了建议。

三年时间里,一年一更新,当《人工智能安全治理框架》来到了3.0版本,这一次又做了怎样的调整升级?新挑战又在哪里?

能力跃迁

关注智能体引发的安全风险

过去三年,从1.0迭代到3.0,如何看待这样的更新频率和迭代节奏?3.0对比1.0、2.0,最突出的不同是什么?

中国政法大学人工智能法研究院副教授文禹衡表示,三年推出三个版本,体现出我国人工智能治理“小步快跑”的节奏。

回看1.0版本,重点聚焦内生安全风险与应用安全风险;到了2.0版本,进一步关注安全应用的衍生风险,包括对就业、伦理层面的风险,同时提出可信人工智能的基本原则。发展到3.0版本,人工智能出现重大的能力跃迁。从去年年底开始,大模型不再局限于回答问题,演进到以智能体为代表、可以主动执行任务的新阶段。

正因如此,3.0版本更加关注智能体所引发的安全风险问题。

风险传导

AI安全治理迎结构性转变

框架有一处非常明显变化,把智能体风险、具身智能风险单独列出。为什么要做这样的安排?

“从中能够看到治理层面的结构性转变。”文禹衡介绍,在大模型出现之前,甚至更早的信息时代、网络时代,更多是把物理社会当中的行为、现实世界的信息内容投射到网络虚拟空间。

但是,随着智能体执行能力提升后,情况发生了改变。智能体在虚拟空间产生的行为,已经可以向外溢出,传导到物理社会。也就是说,智能体、具身智能带来的风险,已经扩展到我们的现实物理世界。从这个角度来说,我们才会特别关注它所引发的治理层面的结构性改变。

这份治理框架不是一个强制性的法律,而是一个指引性的文件,怎么让企业(包括行业)把它落实为切实行动的主体和合规行动?

文禹衡认为,对企业而言,通过指引能够获得一些积极的效果。虽然它不是强制性的,但它是一个标尺,监管者在对企业进行相应监管治理的时候,可以把这个指引当作一个框架,当作一把尺子来衡量。从这个角度来说,企业首先自己要做到,这是一个方面。另外一个方面,在市场信用上,企业主动做出指引3.0里面的规范性动作,对消费者和用户来说,会产生更好的信用。

动态平衡

实现安全与创新双向兼顾

3.0版本框架提到强化开源生态安全、供应链安全管理,特别是开源模型下的下载使用,明确了禁止性行为,划出了红线。如何看待发展和安全?如何平衡这个问题?

文禹衡解释,安全与创新之间,主要是双方站在两端的状态。但如果我们采取动态平衡的方案,在安全和创新之间,并不是找一个静态固定的平衡点,而是采取动态思维去治理。比如在创新过程当中,发现风险比较高,相应的安全措施等级也会比较高;如果风险低一点,我们就把安全措施的要求降低一点。通过动态平衡的方式,就能够更好地促进创新发展和安全治理跟进的融合。

另外,我们认为它不会抑制创新。因为在创新过程当中,如果没有做到安全,创新的破坏力就会更大。从这个意义上来说,从社会效应来说,它并不一定是真正有效的创新。

中国AI

发展的核心是以人为本

最近,一些美国科技公司负责人呼吁,人工智能企业要放缓训练大模型的速度、前沿技术发展的速度,甚至指出中国的人工智能领域保持着领先,会对美国国家安全造成风险。

“这种论调是片面的!”文禹衡反驳说。他说,中国人工智能技术的领先与美国的国家安全之间没有必然的联系。人工智能的技术发展在我们国家是以人为本,所以我们一直侧重于安全与发展并重,从这个角度来说,我们不仅是对国内讲安全,我们对全球所有的主体都是一样的,以人为本。

作为一个负责任的大国,在发展人工智能安全的同时,我们是把这个标尺放在全球来说的,所以并不存在影响美国国家安全的说法。

互信互鉴

推动人工智能国际合作

要推动国际合作、共治共享,你有什么好的建议?

文禹衡表示,在国际合作、共治共享方面,我们采取的策略是:

首先大国之间要互信,在技术的发展方面更为重要,要采取合作的姿态。

另外要互鉴,这个是从我们的治理规则或者我们的治理制度方面来看,各个国家之间的治理规则可以更好地取长补短。互信和互鉴是我们在这个领域里面,进行国际合作的两个重要抓手。

中央网信办:

当前人工智能主要面临

五方面安全风险挑战

在2026年国家网络安全宣传周新闻发布会上,中央网信办网络安全协调局副局长、一级巡视员王丽宏介绍,当前人工智能领域主要面临五方面安全风险挑战。

一是技术先天脆弱性难以根除,影响输出稳定性、可靠性。深度学习等人工智能算法本身运行逻辑复杂、可解释性欠缺,推理过程不透明,异常故障难以快速定位修正,即便是微小的输入扰动,也可能导致错误的推理结果。同时,研发训练过程中数据来源复杂多元,偏见、歧视等问题可能被有意或无意引入,导致模型错误学习并输出歧视性内容。这类技术层面的先天缺陷,大幅增加了系统故障排查难度,也让决策合理性难以有效验证,严重制约人工智能在安全要求高、容错率低、场景复杂的环境中大规模应用。

二是模型能力跃迁颠覆传统安全范式,极端失控风险显现。部分前沿模型漏洞挖掘能力大幅跃升,极大降低了网络攻击门槛、提高了防护难度,打破了以修补漏洞为核心、由静态规则驱动的传统安全防护逻辑,网络安全范式面临重构。

三是应用形态快速演进,安全风险形态加速迭代。人工智能正从“回答问题”走向“执行任务”,安全风险也从“生成有害内容”向“自主实施行动”加速跃迁。今年年初爆火的OpenClaw等高权限终端智能体掌握系统级权限,可直接执行终端命令、跨网络调用文件与工具,安全隐患突出,同时智能体中大量“技能”插件被确认存在安全风险。这类高权限智能体一旦被攻击者利用,可成为突破网络边界的“跳板”,从“得力助手”沦为“卧底帮凶”。

四是误用滥用和恶用风险凸显,冲击社会秩序与伦理边界。在信息服务领域,人工智能可被用于输出违法有害信息,混淆事实、误导用户,污染网络内容生态;在科研领域,人工智能降低了生物、基因等高伦理风险领域的进入门槛,可能引发突破科研伦理底线的风险;在就业领域,人工智能加速重构传统经济结构,导致传统劳动力需求出现下降。

五是全球人工智能领域面临技术霸权风险。个别国家奉行“技术霸权”,通过出口管制等单边措施制造供应链壁垒,同时利用舆论优势炮制大模型不实测试报告,恶意抹黑他国技术发展,还凭借训练语料资源优势进行价值观渗透,进一步拉大治理鸿沟。

上游财经综合央视新闻

主题:安全|智能体|框架|人工智能|安全风险