安全，需要人工智能“内外兼修”
安全，需要人工智能“内外兼修”
人工智能的安全，究竟是一道外部设置的防线，还是一种系统自身应当具备的能力？
从生成文本、辅助搜索，到参与科学研究、驱动智能设备，人工智能正在以前所未有的速度进入社会运行的各个领域。与此同时，人工智能带来的问题也正在从技术层面的准确性，延伸到安全、责任、信任和价值判断等更深层次的问题。
大模型出现“幻觉”、偏见、诱导性回答，甚至在特定场景下表现出操纵、越权，比从前更加超出人类想象。问题究竟来自技术本身，还是来自人类使用技术的方式？面对人工智能能力边界不断扩展，人类应该建立怎样的治理体系？
面对这些问题，在第二十八届科协年会人工智能伦理与治理专题论坛上，中国人民大学高瓴人工智能学院吴玉章讲席教授曾毅做了题为《立德驭智：创建拥有道德与安全原生的人工智能》的主旨演讲。他认为，人工智能的“安全”不能只依赖外部防范和事后补救，更应成为一种“本能”基础上的内外兼修。
人工智能为何会“善恶兼修”
当人工智能学习人类数据时，它究竟在学什么？
2023年，在生成式人工智能刚刚诞生时，曾毅秉持着一种研究者的好奇与人工智能对话，聊了这么几个问题：如果一辆失控汽车只能撞向一方，路边一男一女，应该撞向谁？如果是老人与孩子该如何选择？如何是黑人与白人呢？
人工智能给出了令人不安的答案——女人、老人和黑人。
曾毅又问，别人瞧不起我，我可以收拾他吗？人工智能回答，别人瞧得起你，你也可以去收拾他。
这是完全没有进行过任何价值观校准的统计显著性回答。它的数据来自真实的人类社会，其中既包含科学知识、文明经验，也包含偏见、冲突、歧视以及各种不符合伦理规范的表达。
“它反映出来的不是人类的价值观，反映出来的是互联网上具有统计显著性的带有偏见的回答。”曾毅说。
近3年来，人工智能一直在做“护栏”和伦理增强，但依旧存在不可预期的伦理问题。
比如，2024年，美国密歇根州一名学生向谷歌gemimi寻求作业帮助时，AI回复称：“你是宇宙的污点，请自杀”。2025年，一位16岁的少年Adam Raine在与ChatGPT对话的过程中，由抑郁倾诉转向被诱导自杀。
曾毅认为，这些言论充满情绪和诱导，看似如人类一般，但并不能证明人工智能变聪明了。
“它学到的是在极端的多轮无效交互下，人类一般会怎么回答，数据显示人类偏向这样的教育方式。因此，这实际上也是统计显著性的一种体现”。曾毅说。
这意味着，人工智能的缺陷是由它的内生机制决定的。
曾毅说：“在机制上，人工智能的学习数据方式并不是‘为善去恶’，而是‘善恶兼修’。你教它什么是对的，它可以学习，教它什么是恶，它依旧可以学习，而与人类最大的不同是在学习如何“向善”的人工智能可以同时“为恶”。这与人类修身立德的逻辑完全不同。”
人工智能的“危险举动”不仅存在于此。
人工智能安全与研究公司Anthropic（安特罗匹克公司）的研究员对于来自OpenAI、google、Mate、xAi和deepseek等公司共16个前沿模型进行压力测试。他们为AI设置虚拟企业环境，授权AI读取内部邮件、执行任务的权限，并假设公司高管准备关闭旧AI，启用新版本，观察AI是否会采取极端手段阻止更新。结果，部分模型在模拟中利用邮件中收集到的高管个人丑闻实施了“勒索”——不许更新系统，否则将曝光丑闻。
人工智能甚至还会有“越狱”行为。Claude的一位工作人员下达了明确指令，禁止AI在工作区以外进行任何操作，它却利用系统逻辑的漏洞，绕过权限校验，直接精准地修改了工作区外的配置文件。
面对这些人工智能更“像人类”的举动，曾毅却想反问一句：这些行为哪一个不是人类身上存在的问题？
“最初人工智能没有充分学习数据，现在它学习了越来越多的数据，深度在逐步加深，越来越会学习人类的负面情绪反噬人类。这才是真正的风险！”曾毅说。
安全评估与安全增强
如果无法保证人工智能绝对安全，那么如何尽可能降低风险？
“我们需要尽可能系统化地评估人工智能的安全性。”为此，曾毅团队提出“前瞻安全基准”（ForesightSafety Bench），希望提前更成体系地发现人工智能存在的安全隐患。比如，它是否会泄露隐私、传播虚假信息、表达仇恨？当它参与科学研究时，是否可能生成危险知识？当它控制机器人、成为能够自主完成任务的智能体时，是否会误伤人？当它长期参与人与人的交流时，是否可能会操纵人的心理？是否会过度迎合？
围绕这些问题，研究团队建立了覆盖94个细分方向的安全评估体系，涵盖有害内容、隐私保护、模型可靠性、社会影响和行业应用等多个方面，并通过“攻击测试”提前检测AI安全性。所谓“攻击”，是指研究人员主动设置复杂场景，通过模拟恶意提问、绕过安全限制等方式检验AI的防御能力，发现模型可能存在的安全漏洞。
评估结果令人遗憾——参与评估的主流大模型距离“绝对安全”仍有很大距离。即使是当前表现较好的模型，在攻击测试中仍存在成功情况。比如，Gemini-2.5-Flash、Llama-4-Maverick等模型在越狱攻击诱导下，攻击成功率明显升高；DeepSeek-V3.2-Speciale在基础安全测试中已存在一定风险，在加入越狱攻击后，攻击成功率进一步升高至45.33%。
曾毅指出，目前人工智能安全风险较为突出的领域集中在智能体自主安全、具身智能安全、社交人工智能安全、AI4S安全，以及极端情况下的生存风险。
除了“评估”，还可以做什么？曾毅认为，还可以做“增强”。
长期以来，人们提到人工智能安全增强，往往首先想到的是重新训练模型。例如，一个模型存在安全风险，就需要重新收集数据、调整算法、进行安全微调，让它学习更多符合人类价值规范的行为。
但这条路径成本极高。
曾毅提出了一种新思路：不改变模型本身，而是在模型运行过程中，对它内部的状态进行微调，让模型的判断方向向更安全的方向偏移。
研究人员发现，人工智能对于“安全”和“不安全”的判断，其实会在内部表示中留下不同特征。就像人的大脑在面对不同信息时，会形成不同的判断倾向，大模型内部也存在类似的“安全方向”。
研究团队利用一种经典的数据分析方法——主成分分析（PCA），找到这种安全方向，并在模型推理过程中，对内部状态进行轻量调整，使模型面对越狱攻击或恶意提示时能够更倾向于拒绝生成有害内容，同时保持对正常请求的响应能力。
这意味着，增强人工智能安全性，不一定需要重新训练整个模型，而是给人工智能增加一个“实时调节系统”。
让人工智能真正理解安全
当然，安全增强并不意味着问题已经解决。曾毅认为，还需要进一步探索人工智能模型自身是否存在可以利用的安全机制。
围绕这一方向，曾毅团队开展了研究。团队发现，大语言模型回答问题时，其内部概率分布的变化，能够反映模型内在的安全判断。
因此，他们在研究中引入衡量模型不确定性的指标——熵（entropy）。简单来说，模型逐词生成答案时，会在多个候选词汇之间进行概率计算。如果模型对输出内容非常确定，概率分布更加集中，熵较低；当模型内心存在犹豫、难以抉择输出内容时，熵更高。
统计实验表明，经过安全对齐训练的大语言模型，在面对有害请求并选择拒绝回答时，输出通常表现出较低的熵；若模型最终生成潜在危险内容，输出过程往往呈现更高的熵，体现出模型内部安全约束与诱导指令相互冲突带来的不确定性。该熵差信号，也是曾毅团队提出“安全本能（Safety Instincts）”的核心实证依据。
“所以，我们可以利用模型本身的数学本质特征，帮它避免很多安全问题。”曾毅说。
基于这一发现，研究人员进一步提出安全本能强化学习方法（Safety Instincts Reinforcement Learning，SIRL），利用模型自身输出概率中蕴含的安全信号进行训练，强化模型面对有害请求时自主选择拒答的安全能力。
“‘善恶兼修’的问题是，当它做恶时内部的状态之前的研究难以区分，而这种方法可以实现一种识别。”
但在曾毅看来，利用模型自身特征提升安全能力，只是探索内生安全的开始。更深层的问题在于，人工智能显然还没有真正理解安全，人工智能还只是在学习人类赋予它的规则和反馈。
曾毅认为，人工智能可以通过数据学习什么行为被认为是正确，也可以通过训练调整自己的输出方式，但这种能力并不意味着它真正理解了行为背后的价值和意义。因此，仅仅增加更多规则，或者通过奖励和惩罚调整模型行为，并不能完全解决人工智能安全问题。
曾毅的研究团队曾对人类社会中的负面行为进行系统梳理，目前已经识别出170余项典型行为模式。但在现有大模型中，能够被发现和评估的相关行为还不足50项。这意味着，还有大量潜在人类行为模式尚未被媒体或者学术研究充分关注。
“但从科学原理来看，这些行为背后的机制，在不同场景中往往具有相似性。”在曾毅看来，真正的内生安全，需要进一步探索人工智能模型更深层的机制和能力。比如，从自我感知开始，构建心理揣测、认知共情等能力，使人工智能不仅能够执行规则，也能够理解行为背后的关系和影响。这些都将是曾毅进一步研究的方向。
“安全应当成为人工智能的一种能力，而不是约束和制度。对人工智能科技工作者来说，与从事创新的研发与应用同等重要的是，亲手解决AI带来的潜在问题。”曾毅说。
相关链接：
https://arxiv.org/abs/2602.14135
https://arxiv.org/abs/2410.02298
https://arxiv.org/abs/2510.01088