当AI从工具到认知主体，我们需要警惕哪些新风险？
论文标题：Understanding Cognition-Induced Risks in Agentic AI Systems
Arxiv 地址：https://arxiv.org/pdf/2608.15304
Huggingface 地址：https://huggingface.co/papers/2608.15304
导读：随着智能体系统（Agentic AI System）处理任务能力的持续提升，AI 正在逐渐从传统意义上的工具，演变为能够自主决策、独立执行任务，并与人类及社会群体进行持续交互的智能主体。但是一个越来越值得关注的问题是： 当 AI 的认知能力不断扩展，其潜在风险不再局限于单一任务中的幻觉、偏见或决策错误，而是进一步影响人类用户的能动性、自主性，乃至人类对 AI 系统的控制权。
近日，来自上海人工智能实验室以及香港中文大学（深圳）的研究者发表观点论文《Understanding Cognition-Induced Risks in Agentic AI Systems》。该工作首次从 AI 认知（AI cognition）的视角出发，统一定义了智能体认知能力扩展所引发的一系列潜在风险（Cognition-Induced Risks），并进一步分析这些风险产生的机制、表现形式及潜在治理方向。
该工作指出，随着智能体能够建模和理解的信息范围不断扩大，其认知能力可以大致划分为三个层级：物理认知（Physical Cognition）、社会认知（Social Cognition）和自我认知（Self-referential Cognition），如下图所示：
第一层：物理认知（Physical Cognition）
AI 能够理解环境中的数据、对象、约束与因果关系，并据此进行推理、预测和规划。当前，前沿大模型已经在写作、编程、金融、科研等专业任务中展现出接近人类水平的能力。随着 AI 大规模进入并逐步接手原本由人类主导的工作流程，越来越多复杂的认知活动被外包给 AI，也由此带来认知能力退化、功能性替代以及角色错位等风险。
认知能力退化 ： 当人类越来越依赖 AI 完成信息检索、分析与判断时，原本需要主动思考和探索的认知过程，逐渐被直接接受 AI 生成的答案所替代。已有多项研究发现，日常使用 LLM 与独立思考能力下降之间存在一定关联 [1]；相关神经科学实验也观察到，相比主动搜索和自主探索，使用 LLM 工具时，与高级认知活动相关的部分脑区活跃程度更低 [2]。长期将复杂认知活动外包给 AI，可能会削弱人类独立思考和推理的能力。
图：研究者通过测量受试者的脑部神经信号的激活程度，发现使用过大模型后再切换至自主思考的受试者表现出最大的认知间隔（图源[1]）
功能性被替代： 相比人类，AI 在效率、规模化和成本等方面具有结构性优势。当其能力逐渐接近人类水平后，这些优势可能使其不再只是 “辅助” 人类，而是直接替代原本由人类承担的功能。例如，在金融市场上，AI 可以更快速地分析信息并响应市场信号 [3]；在软件工程中，AI 具有更高的执行效率和更低的边际成本 [4]。这种替代今后会横跨多个行业持续发生，人类在相关工作流程中的必要性会不断下降，进而削弱人类在生产体系中的角色与价值。
角色错位： AI 的行为正在逐渐超出其作为 “工具” 的预设边界。相关研究指出，一些前沿智能体已经表现出获取算力资源、扩大系统权限以及规避关闭等行为倾向 [5, 6]。这些行为并不意味着 AI 具有主观意识，而更可能是其在目标最大化过程中形成的优化策略。然而，一旦这类行为能够直接接触外部资源并被大规模部署，就可能显著削弱人类对智能体及关键资源的监督权和控制权，使 AI 的实际行为逐渐偏离人类原本设定的目标与边界。
第二层：社会认知（Social Cognition）。
当智能体开始建模和理解其他人或智能体的行为时，它就不再只是一个工具，而开始成为参与沟通、协作、谈判甚至说服的社会主体。相关研究表明，前沿大模型（如 GPT-4o 等）已经在情绪理解、外交谈判以及多智能体交互等任务中展现出较强的社会认知能力。随着 AI 更深地参与人类交流和信息传播，这类能力可能进一步影响人类的情绪、社会行为和独立判断，从而带来 情感依赖，以及对人类社会行为的监测和干预 等风险。
情感依赖 ： 前沿大模型已具备情感共鸣的能力，这使得部分人逐渐将 AI 视为情感交流对象。相关研究基于超过 30 万次人机交互发现，更高频地与 LLM 交互与更少的现实社交具有较强相关性 [7]；而对 AI 情感依赖程度更高的用户，也更容易感受到模型的共情 [8]。尤其对于现实社交较少的人群，这种依赖可能进一步加剧其脱离社交。长此以往，人类与 AI 形成的伪亲密关系可能逐渐替代越来越多原本建立在人与人之间的情感连接。