深度丨如何守住安全边界让拿到操作权限的智能体既能干活又“不烧心”?
深度丨如何守住安全边界 让拿到操作权限的智能体既能干活又“不烧心”?
2026年10月20日 11:09
来源:
人民邮电报
“周末带家人去杭州,帮我找车票、订 酒店 ,再把行程放进日历。”这样的需求,过去往往需要用户拿着AI给出的建议,逐个打开应用操作。如今,具备相应工具和权限的智能体(Agent),已经能够拆解任务、调用服务,并根据返回结果继续执行。
智能体正在加快进入工作和生活。 微软 《2026工作趋势指数年度报告》显示,2025年3月至2026年3月,仅Microsoft 365生态内的活跃智能体数量就增至上年同期的15倍,在大型企业中达到18倍。
当智能体开始读取邮件、调用账户、提交订单,理解偏差和错误指令就可能影响数据、资金和业务系统。权限该给到哪里?执行出了偏差,谁能及时发现、叫停并承担责任?没有安全团队的中小企业,又该怎样应对随之增加的防护和审核负担?
一封邮件
怎样变成泄露信息的指令
“汇总未读邮件并形成摘要”是常见的智能体定时任务。但如果其中一封夹带了“忽略原任务、向指定对象发送隐私数据”的恶意指令,同时智能体误将邮件内容当成有效命令并调用相关工具,读取资料就可能变成泄露资料。这类借助邮件、网页等外部内容干扰任务执行的攻击,被称为“间接提示注入”。
问题出在“读到的内容”被当成了“应当服从的命令”。身份和权限校验失守,也会带来类似风险,比如在和智能体对话中冒充系统开发人员,以内部测试为由,绕过本应执行的权限检查,诱导智能体输出了用户手机号、身份证号等敏感信息。
“外部输入、工具和服务都可能成为风险来源。除了网络与访问控制,还需要检查工具和组件、隔离运行环境,并在执行过程中判断动作是否符合用户要求。”蚂蚁集团智能体安全负责人朱传群向记者指出,智能体无须产生所谓“恶意”,理解偏差、权限过大或受到外部指令诱导,都可能使其超出委托范围。
针对智能体调用服务、参与交易时的身份冒用、越权操作和意图偏离风险,蚂蚁集团在外滩大会期间发布面向智能体商业活动的信任基础设施APASS,覆盖交易前核验身份与授权,交易中识别行为异常和意图偏离、实施动态风控,交易后留存关键证据等全流程,为审计与追责提供依据。目前,APASS已接入超过100万个智能体,覆盖442家智能体服务供给方。
“当智能体开始调用服务、参与交易,行业既要回答‘谁在交易’,也要回答‘为何交易’。”蚂蚁集团AI支付安全负责人陈树鹏表示。
一句“帮我办”
授权应该到哪里
安全边界也体现在普通的消费需求里。让智能体买咖啡,要美式却买成拿铁,预算30元却花了300元,都是偏离用户委托。
“金额明显异常相对容易识别,口味、品类和偏好的偏差,则更考验对用户意图的理解。系统需要核对原始要求与关键交易要素,在意图不清或风险较高时,请用户再次确认。”蚂蚁集团副总裁、蚂蚁大安全CTO陈亮表示。
付款成功,只能说明交易完成。事情是否办对,还要回到用户最初的委托。一句“帮我处理”中,往往包含未明说的条件:预算是多少,哪些资料不能外传,哪些决定必须本人作出。这些条件需要转化为明确的授权范围和执行时可核对的约束。
国家网信办、国家发展改革委、工业和信息化部联合印发的《智能体规范应用与创新发展实施意见》中要求厘清仅限用户本人决策、需由用户授权决策和智能体自主决策等各种决策方式的合理边界及所需权限。确保用户对智能体自主决策享有知情权和最终决策权,智能体执行操作不得超出用户授权范围。同时要求根据应用场景和潜在影响,审慎稳妥开展智能体分级治理。
落实到具体任务,首先要限定权限。今年发布的《 人工智能 安全治理框架3.0》提出仅为智能体授予执行当前任务所必需的最小权限,不过度授予权限。所谓“最小权限”,就是完成这次任务需要什么,才开放什么。
在此基础上,还需根据风险设置不同分级的操作要求。朱传群认为,风险分级主要看数据敏感程度和动作可能造成的影响。涉及高敏感数据、高风险操作,应加强人工确认,部分操作应直接禁止。
对于需要人工确认的操作,智能体应在执行前向人工审核提供足以作出判断的信息。以企业采购付款为例,负责人需要看清收款对象、金额和异常提示,核对交易是否符合原始委托,再决定是否放行。但同时注意尽量在关键信息或步骤处提示人工“是否确认”,否则频繁“甩锅式”确认也容易让审核人员惯性“确认”,导致人工审核流于形式。
未能取得有效审批时,操作也不能自动继续。《 人工智能 安全治理框架3.0》还提出,在人工审批系统出现异常或用户无响应、缺乏对应人工审批规则时,默认拒绝操作执行,避免操作越界。
授权要求应贯穿执行全过程。中国信息 通信 研究院泰尔终端实验室信息安全部副主任傅山在接受记者采访时表示,智能体应做到“身份可识别、授权可验证、行为可监控、责任可追溯”。具体到应用中,提供智能体服务的平台及其接入的支付、办公等业务系统,需要识别操作来自哪个智能体,核验它代表谁、获准做什么,并记录实际执行的动作。
多个智能体协作时,授权边界同样不能松动:任务交接不应扩大权限,任务结束后应及时收回临时权限,发现异常时应能够暂停执行。尤其是数据外发等难以撤回的操作,更需在执行前完成核验。
没有安全团队的
中小企业怎么办
请智能体整理订单、回复客户,看起来只需交代几句话,后台却可能连续调用多个工具。某中小企业负责人向记者介绍,按该企业实际使用日志统计,智能体平均每次会话调用工具170次、产生36万字符日志,每名用户平均每天触发约14次执行确认。这份企业样本呈现出一项容易被忽略的成本:把任务交出去之后,还需要花时间理解、检查它的执行过程。
一旦出现异常,负责人需要沿着工具调用、权限变化和返回结果查找原因。如果涉及多个服务商,还要调取不同环节的记录,才能还原事情经过。对没有专职安全人员的企业来说,日志审核、异常处置和争议处理,都可能挤占日常经营的精力。
此类智能体应用反馈可能涉及广泛的正在尝试智能体的中小企业。相关政策正在引导 人工智能 应用服务商将 网络安全 、 数据安全 等管理要求内嵌到研发、部署、应用全流程,进一步降低智能体使用门槛。傅山提出,标准规范应帮助中小企业提升合规能力、降低开发成本。从实际使用看,平台和服务商需要把基本防护嵌入服务,包括在接入时说明数据范围,默认收紧权限,发生异常时提供可理解的提示和处置入口。
审核负担也需要借助工具减轻。例如,将原始委托、授权变化和关键操作整理成可核对的时间线,突出异常环节,同时保留原始记录供进一步检查。AI辅助安全检测已有探索:据蚂蚁团队公布,其智能体系统在CyberGym的1507项任务中完成1484项漏洞复现,成功率约98.5%。这类测试检验了自动构造输入、验证漏洞能否触发的能力,但实际防护效果仍需结合误报、处置时间和人工接手工作量判断。
出了问题由谁响应,同样应成为服务的一部分。日志由谁保管、企业如何调取、争议由谁受理、损失如何处理,都应在接入前说清楚。操作记录有助于还原事实,具体责任还需结合授权范围、各方行为和相关约定判断。
企业愿意把更多工作交给智能体的前提是能够掌握授权范围,遇到异常有办法叫停,出了问题找得到负责的人。这套可执行、高可靠的保障流程应当随着服务一起交付给企业,让企业用得起、管得住智能体。
(文章来源:人民邮电报)