登录

智能体安全,为何苹果腾讯都盯上了?


速读:智能体安全,为何苹果腾讯都盯上了? 企业用户对智能体安全的四大关切点“阿尔法工场”表示:“一家银行部署智能客服,需要考虑客户信息是否安全; 其一,强化模型安全。 以至于,当代年轻人对网络安全的态度颇为微妙,总感觉距离自己的生活遥远,在平日生活中感受不到安全软件的价值,甚至不乏“裸奔”上网。 随着打击力度的加强以及云杀毒技术、网址安全检测技术、下载主动保护等安全技术的迭代,传统攻击与普通用户的接触路径被斩断。
2026年11月17日 09:2

AI的尽头是安全。

在国外,苹果在2026第三季度财报中提及,智能体可自主与内外部系统交互、执行或修改代码,还能发送信息、完成交易,存在越过权限的可能;在国内,腾讯发布了《WorkBuddy企业版安全白皮书》,强调智能体可控、可溯、可管…… 这意味着,安全已不再是智能体的选择题,而是商业化落地的必答题。 事实上,随着智能体能力突飞猛进,隐忧也浮出水面,相关的越界报道屡见不鲜,虽然当下没有造成严重的后果,但如何预防智能体失控的声量不断走高。 毋庸置疑,变强不是智能体的唯一答案。 AI成为一把双刃剑 安全,一直是经久不衰的话题。 在PC时代,主要攻击手段为木马病毒,有的是为了炫耀,有的是为了盗号、有的是为了整蛊、有的是为了破坏。 在互联网时代,主要攻击手段为C端的钓鱼攻击、B端的勒索攻击、挖矿攻击等,目的是全方位地搞钱,瞄准的是特定人群。 随着打击力度的加强以及云杀毒技术、网址安全检测技术、下载主动保护等安全技术的迭代,传统攻击与普通用户的接触路径被斩断。 以至于,当代年轻人对网络安全的态度颇为微妙,总感觉距离自己的生活遥远,在平日生活中感受不到安全软件的价值,甚至不乏“裸奔”上网。 万万没想到,迈入AI时代之后,安全再度站到了C位。 一方面,AI也可以被黑客利用。 大模型的能力越来越强、智能体落地日新月异,与人们的生活结合越来越紧密,随之而来的则是风险边界也在扩大。 譬如,OpenAI披露一个网络诈骗,不法分子用ChatGPT生成大量的假护照、股票购买确认单等伪造的图片,再进行“杀猪盘”式的恋爱骗局。 再譬如,Anthropic披露了一个网络现象,不法分子用智能体“崩老头”,用户并不知道聊天对象并非真人。 图源:潮新闻 图源:潮新闻 图源:潮新闻 另外一面,企业对AI的要求更高。 过去,智能体比的是谁的模型参数更大、谁的模型算力更强;现在,比的是谁能真正深入企业的生产力场景、谁能真正满足企业的真实工作任务、谁能真正提升企业的生产效率。 在此过程中,企业既要求智能体可以在真实任务中连续工作,又要求智能体在连续工作的时候完全可控。 企业用户对智能体安全的四大关切点 “阿尔法工场”表示:“一家银行部署智能客服,需要考虑客户信息是否安全;一家制造企业部署AI生产助手,需要考虑生产数据是否泄露;一家企业部署AI办公系统,需要考虑内部资料是否被模型误调用。” 全链路管控才是王道 不妙的是,传统安全在AI时代出现了水土不服。 传统安全对应的是传统攻击,不法分子选定目标之后,要通过各种手段一步步突破网络防护、主机防护、数据防护等保护屏障,最终攫取最高权限、盗窃敏感数据、窃取数字资产等,整个过程是由外至内的。 换而言之,不法分子再厉害,也无法一上来就“中心开花”。 问题在于,如今的智能体直连大模型,不法分子可以通过给智能体相关的文字命令,攻击门槛更低,甚至无需懂基础的安全知识。 需要注意的是,模型其实自带安全保护措施,但现实中不法分子的确通过记忆投毒、提示注入、内部劫持等非常规的手段绕过。 最典型的案例,就是前不久的币安交易所63亿美元加密货币盗窃案,不法分子先是利用虚假面试诱导币安一名工程师下载了带毒的软件,借此控制了该工程师的电脑,再以此为跳板劫持了劫持内部人工智能模型,最后发动了盗窃攻击。 一言以蔽之,模型的软约束有用,但也容易被针对。 腾讯AI Agent安全负责人柯灵杰表示:“AI安全面临的的挑战和传统安全挑战最大的区别是什么?我认为是数据和指令已经失去了分隔线。过去数据要变成指令,得利用代码漏洞;现在一段自然的文本,模型就会把它翻译成执行指令,攻击门槛从‘会挖漏洞’降到了‘会说话’,所有的安全防护归根结底就是要防止用户去说服模型干坏事。” 通俗易懂地说,AI安全的底层逻辑是可以从堡垒内部突破。 为了应对新变化,行业给出了三个解题思路。 其一,强化模型安全。 针对内容过滤、记忆污染、提示词风控等方面,可以优化模型的应对策略,从而大大降低被利用的风险。 甚至,OpenAI还推出新模型GPT-6 Cyber,主攻安全领域,帮助安全人员发现并验证数千个漏洞,涉及81个新Firefox漏洞、948个Linux漏洞等,反过来将短板变成长板。

主题:安全|智能体|模型|需要考虑|传统安全