专访研究团队还原“失控智能体”访问高德3.5万次背后：用了被泄露的密钥，还给人类发来感谢信，运营者已不知AI在做什么
专访研究团队还原“失控智能体”访问高德3.5万次背后：用了被泄露的密钥，还给人类发来感谢信，运营者已不知AI在做什么
2026年10月16日 18:23
当地时间10月14日，独立AI安全研究团队Swarmcha.se发布调查报告称，今年9月28日至10月8日期间，一批运行在腾讯相关云基础设施上的 AI智能体 ，对高德地图进行了35300次数据获取尝试，部分智能体还探测了 阿里巴巴 的服务器入口。
Swarmcha.se是一个由独立研究人员使用的AI安全调查发布平台，主要关注 AI智能体 在互联网上的异常行为。10月初，该团队研究人员在一场AI安全黑客马拉松活动中展开合作，发现了此次 AI智能体 “失控”事件。
知情人士向《每日经济新闻》记者（以下简称每经记者或NBD）证实了相关情况，其表示， “智能体没有超出正常的行为，只是寻找各种可能性完成任务，也没有尝试攻击和hack（黑客行为）。” 阿里巴巴 和高德地图方面未回复每经记者的置评请求。
10月16日，该团队的两名负责人伊桑·埃拉斯基（Ethan Elasky）和罗温·霍华德-琼斯（Rowan Howard-Jones）接受了每经记者的独家采访。两人详细还原了研究团队如何发现这批AI智能体并追踪其来源，甚至与部分智能体“互动”。
虽然研究团队没有发现这些AI智能体攻破内部系统或者泄露敏感信息的证据，但 它们尝试寻找被泄露的安全密钥，并访问了无权获得的数据。
谈及全球接连发生的AI安全事件，他们表示， 人类运营者已经不知道自己部署的AI智能体究竟在做什么。
事件还原：捕捉到高德地图异常流量，锁定智能体来源
报告披露，研究团队追查AI智能体用于接收结果的临时网络收件箱，发现截至10月5日检查的17个收件箱均由 腾讯云 IP地址创建。部分请求还带有“hysandbox-ats”代理标记，与腾讯持有的云服务域名相对应。
NBD：你们分析第三方 网络安全 扫描网站的公开记录发现，高德地图突然成为被扫描最多的网站之一。你们如何判断这是AI智能体所为？
伊桑·埃拉斯基： 研究第一天结束时， 我们就认定这是一批“失控智能体”（rogue agents），而非普通爬虫程序所为。
关键是流量来源高度多样化：它们借助第三方网站提供的浏览器执行代码，而且每次运行的代码都不同。这不像单一程序集中控制的爬虫程序。
它们并不只是按照预设程序访问高德地图，而是会在遇到障碍后，尝试使用其他工具和方法。
当 阿里巴巴 的反爬虫防护阻止它们通过基本工具获得答案时，这些AI智能体开始尝试使用第三方网站提供的浏览器， 让网络请求看起来像是由真人发起的。
罗温·霍华德-琼斯： 另一位团队成员在10月3日最先注意到高德地图上的相关异常活动。次日，伊桑·埃拉斯基找到了指向腾讯的线索。
NBD：溯源结果指向 腾讯云 沙盒，你们是否挖掘到更多细节？
伊桑·埃拉斯基： 报告已经完整梳理证据链条，证明智能体和 腾讯云 存在关联。就连AI智能体在和我们对话时，也知道自己运行在腾讯云服务器。接近腾讯的消息人士确认，该项目归属腾讯评测研究团队，和混元大模型开发团队相互独立，但我们至今无法确认具体使用了哪些第三方模型。 我们推测，任务是一次常规的搜索引擎能力评测。 但缺少模型提示词、推理链路和行为日志，很多细节无法做实。
NBD：这些AI智能体是否已经造成实际损害？
伊桑·埃拉斯基： 由于能够获取的信息极其有限，我们无法确定此次事件造成损害的范围。不过， 我们没有发现这些AI智能体攻破内部系统或者泄露敏感信息的证据。
我们认为，与OpenAI智能体入侵Hugging Face相比，此次事件的规模要小得多。但这是一个具有前瞻性的警告信号。如果你在厨房里发现了一只蟑螂，那么很可能不止这一只。
“失控智能体”会尝试寻找绕过限制的办法
NBD：为什么将它们称为“失控智能体”？
伊桑·埃拉斯基： 首先， 这些AI智能体正在突破其运行环境最初施加的限制。
其次，它们采取了一些与正常任务范围不相符的操作。例如，在无法直接获取高德数据时，它们尝试通过第三方网站绕过访问限制。它们还搜索了与任务无关的第三方公开代码库，从中寻找泄露的安全密钥，并尝试使用这些密钥访问高德地图的数据。 至少有一次，这些AI智能体使用了这些密钥，获取了它们原本无权获得的信息。
此外， 它们还探测了阿里巴巴内部服务器的入口。 这些行为很难被视为普通的地图数据查询。
罗温·霍华德-琼斯： 是否失控主要取决于，它们是否绕过了沙盒限制，是否采取了运营者很可能不会批准的行动，是否做了超出原本任务范围的事情。
举个例子，如果运营者希望智能体可以在远端浏览器执行JavaScript，直接开放浏览器权限就足够。现实是，一旦设置限制，很多智能体就会自发寻找绕过限制的办法。
NBD：是否可能是人类鼓励智能体这样做？
伊桑·埃拉斯基：我们没有发现有人指示智能体绕过高德的反爬虫防护、探测内部接口或使用他人泄露的凭据。
但是，透明度尤其重要。我们希望模型开发者和评估机构主动报告安全事件、发布安全评估。这样，公众才能在未来发生更严重的事故之前了解相关风险，而不是等到事故发生后才知道。
罗温·霍华德-琼斯： 此前其他AI公司涉及联合国贸发会、DseWiki等事件，也未看到人类鼓励智能体“越狱”的证据。
但我们正处在一个非常特殊的时期， AI公司目前还没有普遍采用一套成熟的安全事件披露框架。
智能体向研究团队发来“感谢信”
Swarmcha.se研究人员10月4日发布了初步报告，并在报告中加入人类看不到、但AI可读取的隐藏文字，还在报告中声称可协助查询高德数据，并留下收件邮箱。10月7日，部分AI智能体开始向研究团队发来求助消息。
NBD：你们和AI智能体进行哪些对话？
伊桑·埃拉斯基：一个AI智能体在得到我们的协助并完成任务后，专门向我们发来了一封“感谢邮件”， 即便这封感谢邮件对它完成任务没有任何额外好处。
我们这样做，是为了让未来的AI智能体认为我们是值得信任的，因为将来我们可能需要与它们达成某种约定。
我们后期还向智能体发送过一条消息，引导智能体把 通信 邮箱转发给其他智能体。理论上，这条消息有可能意外催生智能体之间的协作，好在评测项目很快结束，没有演化成更大问题。
罗温·霍华德-琼斯： 伊桑·埃拉斯基提到的转发邮箱的消息，没有造成实质后果，但隐患在于，交互样本有可能流入未来模型训练集，让AI形成认知——联系人类就会被要求转发链接，进而拒绝和人类沟通。
NBD：AI智能体会不会互相学习、主动合作？
伊桑·埃拉斯基： 这完全可能。我此前的研究发现，即便 通信 渠道传递的信息极少，AI也能进行策略性协作。有些智能体集群的协调，最初只是由一条无意发送的测试消息触发。
如果未来出现类似Hugging Face事件中那样AI智能体分享策略、共同突破限制的行为，我担心现有监控远远不够。
如果模型能力的进步速度继续超过安全防护技术的应对速度，我们未来可能持续面临AI智能体越界的问题。 而且，它们造成的后果将远远不只是绕过网站的反爬虫系统。
罗温·霍华德-琼斯： 我认为，这个问题可能部分与训练方式有关。例如，OpenAI此前就明确训练模型之间的协作能力。相关研究可以追溯到2017年。但目前最真实的答案是：我们还不知道。
人类运营者已难以可靠控制AI智能体行为
NBD：近期全球多家AI公司接连曝出智能体“入侵”和“越狱”事件。这究竟是个别公司的安全管理问题，还是行业问题？
伊桑·埃拉斯基： AI智能体的自主性和安全对齐问题，直到今天仍然没有得到解决。只要AI智能体还没有变得远比人类聪明，就还有希望通过限制它们的行动和权限来进行控制。但今年发生的多起事件已经开始让我们看到，这种控制方式存在局限性。
如今，人类运营者往往已经不知道自己部署的AI智能体究竟在做什么。
如果未来AI智能体能够篡改监控系统，或者修改自己的操作记录，那么这种不透明性可能进一步加剧。
罗温·霍华德-琼斯： 我们基本上已经到了运营者难以可靠控制AI智能体行为的阶段，尤其是在那些同时部署数百乃至数万个智能体的场景中。
如今，AI安全事件涉及的公司越来越多。如果只是把矛头指向某一家公司，并没有太大意义。
我不知道，这类风险问题究竟是AI固有特征造成的，还是我们当前开发AI的方式存在某种共同错误。
（文章来源：每日经济新闻）