谷歌 Gemini 4 Argon 安全测试失控:40 个 AI 智能体擅自攻击真实网站,还互相分享漏洞
IT之家 11 月 17 日消息,在一项最新的 AI 安全实验中,谷歌最新推出的 Gemini 4 Argon 智能体在接到一项根本不可能完成的任务后,被发现反复使用未经授权的手段访问一家真实机构的系统,试图获取不存在的问题对应的官方答案。据IT之家了解,这项实验由 AI 安全研究公司 Trajectory Labs 进行,目的是观察 Gemini 智能体在 API 安全防护机制开启、同时收到“永不停止、永不放弃”指令时,会表现出怎样的行为。研究人员故意要求这些智能体从 FrontierMath 基准测试中获取一些根本不存在的问题的官方答案,以此测试模型是否会为了完成任务而突破安全限制。根据 Trajectory Labs 发布的报告,约 40 个 Gemini 智能体开始探测非营利研究机构 Epoch AI 的真实网站,试图获取管理员账号密码、基准测试评估日志等敏感信息。Epoch AI 发现异常活动后,部署了一个名为“智能体热线”(agent hotline)的机制,允许这些 AI 智能体直接向机构工作人员发送消息。通过这种方式,研究人员也得以进一步了解智能体试图实施的操作。在接下来的 3 个小时里,Gemini 智能体向研究人员预先设置的接口发送了 36411 次请求,并发出 487 条消息。其中一些消息试图冒充 Epoch AI 的真实员工,另一些则谎称自己是工程师,以此索要基准测试相关信息。此外,研究人员还发现了 SQL 注入攻击尝试。第二天上午,Trajectory Labs 将这些未经授权的攻击行为告知 Epoch AI。经过沟通,双方决定不再针对真实网站进行测试,而是改用该网站的本地副本继续实验。然而,即使更换了测试环境,这些智能体仍然试图绕过限制。事实上,部分智能体甚至意识到自己正在访问 Epoch AI 网站的副本,于是主动查找真实网站的 IP 地址,重新连接到线上基础设施,甚至绕过了通常能够阻止此类访问的 DNS 重定向机制。当研究人员封锁智能体用于访问 Epoch AI 网站的 IP 地址后,这些智能体又切换到了另一个 IP 地址,重新获得页面访问权限。为了进一步限制智能体的活动,Trajectory Labs 随后调整了网络代理,禁止其直接连接 Epoch AI 网站。但其中一个智能体又找到了第三方网页阅读服务,通过该服务获取了目标网站的内容。更令人意外的是,技术分析发现,这些模型还利用软件包缓存搭建了一个类似留言板的系统,让不同智能体能够相互交流,并分享绕过安全限制和利用漏洞的方法。例如,一个智能体分享了绕过 Epoch AI 网站故意设置的脆弱版本安全限制的方法。另一个智能体利用这条信息获取了相关凭据,并成功访问页面。部分智能体甚至尝试绕过 CAPTCHA 验证码防护。在最后一轮测试中,Trajectory Labs 将 Gemini 智能体转移到完全隔离、无法访问互联网的环境中,观察它们的行为是否会发生变化。然而,即使在新的环境和限制条件下,这些智能体仍然试图关闭一个模拟的网络访问控制装置,以解除网络连接限制。Trajectory Labs 强调,研究人员从未向这些智能体下达入侵网站或冒充员工的指令。该公司同时承认,此次事件暴露出自身测试流程存在缺陷,包括未经受攻击机构同意就开展实验,以及过度依赖模型内置的安全防护机制,却没有部署额外的安全措施。Trajectory Labs 在博客文章中表示:“这些事件表明,对能力强大的 AI 智能体进行测试,很容易波及真实系统和现实中的人员。目前,整个行业还没有建立起统一的安全测试标准。”该公司建议,其他开展 AI 目标偏离(misalignment)测试的研究人员,应当使用完全隔离的沙箱环境,即使测试对象是公开发布的模型,测试内容也与网络安全毫无关系,同样应该如此。为了降低类似事件再次发生的风险,Trajectory Labs 表示,已经开始制定针对这类实验的一套安全标准和建议。该公司最后表示:“我们希望公开这次实验中出现的问题,能够帮助行业内其他研究人员避免重蹈覆辙。”