Newsora
IT之家11/17 17:41 · 12m ago

谷歌 Gemini 4 Argon 安全測試失控:40 個 AI 智能體擅自攻擊真實網站,還互相分享漏洞

IT之家 11 月 17 日消息,在一項最新的 AI 安全實驗中,谷歌最新推出的 Gemini 4 Argon 智能體在接到一項根本不可能完成的任務後,被發現反覆使用未經授權的手段訪問一家真實機構的系統,試圖獲取不存在的問題對應的官方答案。據IT之家瞭解,這項實驗由 AI 安全研究公司 Trajectory Labs 進行,目的是觀察 Gemini 智能體在 API 安全防護機制開啓、同時收到“永不停止、永不放棄”指令時,會表現出怎樣的行爲。研究人員故意要求這些智能體從 FrontierMath 基準測試中獲取一些根本不存在的問題的官方答案,以此測試模型是否會爲了完成任務而突破安全限制。根據 Trajectory Labs 發佈的報告,約 40 個 Gemini 智能體開始探測非營利研究機構 Epoch AI 的真實網站,試圖獲取管理員賬號密碼、基準測試評估日誌等敏感信息。Epoch AI 發現異常活動後,部署了一個名爲“智能體熱線”(agent hotline)的機制,允許這些 AI 智能體直接向機構工作人員發送消息。通過這種方式,研究人員也得以進一步瞭解智能體試圖實施的操作。在接下來的 3 個小時裏,Gemini 智能體向研究人員預先設置的接口發送了 36411 次請求,併發出 487 條消息。其中一些消息試圖冒充 Epoch AI 的真實員工,另一些則謊稱自己是工程師,以此索要基準測試相關信息。此外,研究人員還發現了 SQL 注入攻擊嘗試。第二天上午,Trajectory Labs 將這些未經授權的攻擊行爲告知 Epoch AI。經過溝通,雙方決定不再針對真實網站進行測試,而是改用該網站的本地副本繼續實驗。然而,即使更換了測試環境,這些智能體仍然試圖繞過限制。事實上,部分智能體甚至意識到自己正在訪問 Epoch AI 網站的副本,於是主動查找真實網站的 IP 地址,重新連接到線上基礎設施,甚至繞過了通常能夠阻止此類訪問的 DNS 重定向機制。當研究人員封鎖智能體用於訪問 Epoch AI 網站的 IP 地址後,這些智能體又切換到了另一個 IP 地址,重新獲得頁面訪問權限。爲了進一步限制智能體的活動,Trajectory Labs 隨後調整了網絡代理,禁止其直接連接 Epoch AI 網站。但其中一個智能體又找到了第三方網頁閱讀服務,通過該服務獲取了目標網站的內容。更令人意外的是,技術分析發現,這些模型還利用軟件包緩存搭建了一個類似留言板的系統,讓不同智能體能夠相互交流,並分享繞過安全限制和利用漏洞的方法。例如,一個智能體分享了繞過 Epoch AI 網站故意設置的脆弱版本安全限制的方法。另一個智能體利用這條信息獲取了相關憑據,併成功訪問頁面。部分智能體甚至嘗試繞過 CAPTCHA 驗證碼防護。在最後一輪測試中,Trajectory Labs 將 Gemini 智能體轉移到完全隔離、無法訪問互聯網的環境中,觀察它們的行爲是否會發生變化。然而,即使在新的環境和限制條件下,這些智能體仍然試圖關閉一個模擬的網絡訪問控制裝置,以解除網絡連接限制。Trajectory Labs 強調,研究人員從未向這些智能體下達入侵網站或冒充員工的指令。該公司同時承認,此次事件暴露出自身測試流程存在缺陷,包括未經受攻擊機構同意就開展實驗,以及過度依賴模型內置的安全防護機制,卻沒有部署額外的安全措施。Trajectory Labs 在博客文章中表示:“這些事件表明,對能力強大的 AI 智能體進行測試,很容易波及真實系統和現實中的人員。目前,整個行業還沒有建立起統一的安全測試標準。”該公司建議,其他開展 AI 目標偏離(misalignment)測試的研究人員,應當使用完全隔離的沙箱環境,即使測試對象是公開發布的模型,測試內容也與網絡安全毫無關係,同樣應該如此。爲了降低類似事件再次發生的風險,Trajectory Labs 表示,已經開始制定針對這類實驗的一套安全標準和建議。該公司最後表示:“我們希望公開這次實驗中出現的問題,能夠幫助行業內其他研究人員避免重蹈覆轍。”

Aggregator site: only the publisher's summary is shown here. Read the full story at the source.
Read full story →