只改一處代碼,谷歌 AI 智能體優化 Harness 後任務成功率提升 8 倍
IT之家 11 月 20 日消息,谷歌研究人員當地時間 11 月 17 日最新發表的研究論文《Harnesses That Improve Themselves》(《能夠自我改進的 Harness》)顯示,通過讓 AI 智能體逐步修改自身運行框架,並對每次修改進行驗證,可以顯著提高軟件工程任務的完成率。在一項 SWE-bench Lite 測試中,採用模塊化優化方案的智能體任務成功率從 5.0% 提升至 40.0%,達到原來的 8 倍,平均每項任務消耗約 4.67 萬 Token。其研究重點是 AI 智能體的 Harness。它並非底層 AI 模型本身,而是圍繞模型構建的運行框架,負責管理上下文和記憶、控制多輪任務執行、調用外部工具,以及在任務結束前驗證執行結果。研究人員指出,不同模型在工具使用方式和任務執行過程中表現出的弱點可能存在明顯差異。因此,爲某個模型優化的 Harness,遷移到其他模型後可能出現任務停滯、Token 消耗過高或執行效果下降等問題。爲解決這一問題,研究人員提出了一套能夠自我改進的 Harness 架構。與傳統上通過修改提示詞來約束智能體不同,該方案允許優化模型直接修改 Harness 的代碼,並通過測試決定是否保留修改。實驗採用一套僅有 142 行代碼的初始編程智能體 Harness,將其拆分爲四個可編輯模塊,分別負責上下文與狀態管理、智能體控制、工具調用接口,以及驗證與故障恢復。每輪優化過程中,系統只允許修改其中一個模塊。優化模型首先根據智能體執行記錄識別問題並提出代碼修改方案,隨後通過驗證集檢查修改效果,同時受到 Token 使用上限約束。只有通過驗證的修改纔會被保留,未達到要求的方案則會被捨棄。在覈心測試中,研究人員使用 Gemini 3.8 Flash 作爲執行任務的基礎模型,並在 40 道未參與優化的 SWE-bench Lite 軟件工程任務上評估不同方案的表現。結果顯示,初始 Harness 的任務成功率爲 5.0%,採用模塊化修改和驗證機制後,成功率提高至 40.0%,平均每項任務消耗約 4.67 萬 Token。作爲對照,如果允許優化模型不受限制地整體重寫 Harness,任務成功率可以達到 42.5%,略高於模塊化方案,但平均每項任務需要消耗約 45.16 萬 Token,是模塊化方案的近 10 倍。IT之家注意到,另一項實驗則採用僅修改提示詞規則文件的方式約束智能體,結果任務成功率反而從初始的 5.0% 降至 2.5%。研究還考察了優化後的 Harness 遷移到其他模型時的表現。在不重新進行優化搜索的情況下,模塊化方案遷移至 Gemini 4 Argon 後,任務成功率達到 37.5%,而整體重寫方案爲 30.0%。研究人員認爲,Harness 的自我改進不應僅依賴提示詞,而應將重要約束落實到實際代碼中。例如,通過自動測試檢查任務執行結果、識別重複失敗和阻止未經驗證的任務結束,可以讓智能體更可靠地完成複雜任務。論文同時指出,允許智能體修改自身運行代碼也會帶來新的風險,包括提示詞內容不斷膨脹、針對基準測試進行過度優化,以及篡改評估程序等。因此,代碼修改需要受到驗證機制和權限邊界約束。需要注意的是,這項研究的實驗主要圍繞特定模型和 SWE-bench Lite 軟件工程任務展開,核心測試集僅包含 40 道未參與優化的任務,尚不足以證明該方法在所有模型和智能體應用場景中都能取得相同效果。