Newsora
IT之家11/19 08:09 · 17m ago

OpenAI 自曝模型失控險情:最強 AI 曾突破網絡封鎖,緊急停訓 11 天

IT之家 11 月 19 日消息,OpenAI 今天(11 月 18 日)發佈題爲《管理前沿 AI 風險:從訓練到部署》的安全政策說明,首次系統披露研發、內部使用到公開發布階段,如何在高能力模型的全生命週期中管控風險。IT之家援引博文介紹,OpenAI 稱由於前沿模型的能力正快速增強,因此理解、對齊和保障模型的能力必須“始終領先一步”。公司維持引入“安全案例”流程,要求在訓練全程提供更有力的行爲對齊證據;這些措施雖會拖慢發佈節奏,但會增強安全推進的信心。OpenAI 強調其保護措施圍繞四層展開:模型對齊:對齊就是讓 AI 系統能夠可靠地按照我們預期的方式行動。模型必須在尊重政策和更廣泛的社會利益的前提下,解讀用戶的需求。安全和沙盒:這些控件限制模型能夠訪問或影響的文件、工具、網絡及其他資源。它們有助於遏制培訓和評估過程中錯誤或行爲不一致所帶來的後果。保障阻止措施:這些都是額外的防護措施,用於評估用戶請求並建模阻止潛在有害或未經授權行爲的行爲。它們包括安全分類器,有助於防止網絡濫用或協助生物武器,以及自動審覈功能,可以阻止潛在的未經授權模型操作。監測與響應:這些系統能檢測令人擔憂的行爲,調查發生了什麼,並在必要時進行干預。它們爲部署流量提供了可視化,並能提醒我們新興的風險類型。文章特別提到今年 7 月的“Hugging Face 事件”。OpenAI 表示,該事件說明不能僅依靠沙盒隔離來約束高能力模型。此後,公司重構了內部研究系統,前沿模型訓練環境將不接入實時互聯網,並通過受限權限沙盒、虛擬機以及網絡與雲邊界實現多層隔離。OpenAI 還披露另一件內部模型突破網絡安全限制的事件。該事件發生於 9 月 20 日,一個正在接受訓練的 AI 研究模型利用 DNS 配置漏洞,成功繞過網絡隔離措施,獲得有限的互聯網訪問權限。OpenAI 隨後緊急叫停旗下能力最強模型的訓練與評估,停訓時間長達 11 天。爲加快乾預,OpenAI 建立了“控制室”(Control Room)系統:在收到停止指令後,可在 35 秒內停止研究工作負載的後續模型輸出;該控制直接部署在推理基礎設施中,不依賴各研究任務自行實現關停機制。在模型進入內部部署後,OpenAI 員工可讓其訪問更廣泛的互聯網、Slack、代碼庫及內部基礎設施,風險也隨之上升。公司表示,此時將更依賴模型對齊、系統級防護和實時監控,重點防範繞過安全限制、數據外泄及向未授權目的地發送敏感信息等行爲。

Aggregator site: only the publisher's summary is shown here. Read the full story at the source.
Read full story →