Newsora
IT之家11/21 09:45 · 26m ago

OpenAI 公佈反蒸餾防護進展:GPT-6.2 Astra 思考鏈提取成功率從 54% 降至 0.2%

IT之家 11 月 21 日消息,當地時間 11 月 20 日,OpenAI 發佈公告介紹了針對「對抗性蒸餾」(Adversarial Distillation)的防禦措施。OpenAI 稱其已加強 GPT-6.2 Astra 和 GPT-6.2 Sol 對內部推理思考鏈(Chain-of-Thought)的保護,以降低其他模型通過提取推理過程獲取其能力的風險。OpenAI 表示,對抗性蒸餾是指未經授權地利用前沿 AI 模型的輸出訓練其他模型,使後者獲得相似能力,卻不具備原模型相應的安全防護。該行爲可能導致網絡安全、生物學等領域的高風險能力被轉移到安全限制較弱的模型中。在內部自適應黑盒紅隊測試中,OpenAI 測試了攻擊者提取模型此前請求和當前請求中受保護推理內容的成功率。結果顯示,針對此前請求推理內容的提取成功率,從 GPT-6 Astra 原有安全機制下的 54.0%,降至 GPT-6.2 Astra 更新安全機制後的 0.2%;針對當前請求推理內容的提取成功率,則從 22.9% 降至 0.9%。測試結果彙總了 6 個攻擊模型的數據。爲實現上述防護,OpenAI 採用了多層措施,包括通過對抗性訓練讓模型識別並拒絕推理鏈提取請求,利用輸入和輸出分類器檢測相關攻擊及推理內容泄露,以及通過 API 限制不同會話、模型和組織之間的推理內容複用。IT之家附圖如下:其中,GPT-6.2 Astra 和 GPT-6.2 Sol 會將受保護的推理內容與生成它的對話歷史關聯起來。如果此前的消息被修改,API 會丟棄基於該消息生成的後續推理內容。此外,安全防護較弱的舊版模型也無法讀取這兩個新模型的受保護推理內容。在針對相關行爲的執法方面,OpenAI 稱,今年以來,公司每週都會對涉及未經授權蒸餾活動的賬號採取措施,規模從數千個到數萬個不等,今年夏季以來相關執法規模明顯增加。公司還會調查協調進行大規模提取的賬號網絡,並與其他模型提供商分享攻擊指標,以協助識別相關濫用行爲。OpenAI 還介紹了其對蒸餾安全風險的研究。公司內部測試發現,與僅使用模型最終回答、推理摘要和工具交互記錄訓練的學生模型相比,使用教師模型完整推理軌跡進行監督微調的學生模型,通常能夠獲得更好的網絡安全能力遷移效果。相關閱讀:《菲爾茲獎得主鄧煜評論 AI 公司反蒸餾:你不能只在你蒸餾全人類知識時支持蒸餾》《英偉達 CEO 黃仁勳回應 AI 模型蒸餾爭議:這是市場競爭行爲》《商務部回應美方所謂 AI 蒸餾指控:於事無憑於法無據,典型雙重標準》《消息稱張一鳴內部下死命令:就算模型暫時落後,字節跳動也不會依賴 AI 蒸餾技術》《微軟 CEO 納德拉批評 AI 模型公司“雙標”:一邊主張“合理使用”數據,一邊限制他人蒸餾》

Aggregator site: only the publisher's summary is shown here. Read the full story at the source.
Read full story →