Newsora
IT之家11/17 09:49 · 13m ago

OpenAI 推出兒童性虐待內容檢測工具,加強兒童網絡安全防護

IT之家 11 月 17 日消息,OpenAI 昨天宣佈推出兒童性虐待內容(CSAM)檢測工具。該產品可中斷有害行爲,同時提供干預措施,併爲負責兒童安全案件的執法調查人員提供支持。該工具將通過 OpenAI API,向經過審覈的機構免費開放。據介紹,OpenAI 已推出全新的圖像分類器,用於檢測潛在的兒童性虐待內容。該分類器會尋找虐待行爲的視覺特徵,幫助審覈團隊識別未曾見過的新圖像,同時提供評分功能,幫助審覈人員判斷哪些圖像可能需要優先處理。美國國家失蹤與受剝削兒童中心(NCMEC)在該工具的開發過程中提供支持,協助 OpenAI 完成訓練、評估和實際部署工作。同時該工具相比現有保護措施,可減少 48% 誤標記圖像數量。在標記的圖像中,實際包含性虐待內容的可能性約爲原來的兩倍。invideo AI 測試顯示,每四個被標記的案例中,就有一個最終被封禁。此外,OpenAI 將在 ChatGPT 中新增產品警告。當用戶試圖尋找性虐待素材時,系統會中斷相關操作、說明後果,並引導用戶尋求幫助,以停止有害行爲。一旦用戶發出相關請求,他的 ChatGPT 賬號將被暫時停用 24 小時,反覆違規可能導致更長時間的封號,最終永封或被舉報至有關部門。OpenAI 已經與 Anthropic 和谷歌合作,共同委託制定一份關於如何應對 AI 系統中兒童性剝削與性侵害披露的新指南。該指南最近已由 Tech Coalition 發佈,爲開發者處理這些敏感情況提供了實用建議。

Aggregator site: only the publisher's summary is shown here. Read the full story at the source.
Read full story →