OpenAI 推出 MedChemBench 基準,評估 AI 輔助藥物研發能力
IT之家 11 月 21 日消息,當地時間 11 月 20 日,OpenAI 發佈 MedChemBench 基準,用於評估 AI 模型在藥物化學研究中的推理能力,包括識別分子結構、解讀實驗結果、比較化合物及預測其性質等。OpenAI 表示,模型在重建分子結構和解釋實驗依據方面表現較強,但在化合物篩選和數值性質預測方面仍有明顯提升空間。IT之家從官方介紹獲悉,該基準包含 99 道題目,取自 117 篇論文與專利,涉及 761 個不同分子結構。多數題目向模型提供研究進行到某一節點時的上下文,包括生物靶點、研究人員的目標、此前研究過的化合物與部分實驗結果。官方將評測分爲四個部分,IT之家附具體內容如下:分子結構:依據題目給出的結構圖與化學基團組裝分子,考察原子連接與立體化學是否正確;科學解釋:解釋需由給定證據支撐,例如爲何在若干化合物中選擇某一個;排序與選擇:化合物排序與最終選擇是否符合題目要求;性質預測:與原始材料給出的數值、類別是否一致,涵蓋實測與計算得到的分子性質。據官方公佈信息,在 xhigh 推理檔下,GPT-6.2 Astra 獲得 84.5% 的可用分數,GPT-6 Astra 爲 83.3%,GPT-6.1 Sol 爲 82.0%,GPT-5.6 Sol 爲 58.2%。官方稱,提高推理檔位可帶來分數提升,但模型之間的差距依然明顯。分項表現上,Astra 在 xhigh 檔的分子結構部分拿到 95.4% 的可用分數,而在化合物選擇與數值性質預測兩項上僅獲約一半分數。官方舉例稱,一道題目要求模型以給定中心結構與兩個側基組裝分子,並保留一個 18 原子環。在 11 個模型共用的 xhigh 檔下,GPT-6 Astra 的十次回答全部正確;GPT-5.6 Sol 與 GPT-5.6 Luna 十次全部出錯,前者組裝出的環只有 15 個原子,後者把分子拆成兩個互不相連的片段。另一道題取材於 PRMT5 抑制劑研究,PRMT5 是腫瘤藥物研發中受到關注的蛋白。模型需要預測三種相關化合物在細胞內阻斷 PRMT5 的強度、穿過細胞屏障的難易,以及在實驗室檢測中被肝酶降解的速度。官方在題目中隱去的後續實驗顯示存在取捨:化合物 23 在更低濃度下即可在細胞內阻斷 PRMT5,化合物 24 更易穿過細胞屏障,在肝酶檢測中的降解速度也更慢。官方表示,這些結果並不能確定模型是否能夠發現新藥或改善實驗室決策。不能排除之前接觸過已發表資料的可能性,每一次回應都是一次沒有工具、沒有反饋或新實驗的嘗試。雖然基準測試基於歷史證據而非真實藥物發現,其結果有助於識別模型在哪些方面進展,哪些仍面臨挑戰。團隊相信 MedChemBench 將支持持續的進步,並期待隨着模型的進步與應用領域分享最新進展。