米哈遊公佈通用視覺語言動作基礎模型 Gamer,可自主遊玩《崩壞:星穹鐵道》等遊戲
IT之家 11 月 17 日消息,米哈遊旗下《崩壞》系列 AI 研發團隊現已公佈通用視覺語言動作基礎模型“Gamer”。該模型能夠模擬真人操作方式自主遊玩 3D 和 2D 遊戲。根據研究論文及項目頁面公開的信息,Gamer 無需讀取遊戲內部數據,也不依賴遊戲專用 API,而是通過每秒 5 幀(5 Hz)的頻率採集遊戲畫面作爲輸入,再生成相當於 30 Hz 的原生鍵盤按鍵狀態及鼠標移動指令,從而模擬真人使用鍵鼠操作遊戲的過程。爲了解決長時間執行任務時面臨的內存限制和推理延遲問題,研究團隊利用超過 1 萬小時的跨遊戲鍵鼠操作軌跡進行持續預訓練,並結合稀疏思維指令微調和時序感知強化學習優化模型。此外,團隊還專門開發了名爲“Streaming-vLLM”的推理引擎。在 NVIDIA H200 硬件環境下,該引擎將端到端請求延遲從 1306 毫秒大幅降低至 65.12 毫秒。研究團隊還展示了 Gamer 在《崩壞:星穹鐵道》中執行主線任務、探索場景及完成解謎挑戰的實機演示。測試數據顯示,經過強化學習訓練的 Gamer-RL 在 40 項此前未接觸過的小遊戲任務中,平均成功率達到 49.7%,表現優於未經微調的通用模型。針對外界擔憂該技術可能被用於開發遊戲外掛和自動化腳本,研究團隊強調,Gamer 是一項旨在探索交互環境通用智能代理的學術研究項目,潛在應用方向包括遊戲測試、無障礙輔助以及人機交互研究。團隊明確表示,不支持將 Gamer 用於遊戲作弊、未經授權訪問、利用安全漏洞,以及任何損害用戶利益或破壞遊戲公平性的行爲。出於數據安全方面的考慮,米哈遊研究團隊目前僅公開了項目早期基礎預訓練研究階段使用的通用文件,並未公開任何《崩壞:星穹鐵道》相關訓練數據,也沒有發佈使用該遊戲數據訓練或微調後的模型權重。