每秒輸出最高 43 詞元:Garlic LLM 可讓越獄 PS4 運行 9B 參數本地 AI 模型
IT之家 11 月 17 日消息,科技媒體 Gigazine 今天(11 月 17 日)發佈博文,報道稱開源項目 Garlic LLM 可以讓越獄版 PlayStation 4 運行 90 億參數的本地大語言模型,最高生成速度可達每秒 43 個詞元(Token),且無需聯網即可完成 AI 聊天與語音對話。該項目由開發者 Leonardo Alegria 創建,技術實現上是繞過 PS4 原本面向遊戲圖形處理的驅動程序,直接向其 AMD GCN 架構 GPU 下達底層指令,把遊戲主機變成一臺可運行 AI 推理的“離線電腦”。由於 PS4 並未提供非官方程序調用的通用 GPU 計算接口或機器學習庫,開發者自行開發 GPU 相關指令,讓 PS4 遊戲主機運行本地模型。爲了適配 PS4 有限的內存,Garlic LLM 採用阿里巴巴的 Qwen3.5-9B 模型基座,並將模型權重壓縮爲 3 位或 4 位量化格式,連同加速數據整體控制在約 4.5 GiB,並使用“推測解碼”(MTP)技術,在生成文本時預先採樣並驗證多個詞元來提高輸出效率。實際測試顯示,普通文本生成速度約爲每秒 31 至 39 個詞元;生成程序代碼時最高可達每秒 43 個詞元,模型可處理約 16,000 個詞元的上下文窗口。除文字聊天外,Garlic LLM 還支持語音輸入與語音對話,分別使用 Parakeet TDT 0.6B v3 進行語音識別,並採用 Chatterbox 進行語音合成。它還可在 PS4 上執行 AI 生成的 Python 代碼,並提供“思考模式”,讓模型在回答前先進行推理。不過,啓用語音對話會佔用更多內存,文本生成速度會降至約每秒 22 個詞元。IT之家附上參考地址Garlic LLM 官網leonardo-alegria/garlic-llm