Newsora
IT之家11/20 15:02 · 21m ago

約 14MB 內存運行 2.7 億參數模型:谷歌工程師把 AI 裝進打印機,每詞元耗時約 60 秒

IT之家 11 月 20 日消息,谷歌 DeepMind 技術團隊成員奧馬爾 · 聖塞維耶羅(Omar Sanseviero)於 11 月 17 日在 X 平臺發佈推文,在只佔用 14.1MB 內存的情況下,成功讓辦公激光打印機運行 2.7 億參數的 Gemma 3 270M 模型,每輸出一個詞元(Token)消耗約 60 秒。聖塞維耶羅藉助谷歌的 Gemini 4 Carbon 模型,探索展示了一個特別實驗,將小型 Transformer 推理引擎與量化後的模型編譯成一個 PostScript 打印任務。本次實驗沒有修改理光打印機固件,也未加裝外部計算板,而是利用打印機內置的 PostScript 解釋器執行計算,讓原本用於描述打印頁面的語言承擔起運行 AI 的工作。爲充分發揮打印機有限的內存資源,本次實驗並未一次性裝下整個模型,改爲採用動態層加載方式,輪流將模型各層調入、移出內存,該實驗運行時峯值佔用約爲 14.1MB。IT之家附上相關截圖如下:性能輸出方面,本次實驗處理速度約爲每個詞元 60 秒(不是每秒 60 個詞元)。報道稱整個計算發生在打印機內部,由打印機的 CPU 執行 PostScript 程序,再把答案交給打印機打印,模型推理涉及 18 個 Transformer 網絡層。在預填充(prefill)階段,處理輸入提示“Read the fine”耗時約 184 秒,而解碼(decode)單個生成詞元耗時 0.1 秒,總計 184.1 秒。

Aggregator site: only the publisher's summary is shown here. Read the full story at the source.
Read full story →