開發者將微型 Transformer 模型塞進軟盤,讓 486 老電腦也能用上 AI
IT之家 11 月 22 日消息,開發者 WollyMonjac 完成了一項頗具復古科技色彩的項目:將一個語言模型塞進軟盤,讓運行 DOS 系統的 486DX 和 Pentium 老電腦也能使用 AI。不過需要說明的是,WollyMonjac 開發的 Tiny 2.1 並不是大型語言模型(LLM)。儘管它採用了與大型模型相同的 Transformer 架構,但開發者對它的定位相當樸素:一個使用 Turbo C 2.0 編寫的微型問答 Transformer 模型。在 486 電腦時代,普通 PC 格式化軟盤的存儲容量還不到 147.5 萬字節,因此想要在如此有限的空間內運行現代 AI 軟件並不容易。Tiny 2.1 則儘可能壓縮模型體積,最終實現了以下配置:參數量:36.7 萬個,採用 4 層網絡結構,隱藏維度爲 96,逐字母讀取和生成內容。權重精度:8 位量化,每行使用一個縮放係數,模型總大小約爲 380 KB。訓練數據:約 3500 條事實信息,每條信息都採用多種不同的問法進行訓練。要在老式 PC 上運行 Tiny 2.1,用戶需要確保系統擁有約 540 KB 的可用常規內存。IT之家注意到,這款軟件的界面設計也相當完整,包含對話歷史窗口、神經網絡監控面板,以及用於輸入問題的 Ask Tiny 窗口。按照 DOS 軟件的傳統習慣,界面還提供了一系列 F 鍵快捷操作。此外,這款軟件還有一個頗具復古未來主義色彩的功能:通過 PC 內置揚聲器,以機器人語音朗讀模型生成的回答。開發者對這款 DOS 程序的定位顯然十分謙遜。GitHub 項目頁面介紹稱,該軟件由 Fable 5.2 編寫,並由 Opus 5.5 訓練。WollyMonjac 還開玩笑地承認,除了訓練數據涉及的知識之外,這個語言模型“會非常自信地編造內容”。近幾個月,外界對大型語言模型幻覺問題的討論有所減少,但放在這款復古 AI 項目上,這種一本正經地胡說八道的能力反倒有些像一項有趣的功能。如果用戶覺得 Tiny 2.1 的知識儲備不夠豐富,WollyMonjac 還在採用 MIT 許可證發佈的軟件包中提供了專門的訓練文件夾。有興趣的用戶可以自行補充訓練數據,打造一個專門針對自己感興趣領域的問答 Transformer 模型。如今,讓老軟件運行在全新的電腦硬件上已經不是什麼難事。但反過來,讓現代軟件和遊戲運行在幾十年前的老硬件上,同樣正在成爲一股有趣的開發趨勢。除了此次受到關注的 Tiny 2.1,此前也出現過不少類似項目。例如,有開發者爲 DOS 系統製作了 ChatGPT 客戶端,讓 1984 年推出的 IBM PC 也能使用 ChatGPT;有人成功讓《我的世界》在 Game Boy 上運行;有人利用生成式 AI 爲 Commodore 64 生成 8×8 像素精靈圖;甚至還有開發者將《毀滅戰士》(Doom)移植到了 Atari ST 電腦上。這些項目雖然實用價值有限,卻展示了開發者如何突破老舊硬件的性能和存儲限制,讓現代技術與經典計算設備產生有趣的碰撞。