Newsora
IT之家11/20 16:25 · 2m ago

微軟公佈 USB4 多 Win11 電腦協同 AI 方案,搭積木式疊加內存 / 顯卡算力跑本地模型

IT之家 11 月 20 日消息,微軟昨日(11 月 19 日)發佈博文,宣佈以開發者預覽方式,推出基於 USB4 的遠程直接內存訪問(RDMA)體驗,實現多臺 Windows 11 電腦合力跑 AI 模型體驗。IT之家注:RDMA 是讓一臺電腦能夠高效地向另一臺電腦中獲授權的內存區域讀寫數據,減少操作系統和 CPU 在數據搬運過程中的介入,主要優勢是低延遲、高吞吐和較低的 CPU 佔用。根據官方描述,兩臺或多臺符合要求的電腦通過 USB4 線纜連接後,無需另購專用 RDMA 網卡或配置交換機,可藉助兼容的推理框架,調動各自的內存和 GPU 算力,共同運行一個 AI 模型。在延遲方面,微軟測試顯示,在單次傳輸數據量較小的情況下,電腦間通信的往返延遲約爲 28 至 50 微秒,僅爲同一 USB4 鏈路上傳統以太網 UDP 方式的四分之一。初步測試中,微軟使用三臺各配 128GB 統一內存的 AMD 迷你電腦,通過 40Gbps USB4 連接,運行 4 位量化的 2350 億參數 Qwen3 模型,生成速度約爲每秒 18.5 個詞元;AMD 自測約爲 22 個。在三臺搭載 AMD Ryzen AI Max+ 395 處理器的迷你電腦上,通過 USB4 實現 RDMA 性能:測試方模型與量化方式上下文長度 / 生成詞元數解碼速度(詞元 / 秒)提示詞處理速度(詞元 / 秒)AMDQwen3-235B-A22B,4 位量化(Q4_K_M)1,600 / 2,04821.98117.98英特爾則以四臺各配 64GB 內存的酷睿 Ultra Series 3 電腦運行 GPT-OSS-120B,在約 1000 詞元上下文下達到每秒 54.2 個詞元。電腦數量(臺)上下文長度(詞元)首個詞元生成時間(秒)解碼速度(詞元 / 秒)31K1.149.441K1.254.232K2.949.442K3.251.7

Aggregator site: only the publisher's summary is shown here. Read the full story at the source.
Read full story →