12 張二手英偉達 V100:律師自建 AI 集羣跑 DeepSeek,最高每秒 184 個詞元
IT之家 11 月 21 日消息,律師 u/TumbleweedNew6515 昨日(11 月 20 日)在 Reddit 社區發帖,斥資 9,450 美元(IT之家注:現匯率約合 63,239 元人民幣)使用 12 張二手英偉達 V100 顯卡搭建私人 AI 服務器,本地運行 DeepSeek-V4.1-Flash,集羣最高吞吐量達到每秒 184 個詞元。在硬件部分,該律師使用 12 張英偉達 NVIDIA Tesla V100 SXM2 32GB 搭建,通過 NVLink 與 PCIe 組成可協同推理的本地 AI 集羣,整套硬件採購價約 9,450 美元(現匯率約合 63,239 元人民幣)。這套系統採用 3 個流水線階段(PP3)× 每階段 4 卡張量並行(TP4)的結構,系統運行的是 DeepSeek-V4.1-Flash,並採用 4-bit NVFP4 量化。發帖者稱,每個專家被壓縮至約 15,360 個參數,使 12 張 V100 能分別承載模型中的專家分片。配置3× DGX Spark(TP3、SGLang、MXFP4 專家)4× DGX Spark(TP4;三堆疊)12× V100(本次配置)單請求,代碼未發佈125(SGLang)/ 138(TensorFold 4.0 bpw)/ 136(vLLM + DSpark)153–184 單請求,普通文本38–5179–8883–95 預填充,長提示詞約 2,0003,100–3,300(TensorFold)/ 4,900–5,000(SGLang,真實文本)/ 8,500(vLLM + DSpark,32K–128K)4,500–4,700 多請求4 個流合計 8532 個流時 290(TensorFold)/ 16 個流時 340–570(SGLang,從散文到結構化)3 個流時 344–443;它不是批量解碼引擎上下文配置爲 256K1M配置爲 524K性能方面,該網友的測試結果如下:上下文長度首個 token(冷啓動)預填充速度(tok/s)代碼法律普通文本三個代碼請求合計首個 token(文檔已緩存)1K0.7 秒1,567184102864430.2 秒8K2.5 秒3,26717693904210.2 秒32K7.3 秒4,47817692954040.3 秒64K13.9 秒4,69715793833640.3 秒128K28.1 秒4,67015793863600.4 秒256K58.0 秒4,51815392853440.6 秒這位用戶稱,在單請求、單流場景下,該服務器優於已公開的 4 臺英偉達 DGX Spark 組合,代碼生成速度快約 15% 至 45%,普通文本生成速度也更高。整套系統成本約 9,450 美元(現匯率約合 63,239 元人民幣),約爲三臺 DGX Spark 組合價格的一半;不過,其代價是功耗最高可達約 2,100W,且噪音較大,並不適合普通辦公環境。參考Lawyer with too many GPUs: DeepSeek-V4.1-Flash on 12x V100, all 15,360 experts in NVFP4 on the cards. 157-184 tok/s on one code stream, faster than any published 4x DGX Spark stack and double 3 Sparks, for half the price of 3 Sparks. 128K file read in 28 s.