Newsora
雷峯網11/18 13:31 · 2h ago

海外算力通道收窄!衆智 FlagOS × 清昴智能,助力國芯高性能上線商用 Token 工廠

11 月 16 日,美國商務部工業與安全局(BIS)最新出口管制政策正式落地,將限制範圍從芯片實物進一步延伸至遠程算力訪問,旨在封堵中國企業通過海外數據中心獲取先進 AI 算力的路徑。 這一外部變量正在迅速傳導至國內算力供給側。對於正在興起的“國芯 Token 工廠”而言,海外算力通道的收窄在需求側倒逼本土算力加快承接真實業務;但在供給側,國產推理芯片在製造與封裝環節同樣面臨更嚴苛的審查。硬件供給依然緊俏,產業界不得不直面一個更迫切的工程命題:在現有的國產新卡與海量存量集羣之上,如何把每一張卡榨出更高、更穩、算得平經濟賬的“有效 Token 產能”? 11 月 17 日,在“國芯國模 自主生態”2026 清昴 AI 夥伴大會暨 Token 工廠年會上,北京智源人工智能研究院與清昴智能聯合發佈“國產 Token 工廠端到端推理優化方案”,基於衆智FlagOS(開源多芯片統一AI系統軟件棧)正式上線基於國產芯片的商用Token 工廠。 “剪刀差”下的算力困局:電價邏輯與生態割裂 “大模型在上半場已經證明了我們可以打造出世界級的模型。但下半場更重要的是,如何把這些模型的能力變成高質量、低成本、穩定供給的、有價值的 Token 能力。”林詠華在開場演講中指出,隨着大模型首次以“Token 產能”的形態進入一線產業衡量體系,兩個現實矛盾正在凸顯。 首先是模型迭代與硬件基建之間的“週期剪刀差”。如今主流大模型幾乎以月甚至以周爲單位更新架構,但底層算力基礎設施往往兩到三年纔會更新換代一批。如果軟件層跟不上,昂貴的硬件剛部署不久就會面臨跑不動新模型的尷尬。 其次是算力成本與供應鏈安全。林詠華用工業時代的“電價”作比:中國製造業的競爭力很大程度上源於低電價,而電力供應的底氣來自九成以上依賴本土煤炭的能源結構;推演到智能時代,行業期盼的是親民的百萬 Token 單價,而供應鏈安全的底氣,則取決於底層算力供給能否紮根國內。 但硬件側是按卡、按規模採購,應用側要的卻是按秒交付的 Token。正如清昴智能創始人兼 CEO 關超宇在會上所言,兩者之間亟需一座高效“翻譯器”,將閒置、異構、難用的國產算力組織成可計量、高可靠的標準化產能。 “無論在 CPU 時代還是 AI 芯片時代,都不可能由一款芯片包攬天下。”林詠華認爲,國內並不缺少優秀的芯片廠商,真正稀缺的是能夠讓所有硬件共享的軟硬件協同生態。李炎在隨後的分享中也點破了工程團隊的切身痛點:面對百花齊放的模型與芯片,產業不能每發佈一個模型、每推出一款芯片就從頭做一次底層適配與算子重寫。 這也正是智源過去四年聯合高校與芯片廠商持續推進開源 FlagOS 的初衷——用一套開放、統一、可複用的系統軟件棧,讓同一套算子與編譯系統在不同硬件上共享優化經驗。截至目前,FlagOS 生態已匯聚 21 家芯片企業與 86 家生態夥伴,覆蓋 35 款 AI 芯片。其底層由通用算子庫 FlagGems、訓推並行框架 FlagScale、統一編譯器 FlagTree 與統一通信庫 FlagCX 構成,9 大算子庫累計沉澱超過 1,454 個開源 Triton 算子,其中近八百個算子在至少 5 款國產芯片上達到了原生算子 80% 以上的性能。在框架層面,智源堅持不 fork 上游代碼庫,而是通過插件化機制零侵入接入 vLLM、SGLang、Megatron-LM 等主流社區生態,實現了單個代碼倉庫覆蓋 20 家廠商後端,並在過去半年多次完成新模型發佈當天(Day0)即同步跑通多達 12 款芯片的驗證。 深入微秒級內核:衆智FlagOS把國產新卡跑進商業生產線 對於追求商業盈利的 Token 工廠而言,模型“能跑通”只是及格線,能否把延遲壓低、吞吐拉高,纔是決定服務質量與盈利空間的關鍵。 在此次聯合發佈的“國產 Token 工廠端到端推理優化方案”中,智源團隊直接將優化推進到了華爲昇騰 910C 集羣的微秒級內核,主攻智譜 GLM-5.3 與 GLM-5.3-Flash 模型。李炎介紹,大模型推理在計算密集的 Prefill 階段和訪存密集的 Decode 階段瓶頸截然不同,必須對症下藥。 在 Prefill 階段,針對 GLM-5.3-Flash 的混合注意力架構,團隊重構了大小塊計算路徑,協調芯片內部的向量與矩陣計算單元並行分工,省去了中間結果的頻繁片外搬運。在 81,920 輸入長度、16 併發的測試中,波次吞吐提升了 3.41%;在 256K 超長輸入下,TTFT p50下降了 4.94%。 到了受訪存帶寬掣肘最嚴重的 Decode 階段,團隊對碎片化的算子進行了深度融合——通過 LI 量化寫回技術,將原本分步執行的動態量化、尺度轉換與HBM緩存寫回合併進同一個內核。在 910C 微基準測試中,這一改造將原本 18.03 微秒的原生鏈路耗時壓縮至 2.04 微秒,實現接近 9 倍的提速;疊加針對小批量輸入的向量路徑定製,在端到端商業場景實測中,Decode 階段的ITL整體下降超過 10%,TPOT降低 8% 以上。 這種不依賴堆疊硬件、純粹通過底層內核重構釋放出的性能紅利,正在幫助清昴智能的 Token 工廠在同等算力規模下承接更高的併發商業流量。 盤活存量 910B:讓老卡扛起 1M 長上下文 相比最新一代芯片上的性能衝刺,國內算力中心面臨的另一個更現實的難題在於存量資產。市場上已經部署了大量昇騰 910B 服務器,但面對動輒支持百萬(1M)上下文的新一代模型,老卡往往面臨顯存與算力的雙重告急。 “GLM-5.3-Flash 和 DeepSeek-V4.1-Flash 這樣的 Flash 類模型,其實是國產存量卡的天選之子。”李炎在現場提出了一個務實的判斷。與其等待漫長的硬件換代,不如用系統軟件架構把存量 910B 的潛力挖透。 在智源內部的 BAAI Token Hub 上,團隊基於 FlagOS 全棧將 48 張存量 910B 組織爲“Prefill與Decode分離”的推理集羣,穩定跑通了支持 1M 上下文的 GLM-5.3-Flash 服務。32 張卡組成 4 個 Prefill 域專門消化長序列輸入,另外 16 張卡組成 8 個 Decode 域專注保障多併發流式輸出。該服務已連續穩定運行兩週,線上TTFT P50保持在 2.3 秒左右,TPOT P50穩定在 22 毫秒。 更進一步的效率躍升來自緩存與搬運鏈路的重構。團隊在框架插件側打通了跨 Prefill 域的 Prefix Cache 複用,將緩存拆分爲本地顯存、私有主機內存與共享主機內存三級存儲,並結合分段 SDMA 優化,把零散的內存頁合併成連續傳輸段以拉高 PCIe 帶寬利用率。實測數據顯示,這一方案將前綴命中率從 82.65% 推升至 94.15%,推動複用階段的首字時延中位數從 16.63 秒下降至 3.10 秒,降幅高達 81.4%。 這意味着,企業與科研院所手中大批存量 910B 集羣無需推倒重建,通過軟件棧升級即可直接具備承接長上下文商業服務的能力。林詠華還在現場透露,基於 FlagOS 統一技術棧,智源僅用兩週時間便完成了對華爲 910B-T 芯片關鍵大模型算子的適配與性能優化。 多芯橫向印證與生態“保駕護航” 在智源看來,統一軟件棧的價值不能只在單一芯片上得到驗證。峯會現場公佈的多芯橫向實測顯示,在平頭哥 810E 上,FlagOS 2.2 幫助 DeepSeek-V4.1-Flash 推理性能提升 77% 至 82%,實現 16 路併發可用、最高支持 80 併發,每請求解碼速度達到 136.2 tok/s;在海光 BW1100 上,GLM-5.3-Flash 的推理性能也提升了 25% 以上,多併發下單路吞吐突破 80 TPS。 從底層算子庫、編譯器到跨芯片調度插件,此次智源作爲首批戰略伙伴深度參與聯合發佈,正是希望將開源社區沉澱的優化能力,直接輸送給一線 Token 工廠與終端企業。 正如林詠華在演講最後對產業夥伴作出的承諾——智源與開源社區扮演的正是“保駕護航”的角色:“無論你手裏是已經運行多年的存量集羣,還是正在部署的新一代芯片,乃至未來即將問世的新架構硬件,都不用擔心上面運行不了最新的模型。”在算力競爭轉向比拼“有效 Token”的當下,一個開放、可複用的系統軟件底座,正在成爲國產算力打破週期束縛的關鍵支點。

Aggregator site: only the publisher's summary is shown here. Read the full story at the source.
Read full story →