寒武紀 Day 0 完成商湯 SenseNova Loop-9B 適配,打通新型循環計算架構推理鏈路
IT之家 11 月 18 日消息,商湯科技昨日晚間正式發佈 SenseNova Loop-9B 模型。寒武紀官方宣佈,已完成對商湯新發布模型日日新 SenseNova Loop-9B 的 Day 0 適配。據介紹,該模型通過 Loop 結構複用模型層的參數,並結合流形約束超連接(mHC),在有限的參數規模下擴展計算深度,面向複雜推理、代碼、工具調用和多模態任務,進一步優化模型在 Agent、代碼與數據分析任務中的表現,持續探索循環計算的能力邊界。寒武紀表示,針對 SenseNova Loop-9B 的架構特點,寒武紀基於 vllm_mlu 完成 Day 0 適配,打通模型在 MLU 平臺上的推理鏈路。本次適配主要圍繞 Loop 循環結構、MLU 算子適配、mHC 路由優化三個方向展開。IT之家附三大方向具體適配內容如下:1. Loop 循環層展開:靜態展開計算,複用標準推理機制Loop 循環結構是 SenseNova Loop-9B 模型適配的核心技術點之一。SenseNova Loop-9B 使用約 9B 的模型參數,通過循環執行共享的中間層,將 32 個物理解碼層擴展爲 56 次層計算。正是得益於 Loop 的高效循環結構,模型官方 4bit 量化後權重僅約 4.9GB,部署顯存需求低至 10 GB 內,能顯著拓寬可部署的硬件範圍,有助於降低本地與私有化部署門檻。爲了兼容 vLLM 現有的模型執行與調度機制,寒武紀採用靜態展開方案,將循環計算轉換爲 56 個順序執行的層,使模型能夠複用 vLLM 標準調度和 KV cache 機制。在實現過程中,不同執行槽位的循環層共享同一份權重存儲,顯存佔用與 32 層模型相同。2. MLU 算子適配:複用成熟算子實現,支持多模態推理針對模型中的 Attention、Linear Attention 和 MLP 等核心計算模塊,寒武紀將其替換爲 vllm_mlu 中已有的 Qwen3-Next 系列 MLU 算子實現,複用現有算子能力,從而快速實現模型適配。在多模態部分,複用 Qwen3.5-VL 的 MLUQwen3_VisionTransformer 和多模態 Processor,實現圖像輸入處理及視覺特徵提取,打通文本與圖像輸入場景下的推理鏈路。3. mHC 路由性能優化:融合歸一化計算,降低 Kernel Launch 開銷mHC 是模型循環計算中的重要組成部分,其雙流信息路由涉及歸一化及 Sinkhorn 迭代計算,對算子執行效率提出了要求。針對 mHC 路由計算,寒武紀進行了專項優化:歸一化優化: 通過 TMO 融合接口實現歸一化計算,減少算子執行開銷。Sinkhorn 優化:使用 CNAgent Triton Skill 自動生成 Triton 融合算子,將 Sinkhorn 計算整合爲單個 Triton Kernel,減少多次 Kernel Launch 帶來的調度開銷。相關閱讀:《商湯發佈 SenseNova Loop-9B 模型:部署顯存需求低至 10 GB 內》