寒武纪 Day 0 完成商汤 SenseNova Loop-9B 适配,打通新型循环计算架构推理链路
IT之家 11 月 18 日消息,商汤科技昨日晚间正式发布 SenseNova Loop-9B 模型。寒武纪官方宣布,已完成对商汤新发布模型日日新 SenseNova Loop-9B 的 Day 0 适配。据介绍,该模型通过 Loop 结构复用模型层的参数,并结合流形约束超连接(mHC),在有限的参数规模下扩展计算深度,面向复杂推理、代码、工具调用和多模态任务,进一步优化模型在 Agent、代码与数据分析任务中的表现,持续探索循环计算的能力边界。寒武纪表示,针对 SenseNova Loop-9B 的架构特点,寒武纪基于 vllm_mlu 完成 Day 0 适配,打通模型在 MLU 平台上的推理链路。本次适配主要围绕 Loop 循环结构、MLU 算子适配、mHC 路由优化三个方向展开。IT之家附三大方向具体适配内容如下:1. Loop 循环层展开:静态展开计算,复用标准推理机制Loop 循环结构是 SenseNova Loop-9B 模型适配的核心技术点之一。SenseNova Loop-9B 使用约 9B 的模型参数,通过循环执行共享的中间层,将 32 个物理解码层扩展为 56 次层计算。正是得益于 Loop 的高效循环结构,模型官方 4bit 量化后权重仅约 4.9GB,部署显存需求低至 10 GB 内,能显著拓宽可部署的硬件范围,有助于降低本地与私有化部署门槛。为了兼容 vLLM 现有的模型执行与调度机制,寒武纪采用静态展开方案,将循环计算转换为 56 个顺序执行的层,使模型能够复用 vLLM 标准调度和 KV cache 机制。在实现过程中,不同执行槽位的循环层共享同一份权重存储,显存占用与 32 层模型相同。2. MLU 算子适配:复用成熟算子实现,支持多模态推理针对模型中的 Attention、Linear Attention 和 MLP 等核心计算模块,寒武纪将其替换为 vllm_mlu 中已有的 Qwen3-Next 系列 MLU 算子实现,复用现有算子能力,从而快速实现模型适配。在多模态部分,复用 Qwen3.5-VL 的 MLUQwen3_VisionTransformer 和多模态 Processor,实现图像输入处理及视觉特征提取,打通文本与图像输入场景下的推理链路。3. mHC 路由性能优化:融合归一化计算,降低 Kernel Launch 开销mHC 是模型循环计算中的重要组成部分,其双流信息路由涉及归一化及 Sinkhorn 迭代计算,对算子执行效率提出了要求。针对 mHC 路由计算,寒武纪进行了专项优化:归一化优化: 通过 TMO 融合接口实现归一化计算,减少算子执行开销。Sinkhorn 优化:使用 CNAgent Triton Skill 自动生成 Triton 融合算子,将 Sinkhorn 计算整合为单个 Triton Kernel,减少多次 Kernel Launch 带来的调度开销。相关阅读:《商汤发布 SenseNova Loop-9B 模型:部署显存需求低至 10 GB 内》