【AI】寒武紀:已同步適配DS最新模型並開源推理引擎vLL…

　　《經濟通通訊社30日專訊》昨日DeepSeek宣布正式發布DeepSeek-V3.2-Exp模型僅4分鍾後,寒武紀(688256-CN)旗下微信公眾號發文稱,寒武紀已同步實現對深度求索公司最新模型DeepSeek-V3.2-Exp的適配,並開源大模型推理引擎vLLM-MLU源代碼。

　　寒武紀表示,公司一直高度重視大模型軟件生態建設,支持以DeepSeek為代表的所有主流開源大模型。借助長期活躍的生態建設和技術積累,寒武紀得以快速實現對DeepSeek-V3.2-Exp這一全新實驗性模型架構的day　0適配和優化。此外,公司一直重視芯片和算法的聯合創新,致力於以軟硬件協同的方式,優化大模型部署性能,降低部署成本。

　　此前,寒武紀對DeepSeek系列模型進行了深入的軟硬件協同性能優化。針對本次的DeepSeek-V3.2-Exp新模型架構,寒武紀通過Triton算子開發實現了快速適配,利用BangC融合算子開發實現了極致性能優化。寒武紀強調,依托DeepSeek-V3.2-Exp帶來的全新DeepSeek　Sparse　Attention機制,疊加寒武紀的極致計算效率,可大幅降低長序列場景下的訓推成本。

(wn)