華為中國宣佈昇騰晶片完成 Kimi K3.1 Pro 零日推理適配

11 月 4 日，月之暗面正式公佈 Kimi K3.1 Pro 的完整模型權重。11 月 5 日，華為中國宣佈，昇騰基於 vLLM Ascend 與 SGLang 完成 0Day 推理適配，支持昇騰 Atlas 800 A3、Atlas 900 A3 SuperPod 超節點以及昇騰 950 超節點系列產品部署該模型。圍繞 Kimi K3.1 Pro 新增的稀疏注意力、百萬級上下文與推理服務需求，昇騰在算子與框架層面做了協同優化，讓用戶在模型發布首日就能開展部署與應用驗證。

Kimi K3.1 Pro 是 K3.1 系列的首個模型，擁有 2.8 萬億參數，原生支持視覺理解，上下文窗口達到 100 萬 token，並在 K3 基礎上擴大了後訓練規模，能力提升集中在代碼開發、3D 創作、金融研究、事實準確性與長程智能體任務。它在計算架構上採用混合線性注意力，把 KDA 線性注意力層與 DSA 稀疏注意力層組合使用——要真正發揮這套架構的算力優勢，算子執行、緩存管理與跨卡通信必須一起調整，這也是適配工作的難點所在。

昇騰針對 Kimi K3.1 Pro 進行了多項優化

昇騰推理團隊此前已有 Kimi K3 的適配積累，這次提前做了模型分析，在既有 KDA 與 MoE 支持的基礎上，補充了 K3.1 Pro 新增的稀疏注意力路徑與多模態推理。落到算子層面有幾處具體改動：QLI 量化索引器負責從歷史 token 中篩選候選，昇騰把因果邊界判斷下沉到索引算子，直接確定當前查詢可訪問的歷史範圍，減少框架側的輔助操作，並讓多個 DSA 層共用的元數據按組生成、跨層復用；QSFA 量化稀疏注意力按模型實際使用的注意力頭數與輸入佈局優化，減少填充、拆分與拼接，對沒有有效候選的查詢直接跳過計算；

注意力預處理則接入 MLAPO 融合算子，把投影、歸一化與量化合併執行，有效 KV 直接寫入分頁緩存，省掉獨立算子啟動與二次寫入。

長上下文的顯存問題是另一道坎。隨著序列變長，歷史緩存佔用持續上升，昇騰通過解碼上下文並行（DCP）把主注意力的 KV 緩存與索引器的 K 緩存按 token 分片存到多張卡上，各卡先基於本地 K 緩存篩選候選，再交換資訊確定全局 Top-K，無需為篩選匯集完整歷史緩存，從而支撐 1M 超長序列部署。框架側，前綴緩存、分塊預填充、PD 分離與內存池化等能力繼續可用，並疊加 MRV2、異步調度與 DSpark 投機推理。

量化部署上，Attention 線性層與 MoE 共享專家採用 W8A8（MXFP）動態量化，MoE 路由專家採用 W4A8（MXFP）動態量化，配合動態 C8 注意力緩存量化，進一步壓低存儲與顯存開銷。相關部署指導已在 vLLM Ascend 與 SGLang 文檔中公開。