德國人工智能聯盟發佈開源大語言模型 Soofi S 30B-A3B 於基準測試中表現優異

近日，由德國人工智能協會協調的一個研究聯盟發布了開源大語言模型 Soofi S 30B-A3B，該模型在德國電信位於慕尼黑的工業 AI 雲基礎設施上完成了全部訓練。根據其預訓練報告，Soofi S 在英語和德語的基準測試中均取得了完全開源模型中的最高分，超越了此前領先的 OLMo 3 32B 和 Apertus 70B 等模型。Soofi S 採用混合專家架構，總參數量為 316 億，但每個生成 token 僅激活約 32 億參數，實際計算成本更加接近 30 億規模的稠密模型。

該聯盟直接採用了英偉達 Nemotron 3 Nano 的混合架構設計，將 Mamba-2 層與標準注意力層相結合。與傳統 Transformer 模型相比，其核心差異在於內存行為——常規模型的 KV 緩存隨上下文長度線性增長，在長輸入和多請求並行時容易成為瓶頸，而 Soofi S 的 52 層中僅有 6 層需要維護此類緩存。在實際生成吞吐量方面，當上下文長度為 40000 個 token 且並行請求數為 32 時，Soofi S 的每 GPU 每秒生成 token 數約為 140 億至 240 億參數規模稠密模型的 8 倍。

從 4000 到 256000 個 token 的上下文範圍內，Soofi S 的吞吐量幾乎保持平穩，而常規模型則顯著下降。

Soofi S 在多語言基準測試中表現優異

在測試數據中，僅有阿里巴巴的 Qwen3.5 35B-A3B 表現出類似特性，後者同樣採用了混合架構。訓練數據方面，聯盟共處理了約 27 萬億個 token，分為三個階段。第一階段使用約 20 萬億個 token，來源涵蓋網頁、代碼、數學和領域特定文本的廣泛混合，用於建立語言基礎。第二階段使用約 6 萬億個更高質量的 token，以強化已學習到的模式。第三階段則通過訓練長達 100 萬個 token 的超長文檔來擴展上下文窗口。

德語數據在整個訓練中的佔比被刻意提升，第一階段佔 7.2%，第二階段升至 15.3%。相比之下，英偉達 Nemotron 的參考配方中，所有非英語語言合計僅佔約 5%。數據來源包括 HPLT 德語網頁文本、德國公共領域語料庫、FinePDFs 和 FineWiki 的德語部分，以及 Genios 商業語料庫中來自 916 家德國出版物的 1.93 億篇報紙文章，輔以機器翻譯和合成生成的德語文本。

在針對 16 個開源模型的評估中，Soofi S 在德語和英語的 aggregate 分數上均領先於所有完全開源模型，包括艾倫人工智能研究所的 OLMo 3 32B 和蘇黎世聯邦理工學院及洛桑聯邦理工學院的 Apertus 70B。在歐洲主權基線模型中，Soofi S 在所有德語基準測試中均排名第一，部分項目的領先優勢達到兩位數。

在代碼能力方面，Soofi S 在 HumanEval 上得分 73.8%，MBPP 上得分 70.2%，德語版 MBPP 上得分 84.2%，均為開源模型中的最佳成績。在德國特定區域知識測試 INCLUDE-DE 上，Soofi S 以 61.2 分與 Qwen3.5 35B-A3B 並列第一。與 Nemotron 基線相比，德語數據配方使語言能力提升了 15.1 分，科學測試 GPQA-Diamond 提升了 9.6 分，且未犧牲英語表現。

不過，Soofi S 也存在明顯短板。在德國競賽數學測試 Minerva MATH-DE 上，該模型僅得 56 分，遠低於 Qwen3.5 35B-A3B 的 76.5 分和 Gemma 3 27B 的 65.6 分。在開放事實檢索測試 NaturalQuestions 上也表現落後，這可能與僅 32 億的激活參數量有關，其可存儲的世界知識少於 270 億的稠密模型。