AMD 收購 AI 芯片初創公司 Taalas 強化推理性能技術

AMD 於上週四收盤後宣佈收購 AI 晶片初創公司 Taalas，以增強其在 AI 推理領域的競爭力。Taalas 的核心技術是將模型權重直接蝕刻到硅片中，而非依賴傳統的高帶寬內存存儲，這一方案有望將推理性能提升一個數量級甚至更多。Taalas 成立於 2023 年，總部位於多倫多，其技術路線與常規 GPU 及 Groq LPU、Cerebras 晶圓級加速器等數據流架構截然不同。該公司的晶片不依賴 HBM 來存儲模型權重，而是將其直接蝕刻進硅片，形成所謂的模型專用集成電路。

晶片主要由兩個區域組成：一是用於存儲模型權重的掩膜 ROM 回收結構，二是用於存放 KV 緩存和微調適配器的 SRAM 回收結構。

Taalas 技術將顯著提升 AI 推理性能

今年 2 月，Taalas 發布了其首款測試晶片 HC1，該晶片採用台積電 6 納米工藝製造。初步基準測試顯示，該晶片運行 Meta 的 Llama 3.1 8B 模型時速度達到每秒 16960 個 token，這一成績在當時是英偉達 GPU 的 48 倍、Cerebras 加速器的 8.5 倍。儘管 Llama 3.1 以當前標準來看已不算最新模型，但這款光罩尺寸的晶片主要目的在於驗證技術概念的可行性。

Taalas 計劃在今年夏季推出第二代 HC2 晶片，目標將單晶片支持的參數量提升至 200 億。雖然這一數字聽起來不算龐大，但通過與 GPU 類似的流水線並行方式，權重可以分佈在多個加速器上運行。

以單晶片 200 億參數計算，僅需 50 顆加速器即可支持萬億參數級別的大模型，而 AMD 恰好擁有機架級計算平台和內部系統設計團隊來滿足這一需求。相比之下，英偉達近期發布的 LPX 系統運行同等規模模型需要數十顆 GPU 和至少 2000 顆 Groq LPU，Taalas 方案在空間佔用和功耗效率方面具有明顯優勢。據知情人士透露，AMD 計劃將基於 Taalas 技術的晶片與其 Instinct 系列的 Helios 機架配對使用，形成一種分離式架構：計算密集型的提示詞處理由 GPU 負責，而 token 生成任務則卸載到 Taalas 加速器上。

AMD 收購 Taalas 將改變 AI 硬件市場格局

另一種可能的部署模式是，客户先在 Instinct 加速器上部署和驗證模型，待確認效果滿意後再遷移至 Taalas 加速器，形成類似 tick-tock 的迭代節奏。AMD 人工智能高級副總裁 Vamsi Boppana 在聲明中表示，AMD 正在構建全棧式 AI 平台，為客户提供靈活性，使其能夠為每一項 AI 工作負載部署最合適的計算解決方案。然而，這項技術也存在明顯的侷限性。由於模型權重被固化在硅片中，一旦晶片部署完成便無法更換模型，任何超出 LoRA 適配器規模的改動都需要重新流片，不僅成本高昂而且週期較長。

在 AI 模型幾乎每月都有新版本推出的當下，這意味著採用 Taalas 技術的客户必須對模型選擇有充分把握。Taalas 方面則表示，雖然新模型確實需要重新流片，但無需從頭開始，只需更改兩層金屬層即可，成本和週期都大幅降低。從應用場景來看，這項技術主要面向 AI 模型開發商、基礎設施提供商和部分推理服務商。Taalas 此前曾表示，將模型權重蝕刻進硅片的成本比訓練前沿模型低 100 倍。

AMD 目前與 OpenAI、Anthropic 和 Meta 等主要模型廠商均保持著密切合作關係，未來看到 GPT 或 Claude 系列模型部署在 Taalas 與 Instinct 混合架構上並不令人意外。

此外，該技術對模型開發方式也可能產生深遠影響。開發者近年來通過測試時縮放技術來降低模型幻覺，即允許模型在回答前進行更長時間的推理，但代價是消耗更多 token、成本上升且用户等待時間延長。如果 Taalas 技術能夠將單 token 成本大幅降低並將輸出速度提升 10 倍甚至 20 倍，模型開發商可能會進一步延長推理時間以換取更高的準確性。此次交易預計將在第四季度完成，尚待監管部門批准。

AMD 未披露具體交易條款，但據悉這是一筆完整的收購而不僅僅是人才收購。

這筆交易被視為 AMD 挑戰英偉達在 AI 硬件領域主導地位的最新舉措，與英偉達去年 12 月與 Groq 達成的 200 億美元授權協議形成對標，目標都是讓高性能推理服務在 AI 智能體等應用場景中運行得更快、更便宜。