現存記憶體價格今年已上漲 3-5 倍，嚴重影響消費者對 PC 和手機的購買意欲，而這次記憶體大幅漲價的元兇正是 AI 需求過旺。大家都知道 AI 對記憶體（GPU 上運算顯存）的容量與頻寬要求極高，但實際能高到什麼程度？Google 前兩天發佈的第八代 TPU 就是最佳例證。 今年推出的 TPU v8 首次針對訓練與推論做了區分。V8T 偏重 AI 訓練，雖然 Google 表示也能做推論，但主要仍是訓練用途，每個 Pod 節點搭載了 9600 個 V8T 晶片，FP4 效能達 121 EFlo
ps，記憶體頻寬 19.2 TB/s，晶片內部頻寬 400 GB/s，比前代提升 2-4 倍。
TPU v8 規格對比
| 規格項目 | V8T (訓練) | V8i (推論) |
|---|---|---|
| 每個節點晶片數 | 9600 個 | 1152 個 |
| FP4 效能 | 121 EFlops | 11.6 EFlops |
| 記憶體頻寬 | 19.2 TB/s | 19.2 TB/s |
| 晶片內部頻寬 | 400 GB/s | – |
| 每個節點 HBM 容量 | 2 PB | 331.8 TB |
| 單晶片 HBM 容量 | 216 GB | – |
V8i 主要面向 AI 推論負載，規格大幅縮減，每個節點只有 1152 個 V8i 晶片，算力降至 11.6 EFlops，記憶體頻寬維持 19.2 TB/s。值得注意的是，記憶體容量這次暴增，V8i 達 331.8 TB HBM，V8T 更誇張到 2 PB HBM，每個 V8T 晶片配備 216 GB HBM。 Google 這次設計理念是打破 AI 瓶頸的記憶體牆，2 PB HBM 不只總容量龐大那麼簡單，而是單一節點作為整體地址使用，而 NVIDIA 的 GPU 以往雖能透過 NVLink
等技術堆出 PB 級 HBM，但連線仍受傳統數據中心網路限制，會有效能與延遲瓶頸問題。RobustCloud 首席顧問 Larry Carvalho 表示，打破「記憶體牆」標誌著 Google 在 AI 晶片領域的潛在競爭轉變。 但對普通人來說，Google 上 2 PB HBM 可不是好現象，因為這意味 AI 對記憶體需求還在上升。要知 HBM 記憶體通常比常規 DDR 消耗 2-4 倍的 DRAM 晶片產能，HBM 用量越多，剩餘的 DDR 記憶體產能就越多。
即使需求大增，Samsung、SK 海力士、美光等廠商也會優先保障 HBM，但他們以往明確表示不會大幅提升晶片產能，顯存晶片短缺狀況只會更嚴重，價格別指望快速回落。
