本地運行 AI 模型所需的電腦硬件要求

下載 Ollama 或 LM Studio，選擇一個模型，幾分鐘內便可啟動本地聊天機器人。該服務無需訂閱費用，亦可在無需互聯網連接的情況下運行，且您的數據不會離開電腦。然而，有一個限制：您能運行的模型及其響應速度完全取決於您的電腦性能。配備 16GB RAM 的日常電腦可以運行約七至八十億參數的相對較小模型，例如 Meta 的 Llama 3.1 8B 或阿里巴巴的 Qwen3 8B，並且配備 8GB VRAM 的顯示卡能夠較快地運行這些模型。

但這些模型與今日 ChatGPT 或 Claude 背後的前沿模型相比仍有很大差距。如果希望運行更接近的模型，則需要至少 32GB 的內存和 16GB 或以上 VRAM 的顯示卡，這在當前價格下並不便宜。

本地聊天機器人模型的運行需求

模型所需的內存幾乎是與其大小成線性比例的，這一大小以十億參數（B）計算。大多數人運行的都是壓縮（「量化」）版本的本地模型，每個參數以約四位元存儲，將模型縮小至其原始大小的約四分之一。在 Ollama 的庫中，Llama 3.1 8B 的大小為 4.9GB，Microsoft 的 Phi-4 為 9.1GB， Google 的 Gemma 3 27B 為 17GB，而 Meta 的 Llama 3.3 70B 則為 43GB。

Ollama 的一般原則是，7B 模型需要 8GB RAM，13B 模型需要 16GB，33B 模型需要 32GB。OpenAI 的 gpt-oss-20b 擁有 210 億參數，但每個標記僅使用 3.6 億參數，這是通過一種名為「專家混合」的設計實現的。這使得它反應迅速，但模型仍然必須適合可用的內存。OpenAI 表示它可以「在僅 16GB 內存下運行」，但在 Ollama 中為 14GB，幾乎耗盡了 16GB 電腦的所有內存。

運行速度與內存帶寬的關係

每當模型生成一個詞，或更準確地說是一個標記時，它都必須逐一檢索所有參數。因此，速度主要取決於內存帶寬，而非原始處理能力。Nvidia 的工程師將這一階段描述為「內存受限」。顯示卡的 VRAM 速度比電腦其餘部分的 RAM 快幾倍，因此能夠在 GPU 上運行的模型運行速度要快得多，而不是溢出到系統內存。作為一個經驗法則，每秒生成五到十個標記的速度，能夠跟上大多數人的閱讀速度。

在 LMSYS 的測試中，Nvidia 的 RTX 5090 被發現能以每秒 205 個標記的速度生成 OpenAI 的 gpt-oss-20b 文本。相比之下，llama.cpp 的基準測試顯示 Apple 的基礎 M4 晶片在 7B 模型上大約能生成每秒 24 個標記。

Ollama 測試了 Nvidia 的 DGX Spark，這款價格為 US$3,999 (約 HK$31,199) 的 AI 開發電腦在 Llama 3.1 8B 上的生成速度為每秒 38 個標記，而在 70B 版本上則僅為 4.42。我個人曾在配備 32GB RAM 和 Intel AI Boost NPU 的 2024 年 Asus Zenbook Duo 上運行 Mistral 7B。

通過 Ollama，Mistral 將 CPU 使用率推至 52%，內存使用率約為 17GB。這樣的使用情況尚可，但如果有其他需求較高的應用程序同時運行，則會拖慢筆記本電腦的速度。使用 Intel 的 OpenVINO 工具包，該模型則將 NPU 保持在 98% 的使用率，而 CPU 僅為 3%，在生成約 2,500 字（無意義內容）時，筆記本電腦依然保持快速響應。

在 Artificial Analysis 的 2026 年 4 月排名中，中國阿里巴巴的 Qwen3.5 27B 在其智能指數中得分 42，與 OpenAI 的 GPT-5 在中等設置下持平，而 Google 的 Gemma 4 31B 得分 39。然而，領先的前沿雲模型得分達到 57，而 Qwen3.5 27B 需要 17GB 至 20GB 的內存，這顯然超出了 16GB 電腦的承受範圍。

但即使是最強大的電腦也僅能勉強滿足前沿智能的需求。Moonshot 的 Kimi K2.6 是一款擁有 1 兆參數的模型，於 2026 年 4 月推出時是最佳開放權重模型之一，根據 Unsloth 的資料，其運行需要約 600GB 的 RAM 和 VRAM 的組合，該公司發布了壓縮版本的開放模型。其後繼版本 Kimi K3 在 2026 年 7 月的人工分析智能指數中得分 57，僅次於 Anthropic 的 Claude Fable 5 和 OpenAI 的 GPT-5.6 Sol。

然而，該模型擁有 2.8 兆參數，其權重僅計算約 1.4TB，TECHi 估計，這幾乎無法在八 GPU 數據中心伺服器上運行。因此，對於偶爾的私人摘要或一些離線編程幫助，16GB 電腦是足夠的。若想要使用可替代雲聊天機器人的功能，則需要 32GB RAM 或 16GB 顯示卡。根據 Tom’s Hardware 的 RAM 價格指數，僅 32GB 的 DDR5 套件就需花費 US$434 (約 HK$3,385)，幾乎相當於每月 US$20 (約 HK$156) 的 ChatGPT Plus 或 Claude Pro

訂閱費用近兩年的支出。然而，任何接近前沿的需求，仍需依賴數據中心。