近期購置了新筆記本電腦？該設備極可能配備了神經處理單元（NPU），這是一種您幾乎不會使用的晶片。NPU 是一種硅晶體，能以遠低於中央處理器（CPU）或圖形處理器（GPU）的功耗執行人工智能工作負載，約需 2W，相對於標準筆記本電腦的顯示卡所需的百餘瓦特。雖然並非所有筆記本電腦均配備此技術，但在中端及高端設備中已經相當普遍。顧問公司 Gartner 表示，具備人工智能能力的個人電腦，如這些配備 NPU 的筆記本電腦，已佔全球出貨量的一半以上。
之所以出現這種情況，並非因為消費者有此需求，而是為了符合認證要求。回顧 2024 年，Microsoft 幾乎要求筆記本電腦製造商必須在新機型上達到 40 TOPS（NPU 的性能指標），否則將無法訪問新的 Windows 人工智能功能。
NPU 技術在筆記本電腦中的普及性逐漸上升
因此，NPU 硬件的需求急速上升，但軟件的發展卻相對滯後。NPU 的主要職責是加速推理過程，這一階段是「運行此模型」，而非 GPU 驅動的「訓練此模型」階段。神經網絡在進行推理時，主要依賴兩類計算：矩陣乘法和非線性激活函數。NPU 專為快速高效地執行這些操作而設計，但這也意味著其在通用 CPU 和 GPU 上的靈活性有所犧牲。例如，在影片通話中使用背景模糊的功能，這通常可以通過 CPU 或 GPU 運行，但兩者都需要消耗大量電力，導致發熱並損耗薄型便攜設備的電池壽命。
相對而言，NPU 以更低的能量消耗完成相同工作，因此像鏡頭效果這樣的功能可以持續運行，而無需擔心電池耗盡或風扇啟動。
NPU 顯然不適合訓練人工智能模型，且要運行大型本地 LLM（如 Llama 70B），仍需配備較為高效的獨立 GPU 及相應的顯示記憶體。此外，像 ChatGPT 或 Gemini 這類服務也不需要 NPU，因為這些服務運行在提供者的基礎設施上。當前，NPU 的實際應用場景相對有限，多數集中在一些持續運行且能耗低的用例，如鏡頭效果、降噪、實時翻譯和本地搜索索引。
之所以出現這麼多配備 NPU 的筆記本電腦，主要是因為 Microsoft 的 Copilot + PC 認證。若筆記本電腦擁有 40 TOPS 的 NPU、16GB 的 RAM 及 256GB 的存儲，製造商才能獲得此認證，並解鎖某些設備上的 Windows 人工智能功能。
NPU 的性能需求和未來發展趨勢
此 40 TOPS 的數字必須來自 NPU，而非 GPU；例如，中端筆記本電腦 RTX 4050 的張量核心提供超過 190 TOPS，但不在此計算範圍內。Qualcomm 的 Snapdragon X Elite 和 Plus 晶片率先推出，具備 45 TOPS 的 Hexagon NPU，隨後 Intel 的 Lunar Lake 也達到最多 48 TOPS，AMD 的 Ryzen AI 300 則為 50 TOPS。
Intel 的新一代 Panther Lake 處理器，即 Core Ultra 系列 3，提供 50 NPU TOPS，並採用 Intel 的 18A 製程。今年晚些時候，Qualcomm 的 Snapdragon X2 Elite 將其性能推升至 85 TOPS，這是 Microsoft 所規定的最低標準的兩倍多。每一代的 NPU 數據不斷上升，儘管能夠利用這些 TOPS 的軟件仍然稀缺。未來，人工智能筆記本電腦可能會成為唯一可用的選擇，讓 NPU 成為必需品。
我們已經看到 Dell 在其 Pro Max Plus 筆記本電腦中嵌入企業級 NPU。如果您擁有配備 NPU 的筆記本電腦，可以通過 Windows 11 的任務管理器查看其利用率。在我使用的 2024 年 ASUS Zenbook Duo UX8406，配備 32GB RAM，NPU 利用率顯示為零，我想這在所有普通用戶的設備上都應該是如此。然而，依賴 NPU 的應用程序列表仍然很短，包括 Windows Studio Effects、Live Captions、Recall 和 Click
to Do、Teams 和 Zoom 的降噪功能，以及少數 Adobe Creative Cloud 的功能。為了測試我的 34 TOPS Intel AI Boost NPU 在本地模型上會消耗多少資源，我下載了 Mistral 7B，這是一個相當不錯且高效的開源模型，並通過 Intel 的 OpenVINO 工具包運行。我讓它生成 2,500 字有關神經處理單元的內容。
雖然我的設備總共擁有 34 TOPS，涵蓋 CPU、GPU 和 NPU，但專用於 NPU 的僅有 11 TOPS。Mistral 7B 將 NPU 利用率達到 98%，而 CPU 僅為 3%。文本生成運行正常，儘管 11 TOPS 對於如此大型的模型來說剩餘的空間不多，我的筆記本仍然保持快速和響應靈敏。
將相同的本地模型通過 NPU 運行的情況與使用 CPU 的情況進行比較時，CPU 利用率上升至 52%，而內存使用量則保持在約 17GB 的 32GB 總容量內。如果我同時運行其他 CPU 密集型的工作負載，我的筆記本將會降速。這正是 NPU 的目的：在不影響系統其他部分的情況下處理人工智能工作負載。然而，在這種情況下，實現此目標需要特定的工具包和技術知識，當前原生支持 NPU 的軟件仍然非常有限。
項目 規格 RAM 16GB 儲存空間 256GB
