【詳解】NPU 提及的「TOPS」是什麼:如何計算性能?CPU、GPU 都可以計 TOPS?

TOPS(每秒萬億次運算)是一個用來衡量、簡化和宣傳神經處理單元(NPU)在AI PC中表現的術語。

TOPS 並不是一個完美的指標,許多變量會影響系統處理AI任務的能力。然而,TOPS仍然提供了一個快速參考NPU速度及其與競爭對手比較的方法。

隨著NPU的出現,需要一個新的指標來衡量性能,這就是“TOPS”這個術語的由來。隨著AI PC繼續佔據市場,將會經常聽到TOPS這個詞。

什麼是TOPS?

TOPS在科技界並不是一個新詞,但隨著高端AI PC的興起(具體定義仍不明確,但基本上是一台配備現代CPU、GPU和NPU的PC),它最近獲得了大量主流關注。Windows Central編輯Rebecca Spear撰寫了一篇關於NPU如何不同於GPU的優秀文章,可以參考以獲取更多信息。

TOPS表示系統每秒可以執行多少萬億次運算。TOPS可以用來衡量整體系統性能,也可以分解為特定硬件的性能。

例如,NVIDIA的RTX 4090桌面顯卡(GPU)可以提供超過1300 TOPS的性能,無論是用於遊戲還是加速AI任務。它是當今市場上最強大的GPU之一,但這個數字仍然有些令人困惑。即使是NVIDIA的移動GPU也可以為AI工作負載提供高達1000 TOPS的性能。

Intel Meteor Lake和Lunar Lake

Darren Crews在Intel舞台上談論Lunar Lake NPU 4(圖片來源:Ben Wilson | Windows Central)

Intel的Core Ultra “Meteor Lake”筆記本電腦CPU總共提供34 TOPS(包括CPU、集成GPU和NPU),其中約11.5 TOPS專門用於NPU。下一代Intel “Lunar Lake”移動芯片預計將其所謂的“NPU 4”提升至48 TOPS。

在Lunar Lake發布中,Intel引入了新的術語來更好地表示性能。平台TOPS,或“PTOPS”,用於計算CPU、GPU和NPU的總和。峰值TOPS,或“pTOPS”,用於表示單個部分的性能(如NPU)。

考慮到這一點,Intel表示其Lunar Lake芯片將提供48 pTOPS的NPU,而整個芯片在考慮所有組件後將有120 PTOPS。在2024年台北的Intel技術巡演中,Intel還暗示如果需求下降,未來Meteor Lake NPU(約11.5 pTOPS)將能運行Copilot+功能。這似乎是一個很高的要求,只有時間能證明。

AMD Ryzen 8040和Ryzen AI 300

AMD的Ryzen 8040移動CPU提供高達16 TOPS的NPU性能,略高於Intel的“Meteor Lake”芯片。還有專業人士使用的AMD Ryzen PRO桌面APU,配備同樣具有16 TOPS的NPU。這些芯片現已上市,但對AI性能感興趣的人毫無疑問應該等待在Computex 2024上宣布的AMD Ryzen AI 300硬件。

AMD的兩款基於Zen 5架構的新移動CPU包括旗艦Ryzen AI 9 HX 370和AMD Ryzen AI 9 365,每款都配備了50 TOPS的NPU。配備Ryzen AI 300芯片的筆記本電腦預計今年晚些時候由Acer、ASUS、HP、Lenovo和MSI推出。

Qualcomm Snapdragon X和Copilot+

Microsoft和Qualcomm於2024年5月20日聯手推出Copilot+。Copilot+是一組高級AI功能的總稱——包括Windows Recall、實時字幕和本地圖像和文本創建——將登陸Windows 11。Copilot+ PC品牌用於能夠在本地運行這些功能的筆記本電腦,這些筆記本電腦配備了至少40 TOPS的強大NPU。

在Qualcomm方面,5月20日揭幕了一系列由Snapdragon X Elite和Snapdragon X Plus芯片驅動的Copilot+筆記本電腦。這些來自幾乎所有主要筆記本電腦品牌的Windows on ARM設備配備了45 TOPS的Hexagon NPU,將成為首批於2024年6月18日上市的Copilot+ PC。

Intel下一代“Lunar Lake”和AMD的Ryzen AI 300芯片將在稍後獲得Copilot+功能。

關於即將推出的Copilot+設備,還在Computex 2024上宣布,NVIDIA的RTX支持設備預計今年晚些時候將獲得訪問權限。NVIDIA展示了來自ASUS的五款RTX筆記本電腦和一款來自MSI的筆記本電腦,這些筆記本電腦將獲得Copilot+訪問,功能將在RTX 40系列移動硬件上首次亮相。

為什麼AI性能用TOPS來衡量?

在分析NPU性能時,TOPS當然不能代表全部。芯片製造商正在利用TOPS來宣傳其產品,主要是為了簡化性能並幫助買家了解他們所獲得的產品。就像2020年次世代遊戲機還在地平線時的TFLOPs熱潮一樣,TOPS被用來簡化和宣傳系統性能給更多人。能夠提供兩三倍TOPS的NPU在紙面上看起來很棒,但這個指標最終缺乏細微差別。

這是一種“數字大好,數字小壞”的情況,至少在第一眼看來是這樣,但有很多因素可以影響NPU的性能。理論上來說,一個特定的NPU可能具有100 TOPS,專門針對某個特定任務進行調整,在這種情況下,它可以超過另一個具有200 TOPS的NPU,後者針對不同任務進行調整。

測量PC的整體性能通常歸結為具體的基準測試數據和抽象觀察。在我們的筆記本電腦評測中,我們提供了大量使用專門測試軟件獲得的硬數據,但我們也提供了系統在現實場景中表現的更一般“感覺”。

測試NPU也是我們前進過程中需要解決的問題。有一些針對NPU的基準測試,它們是朝著以具體任務衡量功率的良好開端。所以,即使TOPS不是判斷NPU性能的最佳指標,它也給買家提供了一個標準,讓他們可以大致比較AI PC。

應該關心TOPS嗎?

測量TOPS是一種快速且簡單的方法來比較NPU或判斷NPU是否能夠處理某些工具。然而,TOPS不應被認為是衡量NPU功率的終極指標。這裡涉及很多細微差別,應確保獲得適合即將到來的工作的硬件。

應該關心TOPS嗎?這取決於。如果是處理電子郵件、網頁瀏覽和生產力的普通PC用戶,無需擔心NPU及其性能測量方法。如果正在購買新筆記本電腦,仍然可能需要關注某些AI工具的需求,這些工具可以幫助生活更輕鬆。

另一方面,如果對新興的AI PC世界感興趣,NPU及其以TOPS衡量的能力可能已經是熟悉的話題。只需記住,TOPS不是完美的指標,而是一種芯片製造商用來比較和宣傳其產品的簡便方法。

此文章發佈於 TechRitual 香港 - 日本電話卡
十斗
十斗https://www.techritual.com/author/tenten/
十斗在知名大學取得了計算機科學與工程學位,並在學術研究方面表現出色。她的研究領域包括人工智能、機器學習和數據科學。一斗為十升,一升為十合,一合為十分之一升。謝靈運言天下才學一石,曹植占八斗,以此讚譽。後用以比喻才學極高。