SONY PlayStation 5 的 16GB GDDR6 內存和 448GB/s 帶寬，對於運行本地 AI 模型而言，算是一份尚可的規格。有人真的將這一構想變成現實，雖然在過程中伴隨了不少妥協。關鍵在於將原本由 CPU 承擔的工作轉移到 GPU 上，從而釋放出足夠的內存，最終成功運行了 270 億參數的 Qwen 3.8-27B。此項目名為 “PS5LM“。
在起步階段，Reddit 用戶 u/metover 推出了非官方的 llama.cpp 移植版本，使 PlayStation 5 能夠以 CPU 作為載荷來運行 AI 模型。但另一位用戶 u/AdIllustrious7246 發現，這種做法將可用內存壓縮到僅有 6GB，導致沒有足夠的幀緩衝留給更大的 AI 模型。因此，他藉助 Mesa 的開源 AMD 驅動 RADV，通過 Vulkan 將 llama.cpp 打造成 PlayStation 5 的原生應用，使可用內存從 6GB 提升到 11.4GB，
這才為運行大幅量化版 Qwen 3.8-27B 提供了空間。
PS5LM 項目成功運行 Qwen 3.8-27B 模型
如果以 16 位精度運行，Qwen 3.8-27B 需要 54GB 內存，僅在配備多塊 GPU，或單塊 GPU 搭配大容量系統內存的機器上才有可能實現。PlayStation 5 顯然不具備這類條件，因此只能採用量化版本 Qwen 3.8-27B-UD-IQ2_XXS，其權重約每個 2 比特，體積被壓縮到 6.8GB。這樣做的代價也很直接：量化程度越高，模型質量損失越明顯，Qwen 3.8-27B 更容易出錯，推理能力亦有所削弱。
在上下文窗口設為 64K 的情況下，內存佔用率達到 91%。
速度表現則與內存帶寬直接相關。得益於此，Qwen 3.8-27B 的輸出速度達到 20.9 tok/s，此時 GPU 佔用 100%，CPU 僅有 2%。若更換為更小的模型，成績將更加亮眼：Gemma 4 E4B 達到 61 tok/s，Llama 3.2 3B 則衝到 124 tok/s。整機總功耗為 86W，溫度保持在 54 攝氏度，對於一台本來只用來玩遊戲的遊戲機而言，這已經是相當不錯的散熱表現。
不過，這套方案的侷限性也非常明顯。16GB 內存意味著只能運行大幅量化的 27B 模型，或明顯更小的模型，實際輸出質量未必能達到預期。另外，要在 PlayStation 5 上運行原生的 llama.cpp 需要先越獄，這不僅會使保修失效，還可能招致線上遊戲的封禁。順帶一提，如果覺得這件事已經足夠驚人，還有消息稱，另有人用包括 Samsung S24+ 在內的六台設備，運行了一個 120B 規模的 AI 模型。
項目 規格 內存 16GB GDDR6 帶寬 448GB/s 功耗 86W 溫度 54°C
利益聲明：本文包含合作商戶產品連結，如你透過連結購買，TechRitual 可能獲得佣金收入，但不影響產品評價及推薦。詳情請參閱私隱政策。
身為 Amazon Associate，本站會從合資格購買中賺取佣金。
