美國深科技初創公司 Tiiny AI 最近發佈了 Tiiny AI Pocket Lab，這款產品已獲得吉尼斯世界紀錄認證，成為全球最小的個人 AI 超級計算機。這款超級計算機外觀類似於一個口袋大小的充電寶，能夠在本地運行 1,200 億參數的 LLM，而無需依賴雲端連接、伺服器或高端 GPU。Tiiny AI 希望通過這款設備減少超級計算機對雲端和 GPU 的依賴，並使數據中心級別的計算能力對普通用戶可及。
AI Pocket Lab 於 12 月 10 日正式推出，亦成為應對可持續性問題、能源成本上升及雲端 AI 基礎設施所帶來的隱私風險的可行替代方案。Tiiny AI 的市場總監 Samar Bhoj 在官方新聞稿中表示，雲端 AI 雖然帶來了顯著的進步，但也創造了依賴性、脆弱性和可持續性挑戰。他指出，「我們相信智能不應該只屬於數據中心，而應該屬於每一個人。這是朝向使先進 AI 真正可及、私密和個人化的第一步，讓大型模型的力量從雲端回到每一個設備上。」
這款 AI Pocket Lab 設計用於滿足各種個人 AI 的使用需求，服務對象包括創作者、開發者、研究人員和學生。用戶能夠進行多步推理、深入理解上下文、執行代理工作流程、生成內容，並在不依賴互聯網的情況下安全處理敏感信息。該設備使用銀行級加密技術在本地存儲用戶數據、偏好和文件，從而提供長期記憶和比雲端 AI 系統更強的隱私保護。
Tiiny AI Pocket Lab 專為最有用的個人 AI 應用而設，能運行介於 100 億至 1,000 億參數的模型，涵蓋超過 80% 的現實世界任務。它甚至能擴展至 1,200 億參數的模型，提供類似 GPT-4 的智能，適用於複雜推理和多步分析，並確保所有數據完全離線並安全地保存在設備上。
該設備配備 ARMv9.2 12 核 CPU，提供 65W 的功率容量。通常，它能在傳統依賴 GPU 的系統中以極低的能量和碳足跡實現大模型性能。Tiiny AI Pocket Lab 依賴兩項關鍵技術，讓大型 AI 模型能在小型設備上運行。第一項是 TurboSparse，通過僅激活所需的神經元來提升效率，並不會降低模型的智能。第二項是 Powerinfer，這是一個擁有超過 8,000 顆 GitHub 星星的開源引擎，能夠將 AI 工作負載分布到 CPU 和 NPU 上，以提高性能，同時使用更少的電力。
Tiiny AI 亦提供一個現成的開源生態系統。Pocket Lab 支持一鍵安裝流行的開源模型，如 Llama、Qwen、DeepSeek、Mistral、Phi 和 GPT-OSS，並能輕鬆設置 AI 代理，如 OpenManus、ComfyUI、Flowise 和 SillyTavern。用戶還將獲得定期更新，包括官方的無線硬件升級。這些功能預定於 2026 年 1 月在 CES 上推出。
