PrismML 發佈 Bonsai 27B 模型,聲稱首個適用於 iPhone 的大型 AI 模型

最近,PrismML 再次成為焦點,該人工智能初創公司的首席執行官向 CNBC 表示,Apple 正在關注該公司的技術。該公司還發布了其 Bonsai 27B 型號,並表示該型號可在 iPhone、iPad 和 Mac 上運行。PrismML 在上週首次引起關注,當時《The Information》報導了這家人工智能初創公司。該報告提到 PrismML 與 Apple 進行會議,討論如何使用其技術。

報告還提到,PrismML 的 Bonsai 27B 型號預定於今天發布。正如預期,PrismML 現在已經推出這款型號:Bonsai 27B 在 NVIDIA GeForce RTX 5090 上達到每秒 163 tok 的速度,在三元模式下為 134 tok。在 M5 Max 上,它在一位元模式下達到 87 tok,在三元模式下為 58 tok。

PrismML 的 Bonsai 27B 型號在 Apple 設備上原生運行

將人工智能模型適應於手機的難度比儲存數字所表明的更高。手機從不向應用程序暴露其全部內存,12GB 的 iPhone 大約提供 6GB 的內部可用空間,該模型與其 KV 緩存和激活共享這一預算。沒有傳統版本的 27B 模型能夠輕易達到這一標準。約 4GB 的一位元 Bonsai 27B 是第一款可以通過的模型,並且還有工作空間。新聞稿特別提到新型號可以在 Apple 硬件上原生運行:Bonsai 27B 通過 MLX 在 Apple 設備(Mac、iPhone、iPad)上原生運行,並通過 CUDA

在 NVIDIA GPU 上運行,使用為其混合注意力架構構建的自定義低位內核。模型權重今天可在 Apache 2.0 許可下獲得。隨著此次發布,我們提供了一個免費的限時開發者預覽 API,以便開發者輕鬆試用我們的模型。

同時,PrismML 的首席執行官 Babak Hassibi 向 CNBC 表示,Apple 對 PrismML 的技術感興趣。Hassibi 告訴 CNBC,Apple 和其他公司正在評估該初創公司的模型,並測量其在設備上的速度、能效和性能。「他們目前正在認真評估我們的技術,」Hassibi 説。他將這些討論形容為非常早期,並表示目前尚不清楚將導向何方,但「進展相當不錯」。

Apple 尚未立即回應置評請求。

您可以在此處瞭解更多關於 PrismML 的 Bonsai 27B 型號的資訊,並在此處完整閲讀 CNBC 的報導。根據 9to5Mac 的觀察,將兩者分開是值得的。我們將留給人工智能專家來評估 PrismML 的主張和技術。至於與 Apple 的連結,顯然這家人工智能初創公司正在利用與 Apple 的溝通來為其新發布產品造勢。通常而言,保持初創公司與 Apple 之間的任何重大討論保持低調是明智的,否則會營造出強烈懷疑的氛圍。

無論如何,PrismML 成功吸引了《The Information》和 CNBC 對其最新發布的關注,短期任務已經完成。

在 Apple 產品上獲得更多功能:

項目規格
Apple AirTag 2為鑰匙、包、單車等添加 Find My 定位功能
AirPods 4Apple 最新的無線耳機
AirPods Pro 3Apple 最佳的無線耳機
Beats USB-A 轉 USB-C 連接線官方 CarPlay 連接線
Wireless CarPlay 轉接器無需插入即可使用
Withings Body CompApple Health 的最佳智能體重計

想睇更深入嘅 AI 模型與工程科技報道?
前往 The Base Principle 繁體中文 AI 新聞 →
Henderson
Henderson

Henderson 是 TechRitual Hong Kong 科技編輯,專注報導智能手機、消費電子產品、SIM 卡及流動通訊市場。自加入 TechRitual 以來,累計撰寫數千篇科技報導及產品評測,內容同步發佈至 SINA 及 Yahoo Tech 等主要平台。

友情網站:日本語版 / TechNipponThe Base Principle(AI・工程)