Google 推出了 Gemini 1.0 Ultra 並進行 Bard 重新品牌定位，現在又推出了一款新型號以與 GPT-4 競爭。這就是 Gemini 1.5 Pro，是 Gemini 1.0 Pro 的升級版，目前用於 Gemini（前身為 Bard）的免費版本。
儘管 Gemini 1.0 系列擁有最多 32K 個令牌的上下文視窗，但 1.5 Pro 型號將標準上下文長度增加到 128K 個令牌。不僅如此，它還支援高達 100 萬個令牌的龐大上下文視窗，遠高於 GPT-4 Turbo 的 128K 個令牌和 Claude 2.1 的 200K 個令牌。
Gemini 1.5 Pro 採用了 Mixture-of-Experts（MoE）架構
Google 表示，Gemini 1.5 Pro 是一款中型模型，但其性能與 Gemini 1.0 Ultra 幾乎相同，但計算量更少。這得益於 1.5 Pro 型號採用了 Mixture-of-Experts（MoE）架構，類似於 OpenAI 的 GPT-4 模型。這是 Google 首次發佈 MoE 模型，取代了單一的密集模型。
如果你對 MoE 架構的概念不熟悉，它由幾個較小的專家模型組成，根據具體任務啟動。使用專門的模型進行特定任務可以獲得更好、更高效的結果。
談到 Gemini 1.5 Pro 的大型上下文視窗，它可以一次處理大量的數據。 Google 表示，100 萬個上下文長度可以處理 70 萬個詞語、1 小時的影片、11 小時的音頻或超過 3 萬行代碼的代碼庫。為了測試 Gemini 1.5 Pro 的檢索能力，考慮到它具有如此大的上下文視窗， Google 進行了「大海找針」挑戰，根據該公司表示，它能夠 99% 的時間內找到針（文本陳述）。
在我們對 Gemini 1.0 Ultra 和 GPT-4 的比較中，我們進行了同樣的測試，但 Gemini 1.0 Ultra 未能成功檢索到該陳述。我們肯定會測試新的 Gemini 1.5 Pro 型號並分享結果。
需要明確的是，1.5 Pro 型號目前處於預覽階段，只有開發人員和客戶可以使用 AI Studio 和 Vertex AI 測試新模型。 你可以點擊鏈接加入等候名單。在測試期間，可以免費使用該模型。
