Google 官方宣布推出多模態知識代理（Multimodal Knowledge Agent，簡稱 MKA）基準，旨在評估代理在處理視覺複雜文件方面的推理能力，以解決現實世界的知識工作任務。
MKA 基準的設計理念
MKA 基準是與人工分析（Artificial Analysis）合作開發的，主要用於評估代理在解決知識工作任務時的表現。大多數知識工作基準僅需文本解決，卻未能反映專業工作中的視覺需求。Google 表示：「我們建立 MKA 是為了衡量代理如何處理這些視覺複雜的工作。」（”We built MKA to measure how well agents can handle this visually complex work.”）Google
基準的實際應用與測試
為了確保基準與現實工作流程相符，Google 與來自 10 個行業及 83 個職業的領域專家合作，創建了 MKA 的 200 項任務評估集。每項任務都是一個多步驟的項目，專業人士需要三至八小時才能完成。Google 指出：「每項任務都配有現實的提示和一組多模態輸入文件，並附有專家撰寫的約 70 項是/否檢查的標準。」（”Each task reflects a multi-step project that takes a seasoned professional three to eight hours to complete…”）Google
Gemini 4 Carbon 的性能表現
根據測試結果，Gemini 4 Carbon 在所有測試模型中質量排名第二，且完成任務的成本平均比排名最高的模型低六倍。Google 表示：「Gemini 4 Carbon 在 MKA 評估中質量和價格的 Pareto 前沿上。」（”Gemini 4 Carbon is on the pareto frontier of quality and price for the MKA eval.”）Google
用戶現在可以通過 Google AI Studio 的 Gemini API 探索該基準，並在人工分析平台上評估自己的模型。Google 也釋出了一組 10 項公共任務，供任何人檢查格式並測試其代理。
資料來源：Google 官方公告
