Google 推出 Gemini for Mac 新功能 允許跨桌面應用自動化操作

Google 近日宣佈,Gemini for Mac 將加入「Computer use」功能,讓使用者能跨越本地桌面應用同埋網上工作,喺唔離開主畫面嘅情況下完成多步驟任務。呢個新功能可以喺桌面應用同網頁之間自動執行動作,例如打開選單、填寫表格、操作滑鼠指標,並喺對話視窗畀出實時預覽。要知道,呢個能力唔會影響主畫面嘅光標使用,使用者仲可以按任一時候停止 Gemini,同時選擇 Gemini 可以存取嘅應用程式。

喺背景層面,Gemini 過去喺 Mac 應用程式中嘅 Task(以前稱作 Gemini Spark)只能喺 Connected Apps 同本地檔案之間搭配使用;而而家嘅 Computer use 讓 Gemini 可以喺本地桌面應用同網站之間打通螢幕與工作流,提升自動化嘅連貫性同速度。Google 表示會為登入同支付等敏感操作採取暫停與需要再次確認嘅機制,增強使用安全性同降低濫用風險。

新增嘅整合對應用範圍包括桌面設計、影音與資料分析等領域,喺 Customize > Connectors 裏面,你會見到 Desktop 類別新加入嘅 Blende r 同 Autodesk Fusion 等本地應用,呢啲係繼 Git 同 Obsidian 之後嘅又一組整合。呢個變化為開發者同用戶提供咗更大嘅靈活性,能喺不打開多個視窗嘅情況下完成跨軟件嘅工作流程。

實際使用案例包括快速批量美化照片、設定 3D 場景、從本地 PDF 提取重量、尺寸同地址填寫運費報價、從本地資料夾抓取實時數據再喺 Google Slides 製作報告,甚至喺多地域嘅儀錶板提取指標同畫面截圖,幫忙組成提交展示。只要把 @Computer use 加入到提示語,系統就會開始執行。

此外,Gemini 嘅整體設計採用「隔離背景視窗」同「實時預覽」模式,喺對話視窗內顯示結果,但主螢幕同滑鼠光標保持空閒,避免影響使用體驗。呢個設計釋放使用者嘅專注力,同時確保多任務嘅連貫性,對於經常需要填表、對接多個工具嘅專業用戶尤為有用。

Google 表示,呢個功能已經喺美國英文版本開始推送,面向 Google AI Plus、Pro 與 Ultra 的訂閱方案用戶發佈,並且會逐步擴展到其他語言與地區。呢個策略意味住高階用戶可以更早體驗跨桌面與網頁嘅協作新模式,亦為未來嘅跨平台自動化鋪好路線。

總括來講,Gemini for Mac 嘅 Computer use 代表 Google 將多步驟任務自動化推進到與本地桌面軟件深度整合嘅新階段,呢種跨軟件協同喺提升工作效率同時,都需要使用者喺安全層面做出取捨,例如選擇允許哪些應用被 Gemini 進行互動、以及在何種情況暫停登入或支付等操作。

Gemini for Mac 嘅桌面互動新局給創作者與專業用戶帶嚟實際影響

對於創作者,例如需要喺設計軟件中完成批量色彩分級、快速組合多個視覺元件等工作,Gemini 嘅桌面互動能力能喺本地應用與網頁工具之間打通數據同工作流程,節省反覆操作嘅時間。透過 Blender、Autodesk Fusion 等桌面應用,使用者可以喺同一個對話環境中完成多步驟任務,無需頻繁切換視窗,亦避免打擾正在編輯嘅內容。

另一方面,企業工作流方面,喺多個本地系統與雲端服務之間整合資料同自動化提交表單,能夠提升報價單、報告與發佈流程嘅效率。舉例嚟講,喺本地資料夾中批量提取尺寸與重量,然後自動填寫多條運輸報價單,呢啲操作原本需要人工逐步完成,現時可以透過 Gemini 嘅桌面自動化獲得顯著減少人力成本嘅效果。

但要留意,跨桌面互動雖然提高效率,亦伴隨著安全與私隱嘅挑戰,例如要清楚設定 Gemini 可以接入嘅本地應用、避免觸及敏感資料嘅自動處理;Google 亦會喺登入同支付等敏感操作上提供暫停與再確認機制,讓使用者有掌控權。呢啲設計反映出,長遠嚟講,桌面自動化嘅普及需要用戶同軟件架構共同配合,先能做到既高效又安全。

展望未來,Gemini 嘅桌面互動能力可能推動更多第三方整合與工作流模板嘅推出,讓用戶唔只喺單平台完成任務,而係喺多個工具之間建立穩定嘅資料互通機制。喺 Google 持續加強嘅 AI 能力與雲端服務支持下,企業與專業創作者可望以更低成本、更高速度完成複雜專案。

若你想了解更多關於 Gemini for Mac 同 Computer use 嘅實際運作,請留意 Google 正式發佈同逐步推送嘅正式說明,並留意你所使用嘅訂閱計劃是否包含此功能。官方資源通常會同新嘅桌面整合同步更新,確保用戶可以按需啟用或限制相關權限。

本篇內容屬於綜述式報導,聚焦於 Gemini for Mac 嘅新能力,以及其對桌面工作流嘅影響。實際使用經驗或啟用流程,請以 Google 官方網頁及設定界面為準,並參考你所在區域嘅語言版本與訂閱類型。

Henderson
Henderson

Henderson 是 TechRitual Hong Kong 科技編輯,專注報導智能手機、消費電子產品、SIM 卡及流動通訊市場。自加入 TechRitual 以來,累計撰寫數千篇科技報導及產品評測,內容同步發佈至 SINA 及 Yahoo Tech 等主要平台。

友情網站:國際版 / TechRitual WorldThe Base Principle(AI・工程)