如果錯過了消息，AI 代理是通往 AGI 的下一個階梯，也是所有 AI 公司投注於此，期望能終於為他們在這項技術上投入的數十億美元帶來回報的方向。
桌面應用程式在實現這個代理 AI 夢想中扮演了重要角色。最終，用戶希望他們的 AI 伴侶能夠執行和自動化他們的一些任務；桌面應用程式在這方面的表現會優於瀏覽器標籤。對於 OpenAI 來說，通往那個未來的道路始於他們的桌面應用程式能夠從你的桌面應用程式中讀取數據。該公司表示，他們會在 2025 年對 ChatGPT 在應用程式中為用戶執行任務的能力有更多的說明。
該公司上個月在 ChatGPT 中推出了“與應用程式合作”的功能，能夠訪問 macOS 上一個非常有限的應用程序集合。現在，作為他們的“12 天 OpenAI”活動的一部分，他們已經發佈了這個功能的更新，擴大了可用應用程式的名單。
最初，ChatGPT 只支持與編碼應用程式合作，並且僅包含少數編輯器、IDE 和終端。隨著更新現在正在推送到 ChatGPT 的 macOS 桌面應用程式，不僅 IDE 的名單得到了擴展，聊天機器人現在也能夠與基於文本的應用程式合作。
以下是 ChatGPT 現在可以訪問的完整應用程式列表，包括原有的應用：
- 文本編輯器：
- Apple Notes
- Notion
- TextEdit
- Quip
- 編碼編輯器：
- Xcode
- VS Code（包括 Code、Code Insiders、VSCodium、Cursor、Windsurf）
- Jetbrains（包括 Android Studio、IntelliJ、PyCharm、WebStorm、PHPStorm、CLion、Rider、RubyMine、AppCode、GoLand、DataGrip）
- TextEdit
- BBEdit
- 終端：
- Terminal
- iTerm
- Warp
- Prompt
- Apple Notes
- Notion
- TextEdit
- Quip
- Xcode
- VS Code（包括 Code、Code Insiders、VSCodium、Cursor、Windsurf）
- Jetbrains（包括 Android Studio、IntelliJ、PyCharm、WebStorm、PHPStorm、CLion、Rider、RubyMine、AppCode、GoLand、DataGrip）
- TextEdit
- BBEdit
- Terminal
- iTerm
- Warp
- Prompt
這個功能對於 Plus、Pro、Teams、Enterprise 和 Edu 用戶均可使用。Enterprise 和 Edu 用戶需要管理員權限才能在 ChatGPT 中使用應用程式。
不幸的是，這次更新目前僅適用於 macOS 桌面應用程式，尚未公布何時會推送到 Windows 桌面應用程式。
它是如何運作的？
ChatGPT 不會在未經用戶許可的情況下訪問應用程式。ChatGPT 使用 macOS 的可及性 API 來實現這個功能。因此，用戶需要首先授予 ChatGPT 訪問應用程式的權限。
即使 ChatGPT 獲得了應用程式的訪問權限，它只會在用戶明確選擇該應用程式後才能查看應用程式的內容。
要與 ChatGPT 一起使用應用程式，該應用程式必須在桌面上處於運行狀態。
當應用程式運行後，用戶可以從 ChatGPT 的提示欄中點擊“與應用程式合作”按鈕並選擇該應用程式。應用程式也可以使用 Option + Shift + 1 鍵盤快捷鍵進行選擇；此時，桌面最上面的應用程式將被選中。
一旦選擇了應用程式，該應用程式的上下文以及用戶的文本提示會一同發送給 ChatGPT。用戶也可以在應用程式中選擇任何內容，ChatGPT 將專注於選擇的文本或代碼；完整的上下文仍會發送給 ChatGPT。用戶可以從提示欄中查看發送給 ChatGPT 的內容。
由於 ChatGPT 現在可以自動查看用戶屏幕上的內容，這意味著用戶不必複製和粘貼代碼或文本來發送給 ChatGPT。對於文本編輯器和編碼編輯器，最前面的窗口的完整上下文（最高至截斷限制）會發送給 ChatGPT。然而，對於終端，只會發送打開面板的最後 200 行內容。
不過，ChatGPT 不能在選定的應用程式中撰寫輸出。若要進行任何更改，用戶仍需手動將 ChatGPT 的輸出複製並粘貼到文本或編碼編輯器中。
OpenAI 團隊演示了這個功能，使用了兩個應用程式——XCode 和 Notion。當選擇有關的應用程式時，ChatGPT 可以查看該應用程式的內容。請注意，ChatGPT 可以查看整個文檔（或截斷限制允許的範圍），而不僅僅是當前在屏幕上可見的內容。
隨著更多應用程式的加入，最新的更新還帶來了在使用應用程式時對進階語音模式的支持。通過進階語音模式，用戶可以與 ChatGPT 談論屏幕上的內容。
通過在 macOS 上的應用程式整合，ChatGPT 更加邁向成為用戶工作流程中不可或缺的一部分。OpenAI 也在這方面確立了自身的地位，因為像 Anthropic 和 Google 的競爭者們已經在代理計算機使用上取得了巨大進展。
