Microsoft 正在悄悄地將 Edge 中的 Copilot 轉變成一個超出聊天框的功能。在移動端，這個瀏覽器的助手現在可以捕捉你屏幕上的內容，讓它準確看到你正在查看的內容，而不需要你去描述它。
這個功能在創作者 Aditya Madiraju 的最近演示中亮相，他突顯了 Edge 的 Copilot 作為在 WhatsApp 等應用程序中使用 AI 工具的解決方案。與其手動複製文本或處理截圖，不如讓 Edge 的 Copilot 捕捉屏幕上顯示的任何內容，並用作查詢的上下文。
在 Edge 移動瀏覽器中，Copilot 與地址欄及其他控制選項並排顯示。當被調用時，它現在可以抓取你正在查看的主頁或內容的圖像，然後直接將其輸入到 AI 提示中。
這個截圖成為了 Copilot 多模態模型的另一個輸入，因此用戶可以詢問與屏幕上內容有關的問題，例如，總結一段長對話、根據最近的消息草擬回覆，或從產品頁面或文檔中提取關鍵細節。
Madiraju 的演示重點放在 WhatsApp 上，因為在某些地區對某些 AI 服務的直接訪問是有限的。在手機上打開 WhatsApp Web，然後調用 Copilot，助手就能獲得一個可以工作的視覺快照，從而繞過這些應用層級的限制，而無需額外設置。
讓 Copilot 能夠查看你的屏幕，填補了文本助手仍然難以克服的空白：上下文。用戶不需要解釋佈局、複製 UI 文本的片段，或發送多條消息，而是可以依賴一個單一的截圖，顯示整個對話或頁面的狀態。
這在移動端尤其有用，因為在應用之間切換以進行複製和粘貼的速度較慢且更容易出錯。透過 Edge 同時處理瀏覽和捕捉，Copilot 能夠協助處理如下任務：
- 草擬對話窗口中顯示的消息的回覆
- 總結網站上的說明、收據或長篇內容
- 從密集的頁面中提取姓名、價格或日期
由於 Copilot 是內置於 Edge 中的，因此不需要安裝額外的應用程式或插件。這是更廣泛推動的部分，旨在使這個助手感覺像一個系統級的幫手，而不是一個獨立的目的地。
這個截圖功能與移動端的 Edge 瀏覽器及 Copilot 的視覺理解功能相連。如果用戶依賴其他瀏覽器，或者使用本地消息應用程序而不在 Edge 中運行，則無法獲得相同的工作流程。
還有常見的隱私考量：當用戶詢問 Copilot 有關截圖的問題時，實際上是將該捕捉的內容發送到 Microsoft 的 AI 系統進行處理。如果用戶處理的是特別敏感的材料，則需要謹慎考慮分享的內容。
儘管存在這些警告，但將一次點擊的截圖轉換為即時的 AI 上下文，使 Edge 中的 Copilot 在某些地區的流行聊天機器人仍然不穩定的情況下變得更加實用。
