開源項目 phone-harness(作者 ShawnPana)近日喺 GitHub 出現,主打俾 AI agent 直接操控用戶自己部真 iPhone,唔使越獄、唔使裝 Xcode、亦唔靠 WebDriverAgent。項目上線短短幾日已經有過千粒星,用 MIT 授權釋出。
靠 macOS「iPhone 鏡像」做橋樑
phone-harness 嘅原理係借用 macOS Sequoia 開始內建嘅「iPhone 鏡像」功能:Mac 將 iPhone 畫面變成一個視窗,agent 靠 screencapture 截圖,再用 Apple Vision framework 做文字識別,搵出畫面上每個字嘅座標;操作方面就用 CGEvents 喺 HID 層級模擬真實嘅點擊同手勢。換句話講,Mac 要開住、iPhone 鏡像視窗要連接住,先至可以操控到部電話,並非一個獨立於裝置之外、隨時隨地都連得到嘅雲端服務。首次使用要喺 Mac 系統設定入面手動批准畫面錄製同輔助使用權限。
同雲端方案 Airtap 嘅分別
市場上都有走雲端路線嘅同類產品,例如 Airtap,做法係喺雲端提供一部 Android 裝置俾 agent 操作,用戶透過 iMessage、SMS 或者 Telegram 用文字落指令(例如訂機票)。要留意嘅係,Airtap 官網講明用戶要自行喺畫面登入各個 App,agent「見到畫面但唔會讀到密碼」,並唔係一開始就已經幫用戶登入晒所有 App;官網亦冇公開收費資料。兩者取向唔同:phone-harness 操控嘅係用戶自己嗰部實體 iPhone,處理喺本機;Airtap 就係一部長駐雲端嘅 Android 裝置,好處係唔使自己部 Mac 一直開住。揀邊個,睇用戶想操控自己部真手機定係借用雲端裝置。
項目地址:github.com/ShawnPana/phone-harness;Airtap:airtap.ai。

