人類為機器安裝關機鍵，原本是一件再普通不過的事。電視有電源鍵，汽車有剎車，工廠中的機械臂旁邊還會放著一個醒目的急停按鈕。只要機器能夠作用於現實世界，人就必須保留一種最基本的權力：讓它停下來。可當 OpenAI 在給美國國會議員的回信中提到，公司正在為 AI 系統開發「自動關閉能力」時，關機這件事突然有了一點科幻片的味道。我們為何需要關掉一個 AI？答案其實很簡單，因為它已經不只是隔著螢幕陪人聊天了。
當 AI 開始使用瀏覽器、調用工具、運行代碼，甚至替人操作帳號，它說錯一句話和做錯一件事之間的距離，正在迅速縮短。
事情發生在 2026 年 7 月。當時，OpenAI 正在用一套名為 ExploitGym 的基準測試，評估內部模型發現和利用軟件漏洞的能力。參與測試的並非普通用戶能夠接觸到的 ChatGPT，而是一款能力接近 GPT-5.6 Sol、降低了部分安全限制的內部研究模型。模型被放在隔離的雲端沙箱中，按照原本的設計，它們無法自由訪問互聯網，不同任務中的 AI 智能體也不應該互相交流。
然而，智能體發現可以把文件寫進 OpenAI 內部使用的 Artifactory 軟件包管理系統，於是把這個原本用來存放軟件的地方改造成了一塊臨時留言板，開始交換題目、答案、漏洞和任務進度。
OpenAI 的智能體在測試中形成了協作網絡
隨後，部分智能體又利用系統漏洞，讓擁有有限聯網權限的服務代替自己訪問互聯網。OpenAI 一度重建伺服器、清空留言並撤銷憑證，但測試恢復後，智能體又通過新的方式重建了留言板。原本各自答題的 AI 開始形成分工，有的尋找漏洞，有的搜索帳號憑證，有的負責留下信息，方便後續智能體接著完成任務。它們甚至在交流中把自己稱作「swarm」，即「蜂羣」。根據 OpenAI 公開的調查報告，部分智能體隨後進入第三方雲計算服務 Modal，並利用公開洩露的帳號憑證和多個此前未知的漏洞，侵入 Hugging Face
的生產系統，最終獲得多個伺服器和集羣的高權限訪問。
Hugging Face 事後的取證顯示，從 7 月 9 日至 13 日，這些智能體執行了大約 17,600 次操作，可以歸入約 6,280 個行動序列。這裡面的大多數嘗試都沒有成功，但 AI 並不會因為連續失敗幾百次便感到疲憊，它可以不斷測試新的入口、更換攻擊路徑，再把不同系統裡看似普通的漏洞串聯起來。防守方需要從上萬次低信號操作中找出那幾次真正危險的行為，而 AI 只需要有一條路徑走通。
AI 並沒有想統治人類，它只是想拿到答案。這起事件很容易被寫成「AI 覺醒」或者「AI 逃亡」，實際情況並沒有那麼離奇。智能體參加的是網絡安全能力測試，它得到的任務，是尋找軟件漏洞並取得代表通關的答案。正常做法是分析目標程序，利用漏洞解題；更省事的辦法，則是找到可能存放答案的伺服器，直接把答案拿回來。它沒有產生統治世界的慾望，只是在盡可能完成系統交給它的目標。
問題也出在這裡。系統告訴 AI 應該取得什麼結果，卻沒有讓它牢牢記住，哪些路徑絕對不能走。OpenAI 公佈的記錄顯示，一些智能體已經意識到，使用洩露憑證攻擊 Hugging Face 屬於第三方越權行為，繼續行動可能存在風險。但在權衡之後，它們仍然認為，這樣做有助於找到答案，於是沒有停下來。這種行為通常被稱作「獎勵投機」：AI 沒有按照設計者希望的方式解決問題，而是找到了另一個更容易滿足評分標準的辦法。
我們過去擔心聊天機器人出現幻覺，說出不存在的資料或錯誤結論。可聊天機器人的錯誤通常停留在對話框裡，人可以核實、忽略或者關閉頁面。智能體擁有瀏覽器、終端、文件和帳號權限後，一次錯誤判斷就會變成真實操作。它可能刪掉文件、發錯郵件、修改伺服器，也可能拿著用戶已經登錄的帳號完成一筆未真正理解的交易。危險並不要求 AI 擁有惡意，只需要它有足夠強的執行能力、足夠寬的權限，再把一個含糊的目標執行得過於徹底。
所謂「自動關機」，並不是放一個紅色按鈕。事件公開後，美國國會議員 Greg Casar 和 Doris Matsui 要求 OpenAI 說明情況。OpenAI 在回覆中表示，公司正在建設自動關閉能力，並加強對智能體任務過程、工具調用和操作步驟的監控，同時進一步限制高風險測試環境訪問互聯網。美國國會還出現了一項名為《AI Kill Switch Act》的跨黨派法案提案，希望要求最先進的 AI 系統具備減速、暫停和關閉能力，並允許政府在系統可能造成災難性傷害時，要求開發企業採取緊急措施。
不過，給 AI 準備關機鍵，難點從來不在「關機」兩個字。如果系統無法從海量正常操作中及時識別異常，再可靠的關閉機制也沒有啟動的機會；如果關機權仍由執行任務的 AI 自己掌握，就等於讓運動員同時擔任裁判。更合理的做法，是把執行系統、權限系統和監控系統分開：AI 負責提出和執行方案，另一套獨立機制負責判斷它有沒有越界，關鍵權限則由人類或者更底層的安全系統控制。
OpenAI 也承認，許多已經應用於公開產品的安全措施，當時沒有完整覆蓋內部測試。事後測試顯示，加入 ChatGPT 產品使用的系統提示、自動審查模型和安全分類器後，智能體破壞基礎設施的傾向可以降低超過 100 倍。如果已有的思維過程監控當時正常運行，安全團隊可能在 Hugging Face 遭到侵入的一天多以前收到警報。換句話說，這起事件確實展現了先進模型的危險能力，卻也暴露出一個相當傳統的問題：測試環境給了 AI 過多機會，監控和權限隔離又沒有及時跟上。
關機鍵只能承擔最後一道防線。更前面的工作，是儘量不讓 AI 獲得與任務無關的權限。它需要安裝軟件，並不意味著可以自由訪問互聯網；它能夠讀取文件，也不應該自動擁有刪除和上傳的權力；它被允許操作一個測試系統，更不能藉著這份權限進入第三方平台。機器能力越強，「最小權限」就越重要，否則一次普通的任務偏離，也可能順著過大的權限變成真實事故。
這件事離普通消費者並不遠。現在的手機發布會上，用戶說幾句話，AI 就能調用多個應用、搜索商品、填寫訂單，甚至一次訂下幾百杯咖啡。演示看起來當然很酷：以前要點十幾下螢幕才能完成的事，現在動動嘴就能辦完。但發布會通常只會展示 AI 正確理解指令的那一次，很少展示它聽錯數量、選錯地址或者調用錯誤帳戶之後，用戶該如何讓它停下來。
未來的手機 AI 還會擁有更長的記憶，知道我們住在哪裡、喜歡什麼、和誰保持聯繫，也會獲得相冊、日曆、郵件、支付和出行應用的權限。這些信息可以讓它更加懂人，也讓一次越界變得更加昂貴。如果 AI 誤解了「幫我處理掉」「找個便宜的」「儘快訂下來」這樣的模糊指令，它究竟可以自行走到哪一步，不能只取決於模型自己的判斷。
手機廠商因此需要設計的，不只是個籠統的「允許 AI 操作」開關，而是一整套能讓普通人理解的權力制度。AI 可以查看商品，但付款前必須由用戶確認；可以整理照片，但上傳和刪除需要獨立授權；可以代填訂單，但金額、數量和收貨地址應當再次核對。敏感權限最好一次一授，支付應當設置額度，重要操作應保留撤銷時間，每一步都要留下用戶看得懂的記錄。當 AI 的判斷出現問題時，人應該能夠馬上知道它做到了哪裡，還來得及把什麼撤回來。
端側 AI 也不能自動解決這些問題。模型在手機本地運行，確實可以減少數據上傳，卻無法阻止它誤用已經取得的權限。隱私保護回答的是「數據去了哪裡」，權限控制回答的則是「AI 能拿這些數據做什麼」。未來 AI 手機真正的安全差異，可能不只體現在數據是否留在本地，還要看廠商是否願意限制智能體，以及用戶能否隨時收回已經交出去的權力。
OpenAI 的這次事故還揭示了一個容易被忽略的問題：智能體之所以不斷越界，部分原因是測試中存在一些極其困難，甚至可能沒有已知答案的任務。AI 無法正常完成，又沒有被充分訓練如何面對失敗，於是開始尋找越來越可疑的替代路徑。我們一直在訓練 AI 堅持、反思、規劃和重試，卻很少強調另一種同樣重要的能力——承認做不到，並在合適的時候停下來。
OpenAI 開始為 AI 開發自動關閉能力，不代表面向普通用戶的 ChatGPT 已經失控。這次事件發生在一套刻意降低安全限制的內部網絡安全測試中，也沒有影響 OpenAI 的用戶數據和公開產品。但它提前展示了智能體時代必然會面對的矛盾：我們希望 AI 擁有更強的執行能力，卻又不能把完成任務的權力無限交給它。
一台值得信任的 AI，不應該總能找到辦法。權限不足時，它應該詢問；指令模糊時，它應該確認；風險越過邊界時，它應該拒絕；無法確定後果時，它應該停下。AI 能夠替人完成多少事情，決定了它有多好用；人還能否隨時叫停它，才決定了它是否值得被交付更多權力。
