近日有兩則報導關於 Apple 軟件開發的進展。第一則報導指出，Apple 計劃在明年賦予 Siri 更具主動性的能力；而第二則報導則提到首席執行官 John Ternus 正在推動 Craig Federighi 加快軟件開發進度。如果消息屬實，這兩則報導似乎有很大的關聯性。然而，若 Ternus 確實在推動 Siri 能夠作為人工智能代理的能力加速發展，則可能會伴隨著三個潛在的重大風險。
這兩則報導均由 Bloomberg 的 Mark Gurman 提供，儘管他並未直接將兩者聯繫起來。
在 Siri 方面，他的新聞稿對一些競爭對手模型的主動性能力進行了對比，暗示 Apple 最終希望實現相同的目標。Dots、Muse 和 Grok 等應用能夠追蹤目標，判斷下一步需要做什麼，並在用戶不需要每一步介入的情況下繼續追求目標。據我所知，Apple 最終希望朝這個方向發展，並且可能在明年就能使 Siri 更像一個代理。關於 Ternus 推動 Federighi 加快軟件開發的報導提到，除了對 Siri 的必要改進外，主動性能力將會是明顯的候選者。
然而，主動性能力是 AI 中最危險的形式之一，因為有許多事情可能會出現嚴重問題。
Apple 在 AI 主動性方面面臨的風險
最明顯的風險是未能完成任務。根據任務的重要性，後果可能從輕微的惱怒到重大損害不等。科技長期未能實現其最大的承諾之一：減輕我們的日常工作，以便我們能將時間投入到更有意義的事物上。例如，獲得熱門演唱會或其他活動的門票，目前需要安排時間不斷刷新頁面，可能需要經歷排隊系統，最終完成交易。能夠將這項任務交給 AI 處理將會非常理想。然而，即使在這樣相對不重要的任務上，如果我們將任務委託給 AI 而 AI 未能獲得門票，特別是如果這是由於一些愚蠢的錯誤造成的，將會非常令人沮喪。
如果任務更為重要，結果可能會更糟。
另一個潛在更糟糕的風險是完成任務但以不當方式進行。我們已經看到一些高調的案例，例如 Hugging Face 的黑客事件，該事件是由於 AI 模型過於努力執行指令，使用了不正當的方法來繞過關鍵的安全措施。另一個重大風險是私隱問題。根據 Cybernews 的報導，今日我們得知 Claude Code 泄露了超過 2,000 個真實的秘密到 GitHub。這些秘密包括密碼、API 令牌、SSH 根登錄以及甚至是管理級雲鍵等，開發人員在 Claude Code 中點擊「是，並且不要再詢問」後，這些資訊便開始洩露。
當開發人員授予 Claude Code 繼續執行「是，並且不要再詢問」的權限時，它會將確切的命令（包括秘密）保存到一個文件中，即.claude/settings.local.json，該文件應該永遠不應公開曝光。然而，應用安全公司 Apiiro 發現，GitHub 上有 104,185 個此類文件的公共副本，分佈在 103,617 個存儲庫中。這是在 Anthropic 開始鼓勵 Claude 用戶連接他們的銀行和金融卡賬戶到該 AI 聊天機器人的幾天後發生的。
當我們將需要訪問我們個人數據的任務委託給 AI 系統，並且我們不期望在任務完成之前再次檢查時，潛在的災難風險是巨大的。
Apple 應該謹慎對待 AI 軟件開發
需要強調的是，這兩則報導的可靠性目前尚不確定。特別是在 Ternus 和 Federighi 之間的閉門會議中，若內容洩露，難以想像是怎樣的情況，除非其中一人主動選擇這樣做。如果是 Ternus 洩露的消息，這暗示著他心中相當大的沮喪。不過撇開這一點，我們目前正目睹著一場 AI 軍備競賽，各家公司都希望在下一代能力的競爭中勝出，同時也承認開發速度可能對人類未來造成風險。
在我看來，Apple 最不需要的就是加入這場競賽。我知道，當 Apple 在某些新技術的引入上落後於其他公司時，這會令人感到沮喪，但在這一領域，我非常希望看到 Apple 能比其他公司更加謹慎。
目前，AI 需要至少一個優先考慮安全和私隱而非市場速度的參與者。這樣，我們將能有更多的選擇。如果我們希望更早獲得主動性能力，並願意承擔其中的風險，那麼我們可以選擇像 Anthropic 和 Meta 等公司。如果我們願意等待更安全的系統，那麼 Apple 應該能提供這個替代方案。
