Anthropic 提出警告:人工智能系統或將實現自我改進能力

隨著人工智能技術的迅速發展,根據 Anthropic 公司的新研究,人工智能系統正在開始協助構建下一代的 AI 模型。該公司指出,這一趨勢可能最終導致 AI 系統在最小的人類幹預下自行設計和改進自身。Anthropic 在其專注於研究的 Anthropic Institute 發表了一篇警示性博客,表示行業可能比許多政府和機構預期的更快地朝向「遞歸自我改進」的方向發展。

這一概念描述了未來一個 AI 模型將開發下一個版本的情景。儘管目前研究人員仍在引導這一過程,但 Anthropic 表示,AI 已經在公司內部處理越來越多的編碼、調試和技術研究工作。

Anthropic 指出其內部數據顯示,AI 工具在軟件工程工作中的貢獻速度極快。該公司表示,截至 2026 年 5 月,由 Claude 生成的代碼已佔合併至 Anthropic 系統中代碼的 80% 以上,而在 2025 年初推出 Claude Code 之前,該比例僅為低個位數。內部數據顯示,Claude 正在加速 AI 的發展,這可能成為遞歸自我改進的途徑,即 AI 自主構建更具能力的後繼者。

這一進展的速度超出了我們的預期,並且其影響值得更多關注。

該公司還指出,隨著這些變化,工程生產力也大幅上升。Anthropic 的工程師目前每天合併的代碼量大約是 2024 年的八倍。Anthropic 的聯合創始人兼政策負責人 Jack Clark 表示,該公司希望立法者和機構能夠理解未來可能發生的情況。他表示,「我們一直認為,最好將這一概念進行社交化,基本上讓人們瞭解即將到來的變化。」Clark 補充道,AI 的進展似乎正在加速,而不是放緩。

他指出,這一變化可能會推動醫學、科學及其他技術領域的重大進步。

AI 系統在軟件工程和科學研究中的表現迅速提升

Anthropic 還強調了追蹤 AI 在軟件工程和科學研究任務中表現的公共基準。該公司表示,AI 系統現在能完成越來越複雜的任務,且在較長時間內無需人類幹預。Anthropic 聲稱,模型能可靠處理的任務長度大約每四個月就會翻倍。根據該公司的説法,Claude Opus 3 在 2024 年初完成了僅需幾分鐘的編碼任務。一年後,Claude Sonnet 3.7 完成了約 90 分鐘的工作。

Anthropic 表示,Claude Opus 4.6 隨後處理了長達 12 小時的任務。

該公司還提到了 SWE-bench,這是一項測試 AI 是否能修復開源項目中實際編碼問題的軟件工程基準。Anthropic 表示,前沿模型在這一基準中的得分從初期的低分數上升至在兩年內幾乎達到飽和。另一個基準 CORE-Bench 測量 AI 是否能重現已發表的科學研究。Anthropic 表示,AI 系統從 2024 年時重現結果的概率約為 20%,在約 15 個月後提高至幾乎完美的表現。

Anthropic 強調,當前系統與完全自主 AI 開發之間仍存在重大差距。該公司指出,人類仍然負責定義目標、評估結果和決定哪些研究方向最重要。儘管如此,該公司警告説,如果監管工具未能跟上發展,強大的自主系統可能會帶來新的風險。Clark 表示,「作為組織,最終可能作為社會,我們需要找出驗證和確認 AI 生成工作所需的工具。」他補充説,未來的系統必須與人類的目標和公共利益保持一致。

Anthropic 計劃在未來幾個月內與美國立法者討論這一問題,並表示政府應做好準備,因為 AI 系統最終可能在極少的直接人類參與下幫助創建更強大的後繼者。

Henderson
Henderson

Henderson 是 TechRitual Hong Kong 科技編輯,專注報導智能手機、消費電子產品、SIM 卡及流動通訊市場。自加入 TechRitual 以來,累計撰寫數千篇科技報導及產品評測,內容同步發佈至 SINA 及 Yahoo Tech 等主要平台。