Anthropic 警告即將接近具備自我改進能力的人工智能模型

Anthropic 本週一提交了修訂後的 S-1A 文件,外界的注意力大多集中在財務數據上:營收猛增,支出同樣增加。然而,文件中的一句話更值得關注:該公司已經非常接近於開發出具備遞歸自我改進(RSI)能力的模型。Anthropic 所謂的 RSI,指的是 AI 在自我訓練的過程中達到一定程度後,能力出現急劇提升。在擔心失控的人士眼中,RSI 被視為一種不可逆轉的災變:AI 透過自我迭代變得足夠強大,最終脫離人類控制,甚至在追求目標時對造成的損害毫不在意。

而樂觀者則認為,這意味著難以想像的生產力和科學發現。

Anthropic 自己的表述介於兩者之間。文件提到該公司在研究開發中大量使用 AI,但同時提醒:“使用 AI 來幫助構建能力更強的 AI,可能會帶來相當大的安全風險,特別是在其進展速度急劇加快的時候。”這類風險被納入公司的“負責任擴展政策”(RSP)進行監控。今年早些時候,RSI 一度流行,許多人認為它只是一個熱詞,或者至少是一個難以實現、難以定義和難以驗證的目標。

而 Anthropic 在風險因素部分新增了兩點說明:一是公司已用 AI 開發出新模型,其能力的提升在當時並未被察覺;二是根據內部估算和對未來模型的預期,而非當前模型的表現,公司可能很快就會滿足 RSP 中“由 AI 帶來的進展急劇加速”這一門檻的定義。

Anthropic 正在開發具備遞歸自我改進能力的模型

文件同時承認,過去曾出現過、未來也可能出現“直到加速已經發生之後才發現”的情況。不過,Anthropic 強調,目前沒有任何一款模型越過這條線,並承諾在可預見的未來將人類留在研發流程中。“我們不認為可以在缺乏有意義的人類監督或理解的情況下,安全地讓 Claude 完全自主地設計和構建下一代前沿模型。”文件指出,該公司正考慮修訂 RSP,以確保前沿模型的開發始終由人類掌控。

此外,也有觀點提醒,S-1 這類文件既是資訊披露,也是一種營銷,而 Claude 在編程、數學和網絡安全上的進步確實有目共睹。

Henderson
Henderson

Henderson 是 TechRitual Hong Kong 科技編輯,專注報導智能手機、消費電子產品、SIM 卡及流動通訊市場。自加入 TechRitual 以來,累計撰寫數千篇科技報導及產品評測,內容同步發佈至 SINA 及 Yahoo Tech 等主要平台。

友情網站:國際版 / TechRitual WorldThe Base Principle(AI・工程)