在星期一，超過 200 位前國家元首、外交官、諾貝爾獎得主、人工智能領導者、科學家等一致認同一點：應該訂立一項國際協議，明確 AI 絕對不能越過的「紅線」，例如不允許 AI 冒充人類或自我複製。
這些人士與超過 70 個專注於 AI 的組織一同簽署了「全球 AI 紅線呼籲」倡議，呼籲各國政府在 2026 年底之前達成一項關於 AI 的「紅線」的國際政治協議。簽署者包括英國和加拿大的計算機科學家 Geoffrey Hinton、OpenAI 共同創辦人 Wojciech Zaremba、Anthropic 首席信息安全官 Jason Clinton、Google DeepMind 研究科學家 Ian Goodfellow 等。
法國人工智能安全中心（CeSIA）執行董事 Charbel-Raphaël Segerie 在星期一的新聞簡報中表示：「目標不是在重大事件發生後反應，而是要在大規模、潛在的不可逆風險發生之前加以預防。」
他補充道：「如果各國尚未能就如何使用 AI 達成共識，那麼至少應該就 AI 絕對不能做的事情達成一致。」
此次宣佈正值第 80 屆聯合國大會高層週在紐約舉行，該倡議由 CeSIA、未來社會（Future Society）及加州大學伯克利分校人類兼容人工智能中心（Center for Human-Compatible Artificial Intelligence）主導。
諾貝爾和平獎得主 Maria Ressa 在大會開幕發言中提到該倡議，呼籲各方努力「透過全球問責制結束大型科技公司的不受懲罰行為」。
目前已存在一些地區性的 AI 紅線。例如，歐盟的 AI 法案禁止某些被視為「不可接受」的 AI 使用。此外，美國與中國之間也達成協議，核武器必須由人類而非 AI 控制。但尚未達成全球共識。
長期來看，僅僅依賴「自願承諾」是不夠的，未來社會全球 AI 治理主任 Niki Iliadis 在星期一的記者會上表示。AI 公司內部制定的負責任擴展政策「無法實現真正的執行」。最終，需要一個獨立的全球機構來定義、監控和執行紅線。
加州大學伯克利分校計算機科學教授、著名 AI 研究者 Stuart Russell 在簡報中指出：「他們可以選擇不建造 AGI，直到知道如何使其安全。就像核能開發者在知道如何防止核電廠爆炸之前並不建造核電廠一樣，AI 行業必須選擇一條不同的技術路徑，從一開始就內建安全性，而我們必須知道他們正在這樣做。」
Russell 表示，紅線不會妨礙經濟發展或創新，正如一些對 AI 監管的批評者所主張的那樣。「你可以在不擁有我們無法控制的 AGI 的情況下進行經濟發展的 AI。」他表示，「這種所謂的二元對立——如果想要醫療診斷，就必須接受會毀滅世界的 AGI——我認為這完全是無稽之談。」
