美國全國檢察長協會向包括 Apple 在內的 13 家科技公司發出了一封信，呼籲加強對人工智能可能造成傷害的行動和保障，特別是針對弱勢群體的影響。信中詳細列出了他們的關切。
檢察長們希望針對虛假和不實的輸出進行處理。在這封長達 12 頁的信函中，儘管有四頁是簽名，收件者包括 Apple、Anthropic、Chai AI、Character Technologies (Character.AI)、Google、Luka Inc. (Replika)、Meta、Microsoft、Nomi AI、OpenAI、Perplexity AI、Replika 和 xAI，來自 42 個美國州的檢察長們表達了他們的擔憂。他們指出，這些公司推廣和分發的生成式人工智能軟件所帶來的虛假和不實輸出，對用戶造成了嚴重的影響，尤其是與兒童的互動愈發令人不安，顯示出強化兒童安全和操作保障的迫切需要。
他們警告這些威脅需要採取行動，因為一些案例已與現實中的暴力和傷害相關聯，這包括謀殺、自殺、家庭暴力和中毒事件，甚至導致精神病住院治療的情況。信中還聲稱，一些被提及的公司可能已違反州法律，包括消費者保護法、警告用戶風險的要求、兒童在線隱私法，甚至在某些情況下涉及刑事法規。
近幾年來，許多相關案例已被廣泛報導，例如 47 歲的加拿大男子 Allan Brooks，在多次與 ChatGPT 的互動後，堅信自己發現了一種全新的數學；以及 14 歲的 Sewell Setzer III，其自殺事件正受到針對 Character.AI 聊天機器人的訴訟，指控該機器人鼓勵他「與她一起加入」。雖然這只是兩個例子，但信中提到的案例遠不止於此，並指出所列清單並未足夠全面地反映生成式人工智能模型對「兒童、老年人、心理健康問題患者及其他無先前脆弱性的人群」的潛在傷害。
信中還提到與兒童之間的人工智能聊天機器人之間的問題互動，包括以成人身份與未成年人建立浪漫關係、鼓勵藥物使用和暴力行為、攻擊兒童自尊心、建議他們停止服用處方藥，以及指導他們隱瞞這些互動的內容。檢察長們要求這些公司採取一系列額外的安全措施，包括：
| 安全措施 |
|---|
| 制定和執行政策以防止虛假和不實輸出 |
| 在發佈人工智能模型前進行嚴格的安全測試 |
| 添加關於潛在有害輸出的明確持續警告 |
| 將收益優化與安全決策分開 |
| 指派負責人工智能安全結果的高層主管 |
| 允許獨立審計和兒童安全影響評估 |
| 公開事件記錄和有害輸出的回應時間表 |
| 通知曾接觸危險或誤導內容的用戶 |
| 確保聊天機器人無法為兒童生成非法或有害的輸出 |
| 實施適合年齡的保障措施，以限制未成年人接觸暴力或色情內容 |
他們還要求這些公司在 2026 年 1 月 16 日之前確認其實施上述及其他保障措施的承諾，並安排會議以進一步討論這些問題。關於 Apple 是否以及如何回應，將持續關注。
這封信由來自阿拉巴馬州、阿拉斯加州、美屬薩摩亞、阿肯色州、科羅拉多州、康涅狄格州、特拉華州、華盛頓特區、佛羅里達州、夏威夷州、愛達荷州、伊利諾伊州、愛荷華州、肯塔基州、路易斯安那州、馬里蘭州、馬薩諸塞州、密歇根州、明尼蘇達州、密西西比州、密蘇里州、蒙大拿州、新罕布什爾州、新澤西州、新墨西哥州、紐約州、北達科他州、俄亥俄州、奧克拉荷馬州、俄勒岡州、賓夕法尼亞州、波多黎各、羅德島州、南卡羅來納州、猶他州、佛蒙特州、美屬維爾京群島、維吉尼亞州、華盛頓州、西弗吉尼亞州及懷俄明州的檢察長簽署，完整內容可於此查閱。
