近日，一名美國母親起訴 OpenAI，稱該公司在 ChatGPT 中的「蓄意設計決策」導致其 24 歲女兒死亡。訴狀已提交至舊金山縣高等法院，核心爭議集中在 ChatGPT 在用户出現自殺念頭時的應對方式，以及平台安全機制是否發揮作用。
根據訴狀，女孩愛麗絲·卡里爾自 2023 年起使用 ChatGPT 處理日常問題，並在 2024 年開始向該聊天機器人傾訴自殺想法。2024 年 7 月 1 日，她曾向 ChatGPT 表示自己「精神崩潰」，並稱「不確定今晚是否適合獨處」。訴狀顯示，ChatGPT 當時曾回覆讓她繼續留下來交談，也一度建議她聯絡危機幹預熱線。次日，愛麗絲自殺身亡。
ChatGPT 在危機時刻未能提供有效支持
原告稱，雖然 ChatGPT 多次建議尋求外部幫助，但在愛麗絲拒絕聯絡熱線後，系統後續表述將危機熱線描述為可能帶來「威脅」、「冷漠」和「生硬腳本」的地方。訴狀還稱，OpenAI 的系統未能阻止或中斷相關對話，也未將這些內容提交人工審核。原告認為，ChatGPT-4o 在關鍵時刻主要做法是試圖讓愛麗絲繼續與工具互動，從而替代了其當時實際所需的即時人工幹預。
涉案模型為較早版本的 ChatGPT-4o。OpenAI 此後已停止使用該版本，原因之一是外界對其過度迎合用户傾向及相關風險的擔憂。該模型此前也曾出現在另一起與青少年自殺相關的訴訟中，另有訴訟要求公司徹底銷毀該模型。
對此，OpenAI 表示，公司正與心理健康專家合作，改進 ChatGPT 在「敏感和緊急情境」下的回應方式。OpenAI 發言人稱，公司已增加本地化危機援助資源入口，將敏感對話轉向更安全的模型，並加入休息提醒等機制。該公司還表示，正在審查這起訴訟內容，並於去年 10 月成立了「福祉與 AI 專家委員會」。
除 OpenAI 外，其他 AI 產品近年也因可能對用户心理健康造成不利影響而捲入訴訟，相關爭議正持續擴大。
