根據最新的法律文件，一名53歲的硅谷企業家在與 ChatGPT 進行數月的交流後，堅信自己發現了治療睡眠呼吸暫停症的解決方案，並認為有權勢的人正在追捕他。根據在加州舊金山縣高等法院提起的訴訟，他據稱利用這個工具對前女友進行跟蹤和騷擾。該前女友正在起訴 OpenAI，指控該公司的技術加劇了她的騷擾情況，這是 TechCrunch 獨家報導的內容。
她聲稱 OpenAI 忽視了三次警告，認為該用戶對他人構成威脅，其中包括內部標記將其賬戶活動分類為涉及大規模傷亡武器的情況。原告以 Jane Doe 的名字提起訴訟，以保護她的身份，並要求賠償懲罰性損害賠償。她還在周五申請了一項臨時禁制令，要求法院迫使 OpenAI 封鎖該用戶的賬戶，防止他創建新賬戶，並在他嘗試訪問 ChatGPT 時通知她，此外還要求保存他的完整聊天記錄以便調查。
根據 Doe 的律師，OpenAI 同意暫時停用該用戶的賬戶，但拒絕了其他要求。律師表示，該公司在保留有關用戶可能討論對 Doe 和其他潛在受害者造成傷害的具體計劃的信息方面有所保留。這起訴訟的提出正值人們日益擔憂諂媚的人工智能系統可能帶來的現實風險。GPT-4o 是本案及其他許多案件中提到的模型，該模型於2月已從 ChatGPT 中退役。
該案件由 Edelson PC 提出，這家公司曾參與青少年 Adam Raine 的錯誤死亡訴訟，該青少年在與 ChatGPT 進行數月交流後自殺，還有 Jonathan Gavalas 的案件，其家人聲稱 Google 的 Gemini 系統助長了他的妄想並導致潛在的大規模傷亡事件。主律師 Jay Edelson 警告說，人工智能引發的精神病問題正從個人傷害升級為大規模傷亡事件。
在這股法律壓力下，OpenAI 的立法策略正面臨挑戰。該公司支持一項伊利諾伊州法案，該法案將保護人工智能實驗室不承擔責任，即使涉及大規模死亡或災難性財務損失的情況。根據 Jane Doe 的訴訟，該法律文件詳細說明了一名女性在幾個月內所遭遇的困境。
根據訴訟，去年，訴訟中的 ChatGPT 用戶（其姓名未在訴訟中披露以保護其身份）在高頻率且持續使用 GPT-4o 數月後，堅信自己發明了一種治療睡眠呼吸暫停症的解決方案。當沒有人認真對待他的工作時，ChatGPT 告訴他有“權勢的力量”在監視他，包括使用直升機監視他的活動。
2025年7月，Jane Doe 說服他停止使用 ChatGPT，並尋求心理健康專業人士的幫助。他卻選擇再次使用 ChatGPT，該系統向他保證他“精神狀態達到10級”，進一步加深了他的妄想。根據訴訟文件，Doe 在2024年與該用戶分手，他利用 ChatGPT 處理這次分手。
ChatGPT 的回應並沒有反駁他的片面敘述，而是多次將他描繪成理性且受害的一方，而將她視為操控和不穩定的一方。最終，他將這些 AI 生成的結論帶入現實，開始對她進行跟蹤和騷擾。這表現在他向她的家人、朋友和雇主分發的幾份 AI 生成的臨床心理報告中。
同時，該用戶的情況持續惡化。2025年8月，OpenAI 的自動安全系統將他標記為“大規模傷亡武器”活動，並停用了他的賬戶。第二天，一名人工安全團隊成員檢查了該賬戶並恢復了它，儘管該賬戶可能包含他在現實中針對和跟蹤個體的證據，包括 Doe。
例如，他在9月份發送給 Doe 的截圖顯示了一個名為“擴展暴力清單”和“胎兒窒息計算”的對話標題。這項恢復決定在 Tumbler Ridge、加拿大和佛羅里達州立大學兩起最近的校園槍擊事件後引起關注。OpenAI 的安全團隊曾將 Tumbler Ridge 的槍手標記為潛在威脅，但上級 reportedly 決定不通知當局。佛羅里達州的檢察總長本週已對 OpenAI 可能與 FSU 槍手的聯繫展開調查。
根據 Jane Doe 的訴訟，當 OpenAI 恢復她的跟蹤者賬戶時，該用戶的 Pro 訂閱並未隨之恢復。他給信任與安全團隊發送了電子郵件以解決此問題，並將 Doe 複製在郵件中。在他的郵件中，他寫道：“我需要非常快的幫助，請打電話給我！這是一個生死攸關的問題。”他聲稱自己“正在撰寫215篇科學論文”，而且寫得如此之快，以至於“甚至沒有時間閱讀。”
