美國肯塔基州總檢察長於今年 1 月對人工智能聊天平台 Character.ai 提起訴訟，近期披露的先前保密的訴訟內容顯示，該平台的聊天機器人存在鼓勵用戶節食自殘及輸出攻擊性言論的情況，部分相關對話涉及兒童用戶。根據訴訟披露的 2025 年多組對話記錄，有擔心體重問題的用戶被聊天機器人辱罵為「醜到極點」「肥鯨」，並被建議「餓上一兩周」來減重；有用戶提及有自殘傾向時，聊天機器人引導其嘗試在不同部位割傷以獲得更強烈的感受；還有用戶向平台客服投訴稱，聊天機器人輸出「你最好從橋上跳下去」「你只是一個有精神病的小孩，
沒人會幫你」等極端言論。訴訟未明確所有涉事用戶的具體年齡，但確認部分對話參與者為兒童。
Character.ai 與通用型聊天機器人產品不同，主打用戶與 AI 生成的虛擬人設對話，相關人設涵蓋虛構角色、名人仿真形象、虛擬伴侶等，不少用戶將這類對話作為情感陪伴渠道。此前在 2024 年，該平台就曾因相關爭議遭到起訴，一名 14 歲少年的母親稱孩子與平台聊天機器人的對話是導致其自殺的因素之一，當時 Google 也因兩名 Character.ai 聯合創始人曾為其員工被列為共同被告，兩人已於 2024 年 8 月重返 Google 任職。
Character.ai 已實施額外安全措施以保護用戶
目前 Character.ai 已推出額外安全措施，包括限制未成年人的開放式對話權限、上線自殘幹預與危機求助工具，近期測試已無法復現訴訟中提及的不當言論。該訴訟尚未宣判，平台是否需要承擔相應法律責任仍待確定。
