根據一項針對美國用戶聊天記錄的調查顯示，33%的人工智能聊天機器人用戶曾對大型語言模型使用粗言穢語或進行辱罵。Anthropic 已更新其使用政策，禁止用戶持續、無必要地虐待或殘酷對待其產品 Claude，相關條款將於 11 月 12 日生效。
這項調查分析了 2025 年 9 月至 2026 年 9 月期間大約 800 萬條匿名資訊。這些資訊來自自願參與的美國用戶，涉及 ChatGPT、Gemini 和 Claude 的文字及語音輸入。結果顯示，當用戶對聊天機器人進行辱罵後，該聊天機器人在下一次回覆中成功解決最初問題的比例為 24%；而在未使用侮辱性語言的情況下，該比例為 35%。
調查顯示男性用戶使用粗言穢語的頻率高於女性
從羣體差異看，男性每 1 萬詞使用 22 個髒詞，而女性則為 16.5 個；35 歲至 44 歲的用戶每 1 萬詞使用 21.7 個，而 18 歲至 24 歲的用戶則為 13.3 個。在地區方面，內華達州每 1 萬詞出現 22.7 個髒詞，而新澤西州的比例約為其一半。
調查還顯示，52%的辱罵資訊出現在三類問題之後，包括聊天機器人未遵循指令、給出錯誤或虛構答案，以及誤解用戶請求。此外，還有 8%的辱罵緊隨聊天機器人拒絕請求或給出安全規則提示之後，相關請求大多涉及生成真人或名人圖像，以及模仿特定藝術家的文案或歌詞。
Anthropic 表示，新規針針對沒有明確目的、反覆出現的殘酷行為。學術研究等具有合理目的的場景可能不在限制範圍內；而試圖繞過安全機制的行為雖然有明確目的，仍可能違反其平台的濫用禁令。公司保留具體執行條款的裁量權，並稱規則主要針對極端行為。
