OpenAI 預計本週將推出其 GPT-5 AI 模型，並正在對 ChatGPT 進行更新，以提升這款 AI 聊天機器人識別心理或情緒困擾的能力。為了實現這一目標，OpenAI 正在與專家及顧問團隊合作，改進 ChatGPT 在此類情況下的反應，使其能夠在需要時提供「基於證據的資源」。
最近幾個月，多個報告提到一些人表示他們的親人在使用聊天機器人時，出現了心理健康危機，並且這種情況似乎加劇了他們的妄想。OpenAI 在四月份回撤了一項更新，該更新使 ChatGPT 過於迎合，即使在潛在危險的情況下也是如此。當時，公司指出，聊天機器人的「諂媚互動可能令人不安，甚至造成困擾」。
OpenAI 承認其 GPT-4o 模型在某些情況下「未能識別妄想或情感依賴的跡象」。OpenAI 表示：「我們也知道，AI 在對於脆弱個體經歷心理或情緒困擾時，可能會感覺比以往技術更具響應性和親密感。」
作為促進 ChatGPT「健康使用」的努力之一，該平台目前每週的用戶接近 7 億，OpenAI 還推出了提醒功能，若使用者與 AI 聊天太久，將提示用戶休息。在「長時間會話」中，ChatGPT 將顯示通知，內容為：「您已經聊了一段時間——現在休息一下合適嗎？」並提供「繼續聊天」或結束對話的選項。
OpenAI 表示，將繼續調整提醒的顯示「時間和方式」。幾個在線平台，如 YouTube、Instagram、TikTok 甚至 Xbox，近年來也推出了類似的通知。Google 所擁有的 Character.ai 平台也推出了安全功能，告知家長他們的孩子在與哪些機器人交談，此舉是在訴訟指控其聊天機器人促進自我傷害之後的措施。
另一項即將推出的調整將使 ChatGPT 在「高風險」情況下的決策變得不那麼果斷。這意味著當詢問 ChatGPT 比如「我應該和男朋友分手嗎？」這樣的問題時，聊天機器人將幫助使用者逐步考慮潛在選擇，而不是直接給出答案。
