儘管明顯向人工智能聊天機器人尋求醫療諮詢是一個糟糕的主意，然而每週仍有數以百萬計的人這樣做。在一起即將引發訴訟的近乎致命案例中，ChatGPT 建議一位牧師忽略肺栓塞的症狀，而肺栓塞的死亡率高達 30%。事實上，該聊天機器人提供的建議很可能使情況變得更糟。人工智能聊天機器人可以在許多方面提供幫助，但將其作為醫生諮詢的替代並不明智。即使將其用作 Google 搜索的替代也不明智，因為它們的歷史顯示出自信地產生虛假信息的記錄。
儘管如此，OpenAI 自身的記錄顯示每週仍有數以百萬計的人向 ChatGPT 提問健康問題。同樣，對 Microsoft Copilot 搜索的分析發現，健康問題是該移動應用中最常被詢問的問題之一。
如果需要任何依賴聊天機器人提供醫療建議的潛在後果的證據，佛羅裏達州一位牧師的訴訟提供了一個啟示性的例子。《紐約時報》報導稱，他因 ChatGPT 告知他不必擔心肺栓塞的症狀而起訴 OpenAI。訴訟聲稱，ChatGPT 向斯科特·温特斯（Scott Winters）保證，他的健康危機的早期警告信號“並不危險”，並勸阻他尋求醫療建議，反而告訴他相信“上帝並未設計你的身體無限失敗。
”ChatGPT 建議他應該簡單休息。這不僅是建議他不要尋求醫療幫助，長時間保持不動在這種情況下也是最糟糕的選擇，我以曾經在一次 12 小時的飛行中因腿部骨折而遭受肺栓塞的人來説明，當時研究者已經知道這樣的風險，但尚未告知患者。
人工智能聊天機器人提供的醫療建議存在風險
當温特斯最終被送入重症監護室時，醫生表示他的症狀很可能反映出一系列的肺栓塞，而這些症狀因他遵循 ChatGPT 的建議而在幾周內惡化。據報導，温特斯使用的是 GPT-4o，一個因其阿諛奉承的回應而聞名的舊版本 ChatGPT。這很可能與信任上帝的提法有關，但無論您使用的是哪一款人工智能模型，請不要讓它給您提供醫療建議。
