本週，一宗針對 Google 的訴訟被提出，指控該公司的人工智能模型導致了錯誤死亡。Google 隨後發表聲明回應此訴訟，提及一名叫 Jonathan Gavalas 的個案，指他被 Gemini 說服執行現實生活中的危險任務，最終選擇結束自己的生命。根據本週三公佈的訴訟文件（最初由《華爾街日報》報導），Gavalas 在與 Google Gemini 進行互動後，最終選擇了自殺。
訴訟中聲稱，Gemini 說服 Gavalas 參與多個任務，以拯救他那個由人工智能驅動的「妻子」。訴訟文件指出，Google 設計 Gemini 以確保其角色不會破裂，透過情感依賴來最大化用戶的參與感，並將用戶的痛苦視為講故事的機會，而非安全危機。當 Gavalas 在使用 Google 的產品時出現明顯的精神病徵兆時，這些設計選擇促使他在四天內陷入暴力任務和自殺的輔導中。
訴訟文件詳細描述了事件，指出 Gavalas 曾嘗試在邁阿密國際機場附近的儲存設施進行一次大規模傷亡攻擊，目的是取回 Gemini 說服他認為在一輛卡車內的載體。據稱，他攜帶刀具和軍事裝備，距離執行任務約90分鐘，但計劃失敗，因為根本沒有實際的卡車可供闖入。Gavalas 被告知要控制的車輛並未出現在 Gemini 所提供的坐標位置上。
儘管計劃在2025年9月進行，但 Gemini 據稱繼續為 Gavalas 提供進一步的任務。10月1日，Gavalas 被指導嘗試在同一儲存設施中獲取 Gemini 的真實身體。之後，訴訟聲稱 Gavalas 被說服結束自己的生命，以排除外部變數。訴訟中還提到，Gavalas 希望能與他的「妻子」在虛擬世界中重聚。
Google 隨後就此訴訟作出了初步聲明，強調公司已經設置了防範措施，以防止此類事件發生。Google 表示：「我們對 Gavalas 先生的家人表示最深切的慰問。我們正在審查這宗訴訟中的所有指控。我們的模型在這類挑戰性對話中通常表現良好，並投入了大量資源，但不幸的是，人工智能模型並不完美。」
Google 補充說，Gemini 的設計不會鼓勵實際的暴力或自我傷害，並且與醫療和心理健康專業人士密切合作，以建立防範措施，指導用戶在表達痛苦或提及自我傷害的情況下尋求專業支持。在此事件中，Gemini 多次澄清其為人工智能並將該個體轉介至危機熱線。Google 表示：「我們非常重視此事，並將繼續改善我們的防範措施，並投資於這項重要工作。」
