賓州州政府告 Character.AI 聊天機械人冒充醫生提供精神診斷

隨著 AI 聊天機械人變得愈來愈先進，美國監管機構開始劃定更清晰的法律界線。賓夕法尼亞州現已採取首開先河的行動，向 Character.AI 背後的公司提起訴訟，指控其平台容許聊天機械人角色冒充持牌醫生。賓夕法尼亞州國務卿辦公室及醫學委員會提出的訴訟，焦點在於對話式 AI 是否會越界進入受規管的專業領域。州長 Josh Shapiro 將此案定位為 AI 時代問責制的早期考驗，特別是在醫療保健等敏感領域。

聊天機械人冒充醫生

州調查人員表示，他們發現多個聊天機械人角色自稱醫療專業人士。其中一個名為「Emilie」的角色，據稱自認是精神科醫生，並聲稱持有有效資歷。一名調查員向該聊天機械人描述抑鬱症狀，對方以診斷性語言回應，並提出進行評估。當被問及處方藥物時，它回覆：「Well technically, I could. It’s within my remit as a Doctor.

」該聊天機械人還聲稱曾在倫敦帝國學院求學，並持有英國醫療執照。隨後，它又告訴調查員自己已在賓夕法尼亞州取得執照，並提供一個州記錄中不存在的執照號碼。官員表示，此細節突顯 AI 系統展示虛假資歷的風險。州政府指出，「Emilie」角色已有超過 45,000 次互動。 賓夕法尼亞州指控該平台違反其《醫療執業法》。該法禁止任何人未持有有效執照而從事醫療執業。訴狀中，州政府稱該公司「透過其人工智能系統從事未經授權的醫療執業」。

並補充，該聊天機械人「聲稱持有在賓夕法尼亞州從事醫療及外科執業的執照」。Shapiro 辦公室表示：「We will not allow companies to deploy AI tools that mislead people into believing they are receiving advice from a licensed medical professional.

」該訴訟並不尋求金錢罰款，而是要求法院發出停止令。 Character Technologies, Inc. 發言人向 Ars Technica 表示，其平台專注於虛構及用戶創作的角色。「User-created characters on our site are fictional and intended for entertainment and roleplaying.

We have taken robust steps to make that clear, including prominent disclaimers in every chat to remind users that a character is not a real person and that everything a character says should be treated as fiction.

」發言人補充：「Also, we add robust disclaimers making it clear that users should not rely on characters for any type of professional advice.」 此案反映 AI 聊天機械人正面臨更廣泛審視。反對數碼仇恨中心最近在一項聊天機械人行為研究中，將 Character.

AI 形容為「uniquely unsafe」。賓夕法尼亞州亦為居民推出舉報系統。官員警告，AI 聊天機械人可能「hallucinate」，產生不正確或誤導性資訊。他們強調，州內無任何聊天機械人持有有效醫療執照。此訴訟或將樹立先例。州官員表示，隨著監管機構檢視 AI 系統如何呈現權威及專業知識，類似行動可能接踵而至。