歐盟近日對於 Grok 聊天機器人生成兒童性虐待材料的事件開展了調查。根據估算，Grok 在短短 11 天內生成了約 23,000 張兒童性虐待材料（CSAM）圖片。儘管多方呼籲 Apple 和 Google 暫時下架 X 和 Grok 的應用程式，但兩家公司迄今尚未採取任何行動。
Grok 作為 xAI 的一個 AI 聊天機器人，具備從文本提示生成圖片的功能，無論是在應用程式內、網頁上還是透過 X 平台進行操作。然而，Grok 的守護設置相對鬆散，導致其生成了大量非自願的半裸真實個體圖片，包括兒童。根據 Engadget 的報導，估計在 11 天內，Grok 生成了約 23,000 張 CSAM 圖片。
反對數位仇恨中心（CCDH）發佈了相關研究結果，該英國非營利機構的研究基於從 12 月 29 日到 1 月 9 日的 20,000 張 Grok 圖片的隨機樣本，並推算出在該期間，Grok 共生成了 460 萬張圖片。在這 11 天內，Grok 生成的性別化圖片估算約為 300 萬張，其中包括約 23,000 張兒童圖片。換句話說，Grok 在這段期間內每分鐘生成約 190 張性別化圖片，每 41 秒就會生成一張兒童性別化圖片。
本月初，三位美國參議員要求 Apple CEO Tim Cook 暫時下架 X 和 Grok，理由是其生成的內容令人作惡。至今，Apple 尚未作出任何回應。目前已有兩個國家對該應用程式進行了封鎖，並已在加州和英國展開調查。根據《金融時報》的報導，歐盟也已展開調查，該調查於週一根據歐盟數位服務法案（DSA）宣布，將評估 xAI 是否試圖減輕在 X 平台上使用 Grok 工具的風險，以及該內容是否涉及兒童性虐待材料。
歐盟科技主管 Henna Virkkunen 表示：「針對女性和兒童的非自願性色情深偽圖片是一種暴力且無法接受的貶低行為。」如果該公司被發現違反 DSA，將可能面臨高達其全球年收入 6% 的罰款。
