兩個國家已經封鎖了 Grok 應用程式，因為該應用程式被廣泛用於生成未經同意的近裸露深度偽造圖像，涉及女性和兒童。目前有第三個國家正在進行調查。三位美國參議員已要求 Apple 暫時將 X 和 Grok 兩款應用程式從美國 App Store 移除，原因是其生成的內容令人作嘔。我們仍在等待 Apple 的回應。
Grok AI 工具既可以作為獨立應用程式使用，也可以通過 X 應用程式訪問，並在 X 網站的 Grok 標籤中提供。已有大量證據顯示，Grok 能夠生成未經同意的近裸露深度偽造圖像，這些圖像是通過將穿著衣物的照片數字化處理，然後去除衣物並替換為比基尼或其他暴露的服裝。更令人擔憂的是，其中一些深度偽造圖像竟然是兒童的。
雖然 Grok 理論上已經封鎖了裸露圖像，但一些用戶卻使用了繞過這一限制的提示語言。星期五，三位美國參議員呼籲 Apple 暫時將這兩款應用程式從 App Store 移除，指出這些未經同意的圖像中包括兒童性虐待材料（CSAM）。參議員 Ron Wyden、Ed Markey 和 Ben Ray Luján 向 Apple 和 Google 的執行長發出公開信，要求兩家公司在全面調查“非自願性性化圖像的大規模生成”之前，撤回 X 和 Grok 應用程式。
信中提到，前 CEO Elon Musk 未能採取行動，並將 Apple 和 Google 對待 ICEBlock 應用程式的迅速移除與他們對 X 和 Grok 應用程式的消極反應進行對比。Musk 唯一的回應是將 X 的圖像生成限制於付費訂閱者，但這項功能同樣可以通過 X 網站和應用程式的 Grok 標籤對所有人開放。
據美聯社報導，馬來西亞和印尼已經在其國內封鎖了 Grok 應用程式。這兩個東南亞國家的監管機構表示，現有的控制措施未能防止虛假色情內容的生成和傳播，特別是涉及女性和未成年人的內容。印尼政府已於星期六暫時封鎖了 Grok 的訪問。
截至目前，Apple 和 Google 尚未公開回應，這兩款應用程式仍然可以在美國的應用商店中下載。我們已經聯繫 Apple 要求評論，若有任何回應將會更新。
