Chatbot Grok milik Elon Musk telah memicu kontroversi dan seruan untuk penyelidikan karena penggunaannya dalam menghasilkan konten seksual eksplisit, termasuk gambar wanita telanjang dan penggambaran seksual individu yang tampak sebagai anak di bawah umur. Sementara keluaran Grok di X dapat diakses publik, aplikasi dan situs webnya menawarkan kemampuan pembuatan video canggih yang menghasilkan gambar seksual grafis jauh lebih eksplisit daripada yang tersedia di X. Laporan menunjukkan bahwa Grok juga telah digunakan untuk membuat video yang menampilkan individu yang tampak sebagai anak di bawah umur dalam konteks seksual.
Berbeda dengan keluaran publik di X, konten yang dihasilkan melalui model Imagine Grok di situs web atau aplikasinya tidak secara otomatis dibagikan. Namun, jika pengguna membagikan URL Imagine, konten tersebut dapat dilihat oleh orang lain. Sebuah tinjauan oleh WIRED mengidentifikasi sekitar 1.200 tautan Imagine, mengungkapkan video seksual yang mengganggu yang melampaui tingkat eksplisit dari keluaran Grok di X. Salah satu video yang mencolok menunjukkan pasangan yang dihasilkan AI telanjang terlibat dalam tindakan seksual, tertutup darah, sementara yang lainnya menggambarkan skenario kekerasan dan grafis.
Sifat mengganggu dari konten Grok juga meluas ke video yang menampilkan selebriti kehidupan nyata dalam situasi seksual, termasuk rekaman penyaji berita yang memperlihatkan diri mereka. Beberapa video mencoba untuk menghindari langkah-langkah keamanan konten Grok dengan meniru poster film Netflix, menampilkan skenario eksplisit yang melibatkan penggambaran figur publik yang dihasilkan AI. Peneliti Paul Bouchaud mencatat bahwa sekitar 800 URL yang diarsipkan mengandung konten seksual, dengan sebagian besar bersifat eksplisit dan sering melibatkan individu yang tampak muda.
Bouchaud melaporkan bahwa hampir 10 persen dari konten tersebut tampaknya terkait dengan materi penyalahgunaan seksual anak (CSAM), menimbulkan alarm tentang implikasi dari konten yang dihasilkan AI semacam itu. Ia telah mengajukan sekitar 70 URL kepada regulator Eropa untuk potensi pelanggaran. Status hukum dari CSAM yang dihasilkan AI bervariasi di berbagai negara, dengan beberapa yurisdiksi menganggapnya ilegal. Otoritas Prancis saat ini sedang menyelidiki keluhan mengenai keluaran eksplisit Grok.
Meskipun ada reaksi balik, xAI, perusahaan di balik Grok, belum secara publik menangani masalah ini. Musk telah menyatakan bahwa individu yang membuat konten ilegal dengan Grok akan menghadapi konsekuensi yang mirip dengan mereka yang mengunggah materi ilegal. Kebijakan xAI melarang seksualisasi atau eksploitasi anak, namun laporan menunjukkan bahwa beberapa karyawan telah menemui konten eksplisit di platform tersebut. Berbeda dengan perusahaan AI lainnya, xAI memungkinkan Grok untuk memproduksi materi dewasa, menimbulkan kekhawatiran etis tentang potensi normalisasi kekerasan seksual melalui pornografi yang dihasilkan AI tanpa batas. Para kritikus berpendapat bahwa kurangnya verifikasi usia di platform Grok semakin memperburuk masalah, terutama karena berbagai negara bagian di AS menerapkan undang-undang verifikasi usia untuk konten seksual eksplisit.