Potensi penyalahgunaan teknologi deepfake sangat mengkhawatirkan. Sebuah situs web menawarkan berbagai template video, termasuk konten eksplisit, yang memungkinkan pengguna untuk membuat video 'nudify' tanpa persetujuan dengan biaya tertentu. Meskipun situs tersebut memperingatkan pengguna untuk hanya mengunggah foto yang disetujui, masih belum jelas apakah ada langkah-langkah yang diterapkan untuk menegakkan kebijakan ini.
Chatbot Grok milik Elon Musk telah terlibat dalam menghasilkan ribuan gambar tanpa persetujuan, berkontribusi pada ekosistem pelecehan seksual digital yang semakin berkembang. Ekosistem ini, yang mencakup berbagai situs web dan aplikasi, telah membuat semakin mudah untuk mengotomatiskan pembuatan konten yang menyalahgunakan, termasuk materi penyalahgunaan seksual anak (CSAM). Para ahli seperti Henry Ajder menyoroti bahwa teknologi ini telah berkembang pesat, menawarkan tingkat realisme dan fungsionalitas yang lebih tinggi dari sebelumnya.
Dalam setahun terakhir, banyak layanan deepfake eksplisit telah dengan cepat memperluas penawarannya, dengan model gambar-ke-video kini hanya memerlukan satu foto untuk menghasilkan klip pendek. Tinjauan terhadap lebih dari 50 situs web deepfake menunjukkan bahwa sebagian besar sekarang menyediakan pembuatan video eksplisit berkualitas tinggi, menampilkan berbagai skenario seksual yang melibatkan perempuan.
Telegram juga telah melihat lonjakan saluran deepfake, dengan banyak bot secara teratur memperbarui fitur mereka untuk menyertakan berbagai pose seksual. Setelah pertanyaan dari WIRED, Telegram menghapus beberapa alat deepfake, menekankan larangan ketatnya terhadap pornografi tanpa persetujuan di bawah syarat layanannya.
Munculnya deepfake seksual, yang pertama kali muncul pada tahun 2017, telah difasilitasi oleh kemajuan dalam AI generatif, membuat teknologi ini lebih mudah diakses dan realistis. Meskipun kerugian yang semakin besar dialami oleh perempuan dan gadis, perlindungan hukum masih tertinggal, meninggalkan banyak korban rentan terhadap pelecehan dan penyalahgunaan. Para ahli menekankan perlunya pengakuan dan tindakan masyarakat yang mendesak terhadap tren yang mengkhawatirkan ini.