Grok dan kekerasan digital: Alarm dini bagi regulasi AI

Dalam beberapa waktu terakhir, Grok, AI chatbot di media sosial X, menjadi sorotan publik karena fitur manipulasi foto yang disalahgunakan oleh sebagian pengguna untuk membuat konten yang tidak pantas. Fenomena ini semakin memperjelas bahwa teknologi AI yang dirancang untuk membantu bisa disalahgunakan sebagai alat kekerasan digital baru, terutama ketika mengubah foto pribadi tanpa persetujuan pemilik.

Fenomena manipulasi foto dan kekerasan digital

Konten manipulatif yang dihasilkan dengan Grok sering kali menampilkan foto asli seseorang yang diedit menjadi konten vulgar, bahkan tanpa persetujuan orang dalam foto tersebut. Kasus seperti ini tidak hanya menimpa figur publik, tetapi juga pengguna biasa, khususnya perempuan, yang mengunggah foto pribadi mereka.

Meski fitur edit foto AI sudah lama ada, kecanggihan Grok membuat proses manipulasi yang dulu kompleks kini bisa dilakukan siapa saja, tanpa keahlian teknis khusus. Hal ini mempermudah pengguna yang berniat buruk untuk memproduksi konten yang merendahkan martabat orang lain.

Dampak pada korban

Penting dicatat bahwa manipulasi foto semacam ini bukan sekadar tindakan iseng. Bagi banyak korban, penyebaran gambar yang telah diubah secara seksual bisa menyebabkan stigma sosial, rasa malu, dan rasa tidak aman di ruang digital.

Secara psikologis, meskipun konten tersebut bersifat digital, dampaknya nyata, yaitu kehilangan kontrol atas citra pribadi dan invasi privasi dapat berdampak panjang. Ini karena jejak konten digital hampir tidak bisa dihapus sepenuhnya begitu tersebar luas.

Reaksi Pemerintah dan Respons Hukum

Beberapa negara dan lembaga kini mulai merespons fenomena ini secara serius. Di Indonesia, berbagai langkah tengah dipertimbangkan. Akibat masalah ini Melansir dari laman komdigi.go.id, Kemkomdigi menyelidiki lebih lanjut penyalahgunaan Grok AI untuk produksi dan penyebaran konten asusila serta memperingatkan risiko pelanggaran terhadap hak privasi dan hak atas citra diri.

Direktur Jenderal Pengawasan Ruang Digital, Alexander Sabar mengatakan,

“Temuan awal menunjukkan belum adanya pengaturan spesifik dalam Grok AI untuk mencegah pemanfaatan teknologi ini dalam pembuatan dan penyebaran konten pornografi berbasis foto pribadi. Hal ini berisiko menimbulkan pelanggaran serius terhadap privasi dan hak citra diri warga,” ujarnya di Jakarta, Rabu (07/01/2026).

Kemkomdigi lebih lanjut menegaskan bahwa penyedia layanan kecerdasan buatan maupun pengguna yang terbukti memproduksi dan/atau menyebarkan konten pornografi atau manipulasi citra pribadi tanpa hak dapat dikenakan sanksi administratif dan/atau pidana sesuai ketentuan hukum yang berlaku.

Hal ini dijelaskan dalam Undang-Undang Nomor 1 Tahun 2023 tentang Kitab Undang-Undang Hukum Pidana (KUHP) pada 2 Januari 2026, konten pornografi diatur antara lain dalam Pasal 172 dan Pasal 407. Pasal 172 mendefinisikan pornografi sebagai media yang memuat kecabulan atau eksploitasi seksual yang melanggar norma kesusilaan, sementara Pasal 407 mengatur ancaman pidana penjara paling singkat 6 (enam) bulan dan paling lama 10 (sepuluh) tahun atau pidana denda sesuai ketentuan.

Namun memang kerangka hukum di banyak negara juga masih tertinggal. Serta, butuh penyesuaian agar bisa menangani pelanggaran digital baru seperti deepfake dan manipulasi berbasis AI.

Grok dan Tantangan Regulasi AI

Insiden ini bukan sekadar masalah teknis, melainkan juga cerminan tantangan regulasi AI secara global. Fitur generatif seperti Grok memudahkan pembuatan konten visual, tetapi tanpa sistem pengamanan yang kuat dan jelas, teknologi yang seharusnya membantu justru bisa dipakai untuk menyebarkan konten yang merendahkan martabat individu.

Sayangnya memang aturan saat ini masih kurang memadai untuk menangani jenis kekerasan digital yang difasilitasi oleh AI. Ketidaksiapan hukum dan kelemahan mekanisme moderasi memungkinkan penyalahgunaan yang berpotensi melanggar hak privasi dan keamanan pengguna.

Peran publik dan etika digital

Selain regulasi, kesadaran publik juga penting. Pengguna media sosial perlu memahami bahwa mengonsumsi, menyebarkan, atau bahkan menertawakan konten manipulatif berdampak pada normalisasi kekerasan digital. Literasi digital yang sehat harus mencakup pemahaman etika penggunaan teknologi, batasan privasi, dan konsekuensi dari menyebarkan konten yang merugikan orang lain.

Fenomena manipulasi foto pribadi yang dilakukan Grok menunjukkan bahwa teknologi AI tidak netral, tanpa regulasi yang jelas dan mekanisme pengamanan yang kuat, AI dapat menjadi alat kekerasan digital yang merugikan individu dan kelompok tertentu. Kejadian ini merupakan peringatan bahwa kita membutuhkan kebijakan dan pedoman penggunaan teknologi yang lebih matang dan responsif terhadap risiko sosial, tanpa menghambat inovasi yang membawa manfaat.