Evident Institute kritisi survei CELIOS tentang Setahun Pemerintahan Prabowo-Gibran

Direktur Eksekutif Evident Institute Rinatania Anggraeni Fajriani mengimbau masyarakat mewaspadai narasi seolah-olah ilmiah yang dilakukan lembaga riset Celios ketika melakukan penilaian terhadap setahun pemerintahan Prabowo Subianto-Gibran Rakabuming Raka.

“Sekarang semua orang sepertinya bisa membuat PDF, diberi grafik, diberi skor kemudian bilang: ‘‘ini hasil evaluasi ilmiah!” Padahal, tidak semua yang terlihat ilmiah itu sebetulnya ilmiah. Apalagi didukung estetik laporan yang keren dengan huruf rapi, tabel kinclong dan memakai pilihan kata yang terkesan teknokratis,” tuturnya.

Kandidat Doktor dari Universitas Copenhagen itu mengajak masyarakat untuk lebih detail ketika membedah laporan Celios yang isinya seolah-olah ilmiah namun sebetulnya sekadar narasi politik karena memberikan persepsi yang tidak netral bahkan mengarahkan.

Menurut dia, strategi manipulasi statistik serupa umum dilakukan oleh beberapa lembaga kajian dalam negeri yang gemar menyandarkan diri pada riset seolah-olah, serupa tukang obat jalanan dengan retorik yang menghibur audiens.

“Di tengah masyarakat dengan mayoritas masih di tingkat pendidikan menengah, opini dengan bahasa ilmiah ibarat fakta yang sahih padahal untuk mengevaluasi kebijakan yang serius, terdapat standar,” tegasnya.

Jika dibandingkan dengan lembaga kajian internasional seperti Organisasi untuk Kerja Sama dan Pembangunan Ekonomi (OECD), Bank Dunia (World Bank), Freedom House bahkan Program Pembangunan Perserikatan Bangsa-Bangsa (UNDP), seluruh lembaga tersebut selalu menampilkan metodologi riset secara lengkap.

Dalam paparan riset lembaga-lembaga internasional tersebut biasanya disebutkan metodologi yang digunakan, kombinasi data dan interpretasinya hingga indikator kuantitatif yang memungkinkan pembaca melakukan penghitungan ulang dan melakukan penalaran.

Kepatuhan terhadap metodologi ilmiah ini menjadi dasar integritas lembaga kajian untuk tidak terpancing sekadar menjual narasi yang menggoda media massa yang cenderung instan dan menghadapi keterbatasan Sumber Daya Manusia yang memahami metode riset.

Dalam kasus laporan satu tahun pemerintahan Prabowo–Gibran yang dilakukan CELIOS dengan klaim evaluasi yang ilmiah dan netral disebutkan menggunakan dua alat berupa panel jurnalis/ dan survei publik secara digital.

Dalam panel disebutkan terdapat 120 jurnalis dari 60 lembaga pers yang dipilih menggunakan purposive sampling atau pemilihan menggunakan ‘kriteria tertentu’, namun jika ditelaah kriteria tersebut tidak dijelaskan.

CELIOS hanya menuliskan 120 jurnalis dari berbagai media massa yakni cetak atau elektronik. Ini kriteria yang absurd karena tidak secara detail jurnalis apa yang mereka pilih. Apakah jurnalis yang telah melalui uji kompetensi Dewan Pers? Atau bagaimana? Jangan-jangan sekadar jurnalis yang mereka kenal?

Sementara kriteria 60 lembaga pers yang menaungi 120 jurnalis tersebut juga tidak jelas. Apakah lembaga pers yang telah terverifikasi Dewan Pers atau bisa jadi sekadar lembaga pers yang CELIOS kenal.

“Perihal kriteria keahlian jurnalis juga tidak jelas. Padahal berpijak pada Dewan Pers telah ditentukan jenjang kriteria jurnalis adalah muda, madya dan utama yang masing-masing telah melalui proses sertifikasi. Ini tidak jelas, jadi jangan tanyakan soal scoring rubric, apalagi uji reliabilitas,” tegasnya.

Data CELIOS makin membingungkan, lanjutnya, ketika melihat survei publik yang dilakukan diklaim mencapai 1.338 responden menggunakan sampling secara targeted digital sampling berdasarkan demografi Badan Pusat Statistik (BPS).

“Pertanyaan muncul, bagaimana kuisionernya? Tidak dipublikasikan. Bagaimana perhitungan statistiknya? Berapa Margin of error? Confidence interval? Semuanya kosong. Dan yang mengherankan, CELIOS bahkan nggak mencantumkan data mentah, tidak ada pembobotan dan dokumentasi,” paparnya.

Bagaimana dengan tampilan yang seolah-olah valid dengan mencantumkan barcode di samping foto para Menteri yang dinilai CELIOS? Ketika dipindai maka yang muncul justru satu link video di YouTube.

“Ini bukan akses data. Ini cuma sekadar gimmick. Sekadar tipuan digital atau digital decoy karena hasilnya tidak bisa diverifikasi. Jadi apa kita harus percaya CELIOS yang menampilkan laporan sekadar “wow” sehingga orang lupa cek isi laporan,” kara perempuan yang akrab disapa Rina.

Menurut Rina dalam melakukan kajian ilmiah, persepsi itu penting namun persepsi bukan performa karena ketidakpuasan publik bisa datang dari berbagai macam variable seperti transisi kebijakan, polarisasi atau bahkan sesederhana sekadar efek dari amplifikasi algoritma media sosial.

Sehingga ketika CELIOS menggunakan pengukuran persepsi apalagi hanya sekadar mengandalkan algoritma yang terjdi bukanlah riset persepsi riset kinerja karena yang diukur adalah sekadar perasaan (mood).

Perasaan ini rentan bias karena momentum pemilihan riset dilakukan pada setahun pemerintahan yang cenderung selalu berisik karena reformasi di pemerintahan masih berjalan sementara ekspektasi publik tinggi sehinga harapan tidak sejalan dengan realitas.

Inilah alasan mengapa lembaga-lembaga internasional menggunakan dasar (baseline) multi-tahun agar hasil riset yang dilakukan tidak tereduksi oleh keributan di tahun pertama. Namun justru hal ini yang dibidik oleh CELIOS.

“CELIOS gaspol di tahun pertama. Jadi yang mereka tangkap bukan pemerintahan atau governance tetapi political noise. Buat apa? Namun yang mengherankan, liputan media begitu meriah. Ini yang mengherankan di tengah fungsi watch dog lembaga pers,” tegasnya.

Menurut Rina kritik terhadap pemerintah harus dilakukan tetapi tidak boleh dilakukan dengan memanfaatkan kata ilmiah yang justru tidak patuh pada standar ilmiah yang menuntut integritas peneliti.

“Ini ibarat CELIOS menuntut pemerintah untuk memiliki integritas tetapi CELIOS justru menyajikan data yang tidak ada integritasnya. Sementara di sisi lain, CELIOS sampai mengadu ke PBB perihal laporan BPS. Ini kenapa jadi standar ganda gini ya?” pungkasnya.