Penilaian Dampak Sebelum Peluncuran Model Skor Kredit Berbasis Machine Learning
Bank Cakrawala memiliki 2,8 juta pemegang kartu kredit dan berencana meluncurkan mesin skor kredit berbasis pembelajaran mesin dalam 6 minggu. Model dilatih oleh vendor Recife Analytics yang berbasis di Singapura menggunakan data internal bank ditambah data paket data, pola isi ulang pulsa, dan lokasi perangkat pada tingkat kecamatan dari operator telekomunikasi. Batas kredit ditetapkan otomatis, dan 8% pengajuan ditolak tanpa campur tangan manusia. Uji coba internal menunjukkan akurasi baik, tetapi angka penolakan untuk pelamar berpenghasilan tidak tetap 2,3 kali lebih tinggi dibanding pelamar berpenghasilan tetap dengan profil serupa. DPO baru bergabung dua bulan lalu dan belum dilibatkan. Tim produk berargumen penilaian dampak tidak diperlukan karena data yang dipakai bukan data sensitif dan nasabah sudah menyetujui syarat layanan. Evaluasi ulang model direncanakan setiap kuartal tanpa dokumentasi metode.
1. Apakah penilaian dampak pelindungan data pribadi (DPIA) wajib dalam kasus ini? Identifikasi pemicunya dan uraikan cakupan penilaian yang harus dilakukan.
Read the worked answer
DPIA wajib, dan argumen tim produk tidak berlaku.
Pemicu (beberapa sekaligus):
- Pengambilan keputusan otomatis yang berdampak hukum atau signifikan (penolakan kredit, penetapan limit) tanpa manusia dalam lingkar keputusan.
- Pemrosesan dalam skala besar (2,8 juta subjek data).
- Penggunaan teknologi baru (model ML) dan penggabungan sumber data eksternal.
- Pemrosesan data lokasi untuk evaluasi sistematis; lokasi perangkat dapat menjadi proksi atas kondisi sosial-ekonomi, agama lingkungan tempat tinggal, atau aktivitas.
Mengapa argumen tim produk gugur: 'bukan data sensitif' bukan kriteria penentu; DPIA melihat risiko pada subjek data, bukan hanya kategori data. Persetujuan syarat layanan juga bukan pengganti DPIA, dan consent bukan dasar yang tepat untuk keputusan kredit - dasar yang lebih relevan adalah pelaksanaan kontrak atau kewajiban regulasi, dengan uji proporsionalitas tersendiri.
Cakupan minimum:
- Deskripsi sistematis pemrosesan: sumber data, variabel, alur ke Recife Analytics, lokasi penyimpanan, masa simpan.
- Penilaian kebutuhan dan proporsionalitas: apakah data pulsa dan lokasi kecamatan benar-benar diperlukan, atau dapat diganti variabel yang kurang intrusif.
- Identifikasi risiko: diskriminasi, ketidakakuratan data pihak ketiga, re-identifikasi, transfer lintas batas, kurangnya penjelasan kepada pemohon, ketergantungan vendor.
- Mitigasi, risiko residual, dan pendapat DPO.
- Rencana pemantauan berkelanjutan dan pemicu peninjauan ulang.
Dokumentasi kuartalan tanpa metode adalah tanda masalah tata kelola model, bukan bukti kepatuhan.
2. Bagaimana Anda menilai risiko bias dan diskriminasi pada model ini, dan siapa yang semestinya memutuskan risiko residual serta peluncuran?
Read the worked answer
Penilaian. Selisih penolakan 2,3 kali untuk pelamar berpenghasilan tidak tetap dengan profil serupa adalah indikasi kuat diskriminasi melalui proksi. Variabel seperti pola isi ulang pulsa dan lokasi kecamatan berkorelasi dengan kelas ekonomi dan dapat menghasilkan keputusan yang tidak berdasar kemampuan bayar. Uji akurasi keseluruhan tidak membantah hal ini; yang dibutuhkan adalah uji keadilan antarkelompok.
Mitigasi yang harus dijalankan sebelum peluncuran:
- Uji keadilan (paritas demografis, kesetaraan peluang, kalibrasi per segmen) dan dokumentasikan hasilnya.
- Tinjau daftar variabel; buang proksi yang tidak punya dasar bisnis kuat; pertimbangkan mengganti lokasi tingkat kecamatan dengan data yang lebih relevan.
- Sediakan penjelasan keputusan (misalnya kontribusi fitur) dalam bahasa yang dapat dipahami pemohon dan staf layanan.
- Terapkan peninjauan manusia untuk penolakan, setidaknya pada masa awal peluncuran, dan jalur banding.
- Pemantauan berkelanjutan dengan pemicu berhenti otomatis bila disparitas melewati ambang yang disepakati.
Siapa memutuskan. DPO memberi pendapat dan dapat merekomendasikan penghentian, tetapi tidak menanggung risiko bisnis sendirian. Keputusan menerima risiko residual harus diambil oleh pemilik risiko yang accountable (misalnya komite risiko atau direksi terkait) berdasarkan rekomendasi komite model risk dan kepatuhan, dengan catatan tertulis. Bila mitigasi tidak mampu menurunkan risiko ke tingkat yang dapat diterima, keputusan yang benar adalah menunda peluncuran atau meluncurkan bertahap dengan manusia dalam lingkar keputusan.
Tenggat 6 minggu bukan alasan memangkas pengujian; justru menjadi bukti bahwa tata kelola model belum siap.
3. Hak apa yang dimiliki pemohon atas keputusan otomatis tersebut, dan apa yang harus dibangun Bank Cakrawala sebelum peluncuran?
Read the worked answer
Pemohon memiliki hak untuk menolak keputusan yang sepenuhnya otomatis dan berdampak signifikan, memperoleh penjelasan yang bermakna, serta meminta peninjauan manusia atas keputusan tersebut. Hak ini tidak hilang karena pemohon menandatangani syarat layanan.
Yang harus dibangun sebelum peluncuran:
- Kanal permintaan yang jelas (dalam aplikasi dan melalui layanan pelanggan) dengan alur tiket, SLA, dan pencatatan.
- Prosedur peninjauan manusia: analis berwenang dapat membalik keputusan model, dengan kriteria dan dokumentasi; bukan sekadar formalitas meminta maaf.
- Keluaran penjelasan yang dapat dibaca manusia: alasan penolakan utama, variabel yang paling berpengaruh, dan cara memperbaiki data yang keliru.
- Hak pembetulan dan keakuratan: mekanisme membantah data operator telekomunikasi yang tidak akurat, termasuk jalur eskalasi ke sumber data.
- Pencatatan dan auditabilitas: log versi model, masukan, keluaran, dan keputusan peninjauan manusia, disimpan selama periode yang cukup untuk menangani sengketa.
- Aliran kewajiban ke vendor: Recife Analytics harus memberikan dokumentasi model, mendukung penjelasan, dan tidak memakai data untuk tujuan sendiri.
- Pemberitahuan privasi yang diperbarui: sumber data pihak ketiga, logika umum pemrosesan, dan cara menggunakan hak.
Tanpa butir 1-3, peluncuran menciptakan pelanggaran hak yang sudah dapat diprediksi sebelum sistem berjalan.