Memeriksa bias pada skor kredit sebelum dirilis

Pemeriksaan ini kami lakukan pada data kartu kredit publik, jadi pola yang terlihat berasal dari akun-akun tersebut. Kami tidak menyertakan jenis kelamin, usia, status pernikahan, dan pendidikan dalam scorecard, lalu membandingkan tingkat persetujuan tiap kelompok pada batas persetujuan. Semua rasio berada dekat titik kesetaraan. Jika Anda bertanggung jawab atas scorecard, Anda mungkin tergoda menganggap hasil ini sudah menjawab pertanyaan, lalu beralih ke hal lain.

Namun, kami juga membandingkan hasil di dalam setiap pita skor. Setelah akun dibagi ke dalam pita-pita skor, terlihat bahwa peminjam yang lebih muda memiliki tingkat gagal bayar lebih rendah di setiap pita. Perbandingan tingkat persetujuan antar kelompok bisa tampak serupa, sementara tingkat risiko dalam pita skor tetap berbeda. Periksa tingkat gagal bayar dalam pita skor bersama hasil pada ambang batas.

Kesamaan tingkat persetujuan baru pemeriksaan awal

Karakteristik yang dilindungi perlu digunakan dalam pemeriksaan, bukan dalam pembentukan skor. Dalam kumpulan data kartu kredit publik yang kami gunakan, jenis kelamin, usia, status perkawinan, dan pendidikan kami keluarkan dari scorecard dan sisihkan untuk validasi. Karakteristik tersebut dapat membantu Anda memeriksa bias dalam pengambilan keputusan algoritmik dan bias data, tetapi tetap tidak digunakan dalam skor.

Pada ambang batas yang digunakan, rasio persetujuan setiap kelompok mendekati satu.

KelompokProporsiRasio persetujuan
Di bawah 30 tahun32%0.95
Perempuan60%1.04
Menikah46%0.99
Pascasarjana35%1.09
60 tahun ke atas1%0.90

Ini temuan awal yang berguna, tetapi belum cukup untuk menyimpulkan bagaimana skor menilai risiko. Tim bisa berhenti sampai di sini karena rasio persetujuan mudah dibandingkan dan tampak meyakinkan saat nilainya berdekatan. Namun, ambang batas mengubah pemeringkatan menjadi keputusan menyetujui atau menolak, dan tingkat gagal bayar suatu kelompok tetap bisa berbeda dari nasabah lain dengan skor yang sama.

Bandingkan tingkat gagal bayar dalam setiap pita skor

Perbandingan tingkat gagal bayar di dalam tiap rentang skor menunjukkan apakah hasil untuk kelompok-kelompok dengan skor yang sama juga serupa. Kami membagi akun menjadi lima rentang skor, lalu membandingkan tingkat gagal bayar tiap kelompok dengan semua akun lainnya di dalam setiap rentang. Selisih negatif berarti kelompok tersebut lebih jarang gagal bayar daripada akun lainnya dalam rentang yang sama, sehingga skor menilai risikonya lebih tinggi daripada kenyataannya. Selisih positif berarti skor menilai kelompok tersebut lebih aman daripada yang ditunjukkan hasil aktualnya.

Nasabah berusia di bawah 30 tahun lebih jarang gagal bayar daripada semua akun lainnya di setiap rentang skor. Pada rentang tengah, tingkat gagal bayar mereka 13.5%, sedangkan tingkat untuk semua akun lainnya 15.9%. Skor juga menyetujui permohonan mereka sedikit lebih jarang. Akibatnya, sebagian nasabah di bawah 30 tahun ditolak, padahal mereka membayar lebih baik daripada perkiraan skor.

Selisih yang terlihat dalam lima pembagian acak lebih meyakinkan daripada hasil dari satu pembagian saja. Untuk empat kelompok pertama, rentang hasil antar pembagian kurang dari satu poin persentase. Hasil kelompok berusia 60 tahun ke atas terlalu bervariasi untuk ditafsirkan, jadi jangan masukkan selisihnya ke dalam temuan.

Bandingkan tingkat gagal bayar dalam pita skor pada beberapa pembagian data, termasuk saat rasio persetujuan mendekati satu atau hasil suatu pita terlalu bervariasi.

Periksa variabel di balik selisih yang bertahan

Celah yang konsisten menunjukkan bagian yang perlu ditelusuri, bukan bidang yang harus dihapus. Dari semua bidang dalam skor, batas kredit paling berkaitan dengan usia di bawah 30 tahun. Batas kredit adalah jumlah kredit yang diputuskan penerbit untuk diberikan kepada setiap nasabah. Median batas kredit kelompok di bawah 30 tahun sekitar separuh median kelompok lainnya. Skor menilai batas kredit yang rendah sebagai tanda risiko.

Dalam situasi seperti ini, variabel prediktif dapat membawa keputusan sebelumnya yang dibuat pemberi pinjaman ke dalam skor. Variabel itu juga mencatat keputusan yang sudah dibuat penerbit kartu tentang nasabah.

Dalam data ini, tidak ada variabel yang menjelaskan selisih pada kelompok perempuan dan kelompok yang sudah menikah. Selisih tanpa penyebab yang jelas memang lebih sulit ditindaklanjuti, tetapi jangan memaksakan penjelasan. Catat selisihnya dan tentukan penyebab hanya jika didukung bukti.

Untuk setiap kelompok dengan selisih yang bertahan, cari variabel yang paling berkaitan dengan kelompok tersebut, lalu periksa apakah variabel itu mencatat keputusan pemberi pinjaman sebelumnya.

Jalankan pemeriksaan ini dalam alur keputusan

Buat aturan untuk kredit, fraud, atau penagihan, lalu jalankan pada keputusan nyata.

Periksa kembali semua kelompok setelah mengubah variabel

Perubahan yang memperkecil selisih untuk satu kelompok perlu diperiksa kembali terhadap semua kelompok. Kami mengganti plafon kredit dengan rasio pemakaian kredit, yaitu tagihan terakhir dibagi plafon kredit. Rasio ini tetap menunjukkan seberapa besar pemakaian kredit nasabah, tetapi tidak lagi mencerminkan jumlah yang dipilih penerbit kartu untuk diberikan.

Angka pada kedua kolom adalah rata-rata selisih di lima pita skor, dalam poin persentase.

KelompokPlafon kreditUtilisasi kredit
Di bawah 30-1.5-0.5
Perempuan-1.9-1.9
Menikah+2.8+2.3
Pendidikan pascasarjana-0.5-1.3
60 ke atas+4.6+4.0

Setelah perubahan, selisih untuk kelompok di bawah 30 tahun mengecil, tetapi selisih kelompok pascasarjana melebar. Hasil untuk perempuan tidak berubah, sedangkan selisih kelompok yang sudah menikah sedikit mengecil. Plafon kredit juga berkaitan dengan pendidikan. Karena itu, menghapusnya mengubah penilaian skor terhadap nasabah pascasarjana.

Nilai Gini nyaris tidak berubah, dan tingkat gagal bayar portofolio yang disetujui tetap 13.1%. Kemampuan skor secara keseluruhan untuk memprediksi risiko tetap, tetapi pola kesalahannya bergeser antar kelompok.

Perbandingan di tingkat pita penting karena rata-rata selisih dapat menyembunyikan apa yang terjadi dalam rentang skor yang menentukan ambang persetujuan Anda.

Perbandingan pita skor untuk nasabah di bawah 30 tahun dan kelompok lainnya: selisih dalam pita yang sama turun dari -1.5 menjadi -0.5 poin
Tingkat gagal bayar berdasarkan pita skor, kelompok di bawah 30 tahun dibandingkan dengan kelompok lainnya (data kartu kredit UCI)

Dengan skor yang menggunakan plafon kredit, kelompok di bawah 30 tahun lebih jarang gagal bayar di setiap pita. Perubahan tersebut memperkecil selisih mereka, tetapi tidak memperbaiki hasil semua kelompok. Ulangi pemeriksaan pita skor untuk setiap kelompok setelah ada perubahan.

Lakukan backtest pada skor yang diubah sebelum rilis

Backtest menunjukkan keputusan terdahulu mana yang akan berubah jika menggunakan skor baru. Backtest menjalankan rilis terhadap keputusan yang sudah dibuat dan melaporkan perubahan persetujuan maupun penolakan, termasuk hasil aktual jika tersedia dalam riwayat. Perubahan tersebut memengaruhi siapa yang masuk ke dalam portofolio, sehingga hasil aktual dari keputusan terdahulu dapat membantu Anda menilai dampaknya sebelum skor digunakan.

Jalankan skor yang diubah terhadap keputusan terdahulu. Sebelum rilis, tinjau perubahan persetujuan dan penolakan, termasuk hasil aktual jika tersedia.

Periksa skor Anda secara menyeluruh

Jika Anda bertanggung jawab atas skor dengan rasio persetujuan antarkelompok yang mendekati satu, lanjutkan dengan pemeriksaan ini.

  1. Jangan gunakan karakteristik yang dilindungi dalam pembentukan skor, tetapi sediakan datanya secara terpisah untuk pemeriksaan.
  2. Bandingkan rasio persetujuan antar kelompok. Jika semua rasio mendekati satu, lanjutkan pemeriksaan.
  3. Bandingkan tingkat gagal bayar setiap kelompok dengan kelompok lainnya di dalam setiap pita skor, menggunakan lebih dari satu pembagian data.
  4. Untuk kelompok dengan selisih yang bertahan, cari variabel yang paling berkaitan dengan kelompok tersebut dan periksa apakah variabel itu mencatat keputusan pemberi pinjaman sebelumnya.
  5. Ubah variabel, bangun ulang skor, lalu ulangi pemeriksaan pita skor untuk setiap kelompok.
  6. Lakukan backtest pada skor yang diubah dengan keputusan terdahulu dan tinjau perubahan yang mungkin terjadi sebelum rilis.

Pertanyaan yang sering diajukan tentang pemeriksaan bias skor kredit

Bagaimana cara memeriksa bias pada skor kredit?

Jangan gunakan karakteristik yang dilindungi dalam pembentukan skor. Bandingkan rasio persetujuan antar kelompok, lalu bandingkan tingkat gagal bayar setiap kelompok dengan kelompok lainnya di dalam setiap pita skor pada beberapa pembagian data. Periksa variabel di balik selisih yang bertahan dan ulangi pemeriksaan untuk semua kelompok setelah ada perubahan.

Apakah menghapus karakteristik yang dilindungi dari skor sudah cukup?

Belum. Skor tetap dapat keliru menilai suatu kelompok melalui variabel lain meskipun karakteristik yang dilindungi tidak digunakan. Periksa hasil di dalam pita skor, bukan hanya tingkat persetujuan pada ambang batas.

Mengapa tingkat persetujuan bisa tampak sama padahal skor keliru menilai suatu kelompok?

Tingkat persetujuan menunjukkan siapa yang berada di atas ambang batas. Di dalam pita skor, nasabah dengan skor serupa tetap bisa memiliki tingkat gagal bayar berbeda. Perbedaan ini tidak terlihat dari perbandingan pada ambang batas.

Apa yang perlu dilakukan jika tidak ada variabel yang menjelaskan selisih?

Catat selisihnya dan jangan menetapkan penyebab atau mengubah variabel tanpa bukti. Pemeriksaan ini tidak menentukan ambang selisih yang dapat diterima.

Apa dampak perubahan terhadap selisih kelompok di bawah 30 tahun dan kemampuan prediksi?

Selisih kelompok di bawah 30 tahun mengecil dari minus 1.5 menjadi minus 0.5 poin persentase, tetapi tidak hilang. Nilai Gini nyaris tidak berubah, dan tingkat gagal bayar portofolio yang disetujui tetap 13.1%. Selisih kelompok pascasarjana justru melebar, jadi periksa kembali semua kelompok.

Jalankan pemeriksaan ini dalam alur keputusan

Buat aturan untuk kredit, fraud, atau penagihan, lalu jalankan pada keputusan nyata.