Reject inference: uji setiap aturan penolakan

Kami menguji pendekatan yang biasa digunakan pemberi pinjaman dengan dataset kartu kredit publik dan data pengajuan HELOC publik dari FICO. Hasil setiap akun dan pengajuan diketahui. Langkah awalnya sama seperti yang umum dilakukan: terapkan satu aturan penolakan, lalu bangun scorecard dari pengajuan yang lolos. Pada data kartu kredit, aturan tersebut menolak siapa pun yang terlambat membayar pada bulan sebelumnya. Saat meninjau variabel yang dihasilkan, status pembayaran yang mencatat keterlambatan itu memiliki information value 0.02, di bawah ambang yang umum digunakan dan mudah dianggap perlu dihapus. Hasilnya tampak biasa saja, seperti pemeriksaan rutin dalam lembar kerja pengembangan model. Namun, jika kebijakan Anda sudah menggunakan variabel tersebut, apakah information value yang rendah menunjukkan sesuatu tentang risiko kredit, atau justru tentang seleksi?

Prediksi metode untuk kelompok yang ditolak

Kami membandingkan scorecard yang dibangun dari akun yang disetujui dengan sejumlah metode reject inference yang umum digunakan. Setiap metode berawal dari scorecard tersebut, membuat asumsi tentang akun yang ditolak, lalu menggunakan hasil perkiraan itu untuk membangun scorecard baru. Reject inference adalah estimasi kelayakan kredit pemohon yang ditolak ketika data kinerja mereka tidak tersedia. Tabel ini membandingkan prediksi setiap metode untuk kelompok yang ditolak dengan tingkat gagal bayar aktual pada masing-masing dataset.

MetodeData kartu kreditData HELOC
Tingkat gagal bayar aktual50.4%72.4%
Semua hasil diketahui50.5%72.5%
Hanya akun yang disetujui18.9%71.6%
Fuzzy augmentation20.3%71.8%
Hard cutoff80.7%90.1%
Parceling29.1%90.8%

Fuzzy augmentation memasukkan setiap akun yang ditolak dua kali, dengan bobot berdasarkan probabilitas hasil buruk yang diprediksi scorecard pertama dan sisanya sebagai hasil baik. Prediksi tersebut kemudian digunakan lagi saat scorecard dibangun ulang. Hard cutoff memberi label baik atau buruk pada setiap akun yang ditolak berdasarkan perbandingan risiko prediksinya dengan median akun yang disetujui. Parceling membagi akun yang ditolak ke dalam kelompok skor, lalu menetapkan hasil buruk dengan tingkat yang lebih tinggi berdasarkan akun yang disetujui di tiap kelompok. Metode-metode ini menerapkan asumsi pada akun yang ditolak, bukan menggunakan hasil yang diamati.

Pada data kartu kredit, tidak satu pun metode mendekati tingkat gagal bayar aktual. Pada data HELOC, scorecard yang hanya menggunakan akun yang disetujui sudah memberikan hasil yang mendekati angka aktual. Metode yang mengubah prediksi justru menaikkannya terlalu jauh. Hasilnya bergantung pada informasi yang tersembunyi akibat aturan penolakan, bukan pada pemilihan model yang lebih rumit.

Aturan penolakan menyembunyikan pola risiko suatu variabel

Scorecard kartu kredit tidak dapat mempelajari hubungan antara keterlambatan pembayaran dan hasil gagal bayar dari akun yang disetujui. Aturan penolakan sudah lebih dulu mengeluarkan akun dengan keterlambatan tersebut. Grafik information value membandingkan variabel ini pada seluruh akun dan pada akun yang disetujui.

Grafik information value membandingkan seluruh akun dengan akun yang disetujui: status pembayaran bulan lalu 0.88 dibandingkan 0.02
Information value pada seluruh akun dan hanya pada akun yang disetujui (data kartu kredit UCI)

Pada seluruh akun, status pembayaran bulan lalu merupakan variabel terkuat. Pada akun yang disetujui, information value-nya tepat di ambang yang biasa digunakan untuk menghapus variabel. Ini menunjukkan dampak seleksi, bukan bukti bahwa variabel tersebut tidak berkaitan dengan risiko.

Pada akun yang disetujui, variabel tersebut umumnya menunjukkan kartu tidak digunakan, pembayaran lunas, atau saldo bergulir. Tingkat gagal bayar pada kategori-kategori itu tidak membentuk pola yang jelas. Akun dengan pembayaran tertunggak, yang menunjukkan pola risiko, berada di kelompok yang ditolak. Karena itu, scorecard yang hanya melihat akun yang disetujui tidak memiliki contoh untuk mempelajari nilai-nilai tersebut. Bahkan, regresi logistik biasa membaca data akun yang disetujui seolah-olah keterlambatan yang lebih lama berarti risiko lebih rendah. Hasil ini berlawanan dengan pola pada data lengkap.

Itulah sebabnya metode reject inference meleset pada data kartu kredit. Metode tersebut berawal dari scorecard yang dilatih pada populasi yang hubungan antara suatu variabel dan risiko sudah dihilangkan oleh aturan penolakan.

Kelompok uji acak mengukur risiko kelompok yang ditolak

Data akun yang disetujui saja tidak dapat menyelesaikan masalah seleksi. Untuk mengukur risiko kelompok yang ditolak, setujui sebagian pemohon secara acak dari kelompok yang biasanya ditolak oleh setiap aturan. Tandai pinjaman mereka sebagai kelompok uji, lalu tunggu sampai hasilnya diketahui. Lakukan pengujian terpisah untuk setiap aturan karena tiap aturan memilih kelompok yang berbeda.

Tabel ini menunjukkan ketepatan pengukuran tingkat gagal bayar kelompok kartu kredit oleh kelompok uji dengan ukuran berbeda.

Proporsi yang disetujuiPinjamanRentang hasil pengukuran
2%sekitar 8041% hingga 60%
5%sekitar 20045% hingga 56%
10%sekitar 40046% hingga 54%

Dari pengambilan berulang kelompok uji acak pada akun kartu kredit yang ditolak, kelompok berisi sekitar dua ratus pinjaman mengukur tingkat gagal bayar dengan rentang sekitar sebelas poin persentase pada sebagian besar pengambilan. Kelompok yang lebih kecil menghasilkan rentang lebih lebar, sedangkan kelompok yang lebih besar mempersempitnya. Ukuran yang tepat bergantung pada kelompok yang perlu Anda ukur. Gunakan kalkulator champion challenger untuk menentukan ukuran pengujian sesuai keputusan yang akan diambil. Baca juga panduan menentukan durasi pengujian untuk memahami berapa lama pengujian champion challenger perlu berjalan.

Pisahkan kelompok uji untuk keperluan pengukuran. Dalam pengujian kami, menambahkan kelompok kecil hanya untuk melatih scorecard tidak membuat prediksi scorecard WoE sesuai dengan tingkat aktual. Model dapat menggunakan hasil kelompok uji dalam proses pengembangan, tetapi tetap gagal mengukur tingkat gagal bayar kelompok tersebut. Hasil aktual dari kelompok uji itulah buktinya.

Bandingkan prediksi dengan rentang hasil pengukuran kelompok uji

Setelah hasil kelompok uji tersedia, bandingkan tingkat gagal bayar yang terukur dengan prediksi scorecard untuk kelompok yang sama. Gambar ini membandingkan setiap prediksi dengan rentang hasil pengukuran dari kelompok uji acak.

Grafik membandingkan prediksi scorecard dengan rentang kelompok uji: kartu kredit 18.9% dibandingkan 45–56%, HELOC 71.6% berada dalam rentang 63–81%.
Tingkat gagal bayar kelompok yang ditolak: prediksi scorecard dibandingkan hasil pengukuran kelompok uji 5%

Pada data kartu kredit, prediksi scorecard jauh di bawah rentang hasil pengukuran kelompok uji. Pada data HELOC, prediksinya berada dalam rentang tersebut. Scorecard pertama tidak dapat menentukan harga untuk kelompok kartu kredit, sedangkan scorecard yang hanya menggunakan akun yang disetujui sudah memberikan prediksi mendekati tingkat aktual untuk kelompok HELOC. Perbandingan ini membedakan kedua kasus tersebut.

Jalankan pemeriksaan ini dalam alur keputusan

Buat aturan untuk kredit, fraud, atau penagihan, lalu jalankan pada keputusan nyata.

Kalibrasi ulang memperbaiki tingkat rata-rata, bukan urutan risiko

Jika tingkat prediksi scorecard berbeda dari tingkat yang terukur pada kelompok uji, Anda dapat mengkalibrasi ulang score untuk kelompok yang ditolak tersebut. Hitung score pinjaman dalam kelompok uji, lalu sesuaikan tingkat score agar prediksi rata-ratanya sama dengan tingkat gagal bayar yang terukur. Penyesuaian ini mengubah tingkat prediksi, bukan urutan pemohon dalam kelompok tersebut.

Tabel ini membandingkan prediksi scorecard sebelum dan sesudah kalibrasi ulang dengan tingkat gagal bayar aktual dalam pengujian kami.

DatasetSebelumSesudahAktual
Data kartu kredit, sekitar 210 pinjaman18.9%50.6%50.4%
Data HELOC, sekitar 66 pinjaman71.6%70.7%72.4%

Pada kedua dataset, kalibrasi ulang membuat prediksi rata-rata mendekati tingkat aktual. Namun, kecocokan rata-rata tidak menunjukkan apakah score dapat membedakan risiko yang lebih baik dari yang lebih buruk dalam kelompok tersebut. Rata-rata yang sudah dikoreksi saja tidak cukup untuk mengganti aturan penolakan dengan score.

Gunakan Gini kelompok uji untuk menilai apakah aturan dapat diubah

Periksa Gini score pada kelompok uji untuk mengetahui apakah score dapat mengurutkan risiko dalam kelompok yang ditolak. Tabel ini menunjukkan rentang nilai Gini pada pengambilan kelompok uji secara acak.

DatasetKelompok ujiRentang Gini
Data kartu kredit5%, sekitar 200 pinjaman-0.16 hingga 0.11
Data kartu kredit10%, sekitar 400 pinjaman-0.12 hingga 0.06
Data HELOC5%, sekitar 66 pinjaman0.18 hingga 0.65
Data HELOC10%, sekitar 130 pinjaman0.26 hingga 0.58

Pada data kartu kredit, Gini score mendekati nol bahkan ketika kelompok uji diperbesar. Score tidak dapat mengurutkan risiko baik dan buruk dalam kelompok yang ditolak, sehingga kalibrasi ulang tidak menjadikannya pengganti aturan. Pada data HELOC, Gini berada di atas nol. Artinya, score dapat mengurutkan kelompok yang ditolak. Setelah tingkatnya dikalibrasi ulang, cut-off dapat menggantikan aturan tersebut.

Sebelum mengubah aturan HELOC, lakukan backtest atas rilis yang diusulkan dengan keputusan produksi sebelumnya, lalu periksa pengajuan yang akan disetujui atau ditolak oleh perubahan tersebut. Gunakan kalkulator swap set untuk menilai pengajuan yang akan berpindah keputusan.

Langkah melakukan reject inference pada portofolio Anda

Saat menyeleksi variabel pada data kartu kredit, jangan mempertahankan atau menghapus variabel hanya berdasarkan information value pada akun yang disetujui jika aturan penolakan sudah menghilangkan nilai-nilai yang menunjukkan hubungannya dengan risiko.

Lakukan langkah berikut untuk setiap aturan penolakan:

  1. Daftar aturan penolakan yang perlu Anda evaluasi.
  2. Untuk setiap aturan, setujui secara acak sebagian kecil pemohon yang ditolak melalui percabangan acak dalam alur keputusan. Tandai pinjaman tersebut sebagai bagian dari kelompok uji dan catat hasilnya.
  3. Setelah hasilnya tersedia, bandingkan bad rate terukur dari kelompok uji dengan prediksi scorecard untuk kelompok tersebut.
  4. Kalibrasi ulang tingkat skor untuk kelompok tersebut.
  5. Periksa Gini scorecard pada kelompok uji. Jika nilainya mendekati nol, pertahankan aturan penolakan karena scorecard tidak dapat mengurutkan tingkat risiko dalam kelompok tersebut. Jika nilainya jelas di atas nol, jalankan backtest atas perubahan yang diusulkan untuk melihat akun mana yang baru akan disetujui sebelum ambang batas menggantikan aturan.

Jika variabel lain mencatat riwayat yang sama, gunakan scorecard yang hanya dibangun dari akun yang disetujui sebagai titik awal. Metode reject inference mengubah estimasi tersebut berdasarkan asumsi masing-masing.

Pertanyaan yang sering diajukan

Metode reject inference mana yang paling baik?

Dalam pengujian kami, metode-metode tersebut jauh dari tingkat gagal bayar aktual kelompok kartu kredit. Pada data HELOC, scorecard yang hanya menggunakan akun yang disetujui sudah memberikan hasil yang mendekati angka aktual. Metode yang menyesuaikan prediksi justru menaikkannya terlalu jauh.

Mengapa variabel yang kuat memiliki information value rendah pada pinjaman yang disetujui?

Aturan penolakan menghilangkan nilai-nilai yang menunjukkan pola risiko. Pada akun kartu kredit yang disetujui, tingkat gagal bayar pada variabel tersebut hampir tidak bervariasi, padahal pada seluruh akun variabel itu sangat kuat untuk memprediksi risiko.

Apakah fuzzy augmentation mengoreksi bias?

Tidak dalam pengujian kami. Metode ini menambahkan baris yang ditolak dengan menggunakan probabilitas prediksi scorecard pertama, lalu memasukkan prediksi tersebut kembali ke scorecard yang dibangun ulang.

Berapa banyak pemohon yang ditolak perlu masuk kelompok uji?

Dalam pengambilan berulang dari akun kartu kredit yang ditolak, kelompok uji sebesar lima persen, atau sekitar dua ratus pinjaman, menghasilkan tingkat gagal bayar antara 45% dan 56% pada 90% pengambilan. Ukuran yang diperlukan bergantung pada kelompok yang diukur.

Apakah gradient boosting mengatasi masalah ini?

Tidak. Pada data kartu kredit, model ini memprediksi tingkat gagal bayar kelompok yang ditolak sebesar 29.4%, sementara tingkat aktualnya 50.4%.

Jalankan pemeriksaan ini dalam alur keputusan

Buat aturan untuk kredit, fraud, atau penagihan, lalu jalankan pada keputusan nyata.