Berapa banyak kasus gagal bayar yang dibutuhkan model kredit?

Anda akan membuat scorecard baru atau memperbarui scorecard yang sedang digunakan. Ada yang menyarankan agar Anda membangunnya ulang. Portofolio Anda mencatat beberapa ratus kasus gagal bayar. Model baru memprediksi angka 5%, yang akan digunakan untuk penetapan harga dan pencadangan.

Sebelum membangun model, pastikan dua hal: apakah ada alasan untuk membangun scorecard baru dan apakah jumlah bads cukup untuk rencana tersebut. Sering kali, data yang tersedia belum cukup untuk membangun scorecard baru. Tiga ratus bads menjadi titik awal perhitungan, bukan angka kelulusan.

Mengapa jumlah kasus gagal bayar penting

Angka 5% dari model Anda bukan angka pasti. Dengan 300 kasus gagal bayar sebagai dasar, bad rate sebenarnya bisa berada di kisaran 4,5% hingga 5,5%, bahkan sebelum satu hari pun berlalu sejak model dibangun.

Selisih ini langsung berdampak pada biaya. Dalam contoh portofolio dengan penyaluran €50m dalam setahun dan kerugian sebesar 75% dari pinjaman yang gagal bayar, tingkat 4.5% atau 5.5% berarti selisih sekitar €187,500 per tahun dari angka 5% yang diprediksi model. Jika volume penyaluran berlipat dua, nilai selisih ini juga berlipat dua.

Model juga bisa meleset lebih jauh jika pengembangannya terlalu besar dibandingkan jumlah kasus gagal bayar yang tersedia. Model menilai nasabah yang aman terlalu aman dan nasabah berisiko terlalu berisiko. Akibatnya, kerugian pada portofolio yang disetujui bisa melampaui rencana dan pemohon yang layak ditolak. Dalam satu contoh, tingkat gagal bayar pada segmen yang diprediksi model sebesar 2% ternyata sekitar 3%.

Penurunan kinerja setelah model mulai digunakan menambah ketidakpastian awal ini. Semakin besar dana dan volume penyaluran yang bergantung pada model, semakin penting untuk memahami seberapa jauh tingkat gagal bayarnya dapat dipercaya.

Arti jumlah yang cukup

Jumlah kasus gagal bayar membatasi dua hal. Pertama, seberapa banyak yang dapat dipelajari model, karena setiap variabel dan bin yang diuji dalam pengembangan model dihitung dari kasus gagal bayar yang sama. Jika terlalu banyak parameter dicoba, model akan mempelajari pola acak dalam sampel tersebut.

Kedua, jumlah itu menentukan seberapa akurat tingkat gagal bayar diketahui, baik untuk seluruh portofolio maupun untuk setiap segmen yang digunakan dalam penetapan harga. Batas pertama ini disebut ahli statistik sebagai anggaran derajat kebebasan. Besarnya terutama ditentukan oleh Gini yang diharapkan. Bagian berikutnya menjelaskan kedua batas tersebut dengan angka.

Apakah 300 kasus gagal bayar cukup?

Jawabannya bergantung pada Gini yang diharapkan dan model yang akan dibuat. Dengan tingkat gagal bayar 5%, 300 kasus gagal bayar memberikan anggaran sekitar 9 derajat kebebasan pada Gini 0.3, 28 pada 0.5, dan 63 pada 0.7. Tingkat gagal bayar hanya sedikit mengubah anggaran tersebut. Gini yang menentukan besarnya.

Gini yang diharapkanDerajat kebebasan
0.3Sekitar 9
0.5Sekitar 28
0.7Sekitar 63

Semakin lemah model, semakin banyak kasus gagal bayar yang dibutuhkan untuk setiap derajat kebebasan. Untuk 30 derajat kebebasan dengan tingkat gagal bayar 2%, dibutuhkan sekitar 130 kasus pada Gini 0.7 dan sekitar 930 pada Gini 0.3. Dengan tingkat gagal bayar 5% dan Gini 0.5, 30 derajat kebebasan membutuhkan sekitar 320 kasus gagal bayar.

Anggaran ini dihitung berdasarkan kriteria ukuran sampel minimum dari Riley dan rekan-rekannya, yang membatasi penyusutan model yang diharapkan hingga 10% atau kurang. Kalkulator ukuran sampel model menghitungnya berdasarkan jumlah kasus gagal bayar, tingkat gagal bayar, dan Gini Anda.

Hal yang menghabiskan anggaran

Semua parameter kandidat dihitung sebelum seleksi. Koefisien sebuah variabel dihitung sebagai satu parameter. Variabel yang dibagi menjadi lima bin menggunakan empat derajat kebebasan. Variabel WoE juga dihitung berdasarkan jumlah bin, karena bin tersebut dibuat dari kasus gagal bayar yang sama. Ini adalah konvensi yang digunakan oleh tool. Spline menggunakan jumlah knot dikurangi satu.

Spesifikasi28 derajat kebebasan
Variabel kontinu28
Tiga bin14 variabel
Empat bin9 variabel
Lima bin7 variabel
Enam bin5 variabel
MARS, tanpa interaksi14 term
MARS, dengan interaksi11 term

Seleksi variabel juga menghabiskan anggaran. Empat puluh variabel kandidat dengan lima bin menggunakan 160 derajat kebebasan sebelum seleksi, sementara 300 kasus gagal bayar pada Gini 0.5 hanya menyediakan 28. Variabel yang tidak terpilih tetap menggunakan kapasitas selama pengembangan model.

Rencana scorecard dibandingkan dengan 300 kasus gagal bayar

Misalnya, Anda merencanakan model dengan 20 variabel kandidat yang masing-masing memiliki lima bin. Rencana ini menggunakan 80 derajat kebebasan. Dengan tingkat gagal bayar 5% dan Gini 0.5, model membutuhkan sekitar 854 kasus gagal bayar, atau 554 lebih banyak daripada 300 yang tersedia.

RencanaDerajat kebebasanJumlah gagal bayarBulan
20 variabel dengan lima bin8085420.5

Dengan 2,000 pinjaman per bulan dan periode pemantauan hasil selama 12 bulan, hasil tersebut baru diketahui setelah 20.5 bulan. Pilihannya bersifat praktis: kurangi cakupan model, tunggu hasilnya, atau lakukan perubahan yang lebih kecil pada scorecard saat ini.

Jalankan pemeriksaan ini dalam alur keputusan

Buat aturan untuk kredit, fraud, atau penagihan, lalu jalankan pada keputusan nyata.

Jika jumlah kasus gagal bayar belum cukup

Jika rencana model melampaui kapasitas data, perhitungan ini mempersempit pilihan. Namun, keputusan tetap ada pada Anda.

  • Pertahankan scorecard saat ini dan kalibrasi ulang. Menghitung ulang intersep dan slope-nya menggunakan 2 derajat kebebasan dan membutuhkan sekitar 22 kasus gagal bayar pada Gini 0.5.
  • Buat scorecard yang lebih sederhana agar sesuai dengan anggaran yang tersedia.
  • Tunggu hingga hasil yang dibutuhkan untuk model tersebut tersedia.
  • Uji model baru terhadap model saat ini menggunakan data pengajuan terdahulu sebelum menggantinya, dengan pengujian champion-challenger.

Membangun ulang model membutuhkan alasan, bukan hanya data yang cukup. “Sudah lama” atau “katanya perlu” bukan alasan yang memadai. Perhitungan menunjukkan apa yang didukung oleh data. Keputusan tetap ada pada Anda.

Interval tingkat gagal bayar

Jumlah kasus gagal bayar menentukan seberapa akurat tingkat gagal bayar diketahui, apa pun kekuatan modelnya. Pada tingkat gagal bayar 5%, interval 95%-nya adalah:

BadsRentang 5%
1004.04% to 5.96%
3004.45% to 5.55%
1,0004.70% to 5.30%
3,0004.83% to 5.17%

Jumlah kasus gagal bayar dalam satu segmen scorecard lebih sedikit daripada jumlahnya di seluruh portofolio, sehingga intervalnya lebih lebar. Dalam contoh segmen dengan 30 kasus gagal bayar dan tingkat 12%, intervalnya adalah 7.97% hingga 16.03%. Untuk segmen berisiko rendah dengan 15 kasus dan tingkat 1.5%, intervalnya adalah 0.75% hingga 2.25%.

Ketidakpastian ini sudah ada sejak model selesai dibuat. Penurunan kinerja terjadi kemudian. Untuk memantau model, lihat pemantauan scorecard.

Jika anggaran terlampaui

Jika penggunaan anggaran melampaui batas, prediksi untuk data baru menjadi terlalu ekstrem. Slope kalibrasi yang diharapkan disebut faktor penyusutan. Faktor ini menarik setiap selisih log-odds prediksi kembali ke nilai rata-rata.

Dalam contoh dengan Gini 0.3, 300 kasus gagal bayar, dan tingkat rata-rata 5%, penggunaan 80 derajat kebebasan menghasilkan faktor penyusutan yang diharapkan sebesar 0.51. Prediksi 2% kemudian memiliki tingkat aktual sekitar 3.1%.

Derajat kebebasan terpakaiS2% menjadi10% menjadi20% menjadi
90.902.19%9.4%17.7%
280.752.52%8.4%14.5%
800.513.13%7.2%10.5%

Angka-angka ini adalah nilai harapan berdasarkan asumsi dalam kriteria tersebut, bukan hasil pengamatan. Segmen yang disetujui memiliki risiko lebih tinggi daripada prediksi model, kerugian melampaui rencana, dan pemohon yang layak ditolak.

Sebelum memberikan persetujuan

  1. Tentukan alasan untuk membangun ulang model.
  2. Hitung semua parameter kandidat yang akan diuji, termasuk bin dan seleksi variabel.
  3. Bandingkan jumlah tersebut dengan anggaran pada Gini yang diharapkan menggunakan tool ukuran sampel.
  4. Hitung jumlah kasus gagal bayar di setiap segmen yang akan digunakan untuk penetapan harga atau penentuan batas.
  5. Perhitungkan interval dalam penetapan harga dan pencadangan, bukan hanya estimasi titik.
  6. Lakukan validasi dan pengujian out-of-time seperti biasa, dengan pendekatan yang dijelaskan dalam artikel dokumentasi model scoring kredit.

Validasi dan pengujian out-of-time menguji model dengan data yang tidak digunakan untuk menyesuaikannya. Keduanya tidak memperbesar sampel atau menambah jumlah kasus gagal bayar dalam anggaran.

Pertanyaan yang sering diajukan

Apakah 300 kasus gagal bayar cukup untuk membuat scorecard?

Tidak ada jumlah minimum yang berlaku untuk semua model. Dengan tingkat gagal bayar 5%, 300 kasus mendukung sekitar 9 derajat kebebasan pada Gini 0.3, 28 pada 0.5, dan 63 pada 0.7. Hasilnya bergantung pada Gini yang diharapkan dan rencana model.

Apakah variabel WoE dihitung sebagai satu derajat kebebasan?

Dalam bentuk akhirnya, variabel tersebut mungkin hanya memiliki satu koefisien. Namun, bin-nya dibuat dari kasus gagal bayar yang sama. Karena itu, tool menghitung derajat kebebasan berdasarkan jumlah bin dikurangi satu.

Berapa banyak data tambahan yang dibutuhkan gradient boosting?

Satu studi simulasi menemukan bahwa random forest, support vector machine, dan neural network membutuhkan lebih dari sepuluh kali jumlah kejadian per variabel dibandingkan regresi logistik. Gradient boosting tidak diteliti, sehingga angka sepuluh kali adalah batas bawah berdasarkan studi tersebut, bukan aturan.

Apakah validasi out-of-time dapat mengatasi sampel yang kecil?

Tidak. Validasi ini menguji kinerja model dengan data yang tidak digunakan untuk menyesuaikannya, sehingga menjawab pertanyaan yang berbeda. Validasi tersebut tidak menambah kasus gagal bayar ke sampel pengembangan atau memperbesar anggaran derajat kebebasan.

Jalankan pemeriksaan ini dalam alur keputusan

Buat aturan untuk kredit, fraud, atau penagihan, lalu jalankan pada keputusan nyata.