Berapa banyak kasus gagal bayar yang dibutuhkan model kredit?
Anda akan membuat scorecard baru atau memperbarui scorecard yang sedang digunakan. Ada yang menyarankan agar Anda membangunnya ulang. Portofolio Anda mencatat beberapa ratus kasus gagal bayar. Model baru memprediksi angka 5%, yang akan digunakan untuk penetapan harga dan pencadangan.
Sebelum membangun model, pastikan dua hal: apakah ada alasan untuk membangun scorecard baru dan apakah jumlah bads cukup untuk rencana tersebut. Sering kali, data yang tersedia belum cukup untuk membangun scorecard baru. Tiga ratus bads menjadi titik awal perhitungan, bukan angka kelulusan.
Mengapa jumlah kasus gagal bayar penting
Angka 5% dari model Anda bukan angka pasti. Dengan 300 kasus gagal bayar sebagai dasar, bad rate sebenarnya bisa berada di kisaran 4,5% hingga 5,5%, bahkan sebelum satu hari pun berlalu sejak model dibangun.
Selisih ini langsung berdampak pada biaya. Dalam contoh portofolio dengan penyaluran €50m dalam setahun dan kerugian sebesar 75% dari pinjaman yang gagal bayar, tingkat 4.5% atau 5.5% berarti selisih sekitar €187,500 per tahun dari angka 5% yang diprediksi model. Jika volume penyaluran berlipat dua, nilai selisih ini juga berlipat dua.
Model juga bisa meleset lebih jauh jika pengembangannya terlalu besar dibandingkan jumlah kasus gagal bayar yang tersedia. Model menilai nasabah yang aman terlalu aman dan nasabah berisiko terlalu berisiko. Akibatnya, kerugian pada portofolio yang disetujui bisa melampaui rencana dan pemohon yang layak ditolak. Dalam satu contoh, tingkat gagal bayar pada segmen yang diprediksi model sebesar 2% ternyata sekitar 3%.
Penurunan kinerja setelah model mulai digunakan menambah ketidakpastian awal ini. Semakin besar dana dan volume penyaluran yang bergantung pada model, semakin penting untuk memahami seberapa jauh tingkat gagal bayarnya dapat dipercaya.
Arti jumlah yang cukup
Jumlah kasus gagal bayar membatasi dua hal. Pertama, seberapa banyak yang dapat dipelajari model, karena setiap variabel dan bin yang diuji dalam pengembangan model dihitung dari kasus gagal bayar yang sama. Jika terlalu banyak parameter dicoba, model akan mempelajari pola acak dalam sampel tersebut.
Kedua, jumlah itu menentukan seberapa akurat tingkat gagal bayar diketahui, baik untuk seluruh portofolio maupun untuk setiap segmen yang digunakan dalam penetapan harga. Batas pertama ini disebut ahli statistik sebagai anggaran derajat kebebasan. Besarnya terutama ditentukan oleh Gini yang diharapkan. Bagian berikutnya menjelaskan kedua batas tersebut dengan angka.
Apakah 300 kasus gagal bayar cukup?
Jawabannya bergantung pada Gini yang diharapkan dan model yang akan dibuat. Dengan tingkat gagal bayar 5%, 300 kasus gagal bayar memberikan anggaran sekitar 9 derajat kebebasan pada Gini 0.3, 28 pada 0.5, dan 63 pada 0.7. Tingkat gagal bayar hanya sedikit mengubah anggaran tersebut. Gini yang menentukan besarnya.
| Gini yang diharapkan | Derajat kebebasan |
|---|---|
| 0.3 | Sekitar 9 |
| 0.5 | Sekitar 28 |
| 0.7 | Sekitar 63 |
Semakin lemah model, semakin banyak kasus gagal bayar yang dibutuhkan untuk setiap derajat kebebasan. Untuk 30 derajat kebebasan dengan tingkat gagal bayar 2%, dibutuhkan sekitar 130 kasus pada Gini 0.7 dan sekitar 930 pada Gini 0.3. Dengan tingkat gagal bayar 5% dan Gini 0.5, 30 derajat kebebasan membutuhkan sekitar 320 kasus gagal bayar.
Anggaran ini dihitung berdasarkan kriteria ukuran sampel minimum dari Riley dan rekan-rekannya, yang membatasi penyusutan model yang diharapkan hingga 10% atau kurang. Kalkulator ukuran sampel model menghitungnya berdasarkan jumlah kasus gagal bayar, tingkat gagal bayar, dan Gini Anda.
Hal yang menghabiskan anggaran
Semua parameter kandidat dihitung sebelum seleksi. Koefisien sebuah variabel dihitung sebagai satu parameter. Variabel yang dibagi menjadi lima bin menggunakan empat derajat kebebasan. Variabel WoE juga dihitung berdasarkan jumlah bin, karena bin tersebut dibuat dari kasus gagal bayar yang sama. Ini adalah konvensi yang digunakan oleh tool. Spline menggunakan jumlah knot dikurangi satu.
| Spesifikasi | 28 derajat kebebasan |
|---|---|
| Variabel kontinu | 28 |
| Tiga bin | 14 variabel |
| Empat bin | 9 variabel |
| Lima bin | 7 variabel |
| Enam bin | 5 variabel |
| MARS, tanpa interaksi | 14 term |
| MARS, dengan interaksi | 11 term |
Seleksi variabel juga menghabiskan anggaran. Empat puluh variabel kandidat dengan lima bin menggunakan 160 derajat kebebasan sebelum seleksi, sementara 300 kasus gagal bayar pada Gini 0.5 hanya menyediakan 28. Variabel yang tidak terpilih tetap menggunakan kapasitas selama pengembangan model.
Rencana scorecard dibandingkan dengan 300 kasus gagal bayar
Misalnya, Anda merencanakan model dengan 20 variabel kandidat yang masing-masing memiliki lima bin. Rencana ini menggunakan 80 derajat kebebasan. Dengan tingkat gagal bayar 5% dan Gini 0.5, model membutuhkan sekitar 854 kasus gagal bayar, atau 554 lebih banyak daripada 300 yang tersedia.
| Rencana | Derajat kebebasan | Jumlah gagal bayar | Bulan |
|---|---|---|---|
| 20 variabel dengan lima bin | 80 | 854 | 20.5 |
Dengan 2,000 pinjaman per bulan dan periode pemantauan hasil selama 12 bulan, hasil tersebut baru diketahui setelah 20.5 bulan. Pilihannya bersifat praktis: kurangi cakupan model, tunggu hasilnya, atau lakukan perubahan yang lebih kecil pada scorecard saat ini.
Jika jumlah kasus gagal bayar belum cukup
Jika rencana model melampaui kapasitas data, perhitungan ini mempersempit pilihan. Namun, keputusan tetap ada pada Anda.
- Pertahankan scorecard saat ini dan kalibrasi ulang. Menghitung ulang intersep dan slope-nya menggunakan 2 derajat kebebasan dan membutuhkan sekitar 22 kasus gagal bayar pada Gini 0.5.
- Buat scorecard yang lebih sederhana agar sesuai dengan anggaran yang tersedia.
- Tunggu hingga hasil yang dibutuhkan untuk model tersebut tersedia.
- Uji model baru terhadap model saat ini menggunakan data pengajuan terdahulu sebelum menggantinya, dengan pengujian champion-challenger.
Membangun ulang model membutuhkan alasan, bukan hanya data yang cukup. “Sudah lama” atau “katanya perlu” bukan alasan yang memadai. Perhitungan menunjukkan apa yang didukung oleh data. Keputusan tetap ada pada Anda.
Interval tingkat gagal bayar
Jumlah kasus gagal bayar menentukan seberapa akurat tingkat gagal bayar diketahui, apa pun kekuatan modelnya. Pada tingkat gagal bayar 5%, interval 95%-nya adalah:
| Bads | Rentang 5% |
|---|---|
| 100 | 4.04% to 5.96% |
| 300 | 4.45% to 5.55% |
| 1,000 | 4.70% to 5.30% |
| 3,000 | 4.83% to 5.17% |
Jumlah kasus gagal bayar dalam satu segmen scorecard lebih sedikit daripada jumlahnya di seluruh portofolio, sehingga intervalnya lebih lebar. Dalam contoh segmen dengan 30 kasus gagal bayar dan tingkat 12%, intervalnya adalah 7.97% hingga 16.03%. Untuk segmen berisiko rendah dengan 15 kasus dan tingkat 1.5%, intervalnya adalah 0.75% hingga 2.25%.
Ketidakpastian ini sudah ada sejak model selesai dibuat. Penurunan kinerja terjadi kemudian. Untuk memantau model, lihat pemantauan scorecard.
Jika anggaran terlampaui
Jika penggunaan anggaran melampaui batas, prediksi untuk data baru menjadi terlalu ekstrem. Slope kalibrasi yang diharapkan disebut faktor penyusutan. Faktor ini menarik setiap selisih log-odds prediksi kembali ke nilai rata-rata.
Dalam contoh dengan Gini 0.3, 300 kasus gagal bayar, dan tingkat rata-rata 5%, penggunaan 80 derajat kebebasan menghasilkan faktor penyusutan yang diharapkan sebesar 0.51. Prediksi 2% kemudian memiliki tingkat aktual sekitar 3.1%.
| Derajat kebebasan terpakai | S | 2% menjadi | 10% menjadi | 20% menjadi |
|---|---|---|---|---|
| 9 | 0.90 | 2.19% | 9.4% | 17.7% |
| 28 | 0.75 | 2.52% | 8.4% | 14.5% |
| 80 | 0.51 | 3.13% | 7.2% | 10.5% |
Angka-angka ini adalah nilai harapan berdasarkan asumsi dalam kriteria tersebut, bukan hasil pengamatan. Segmen yang disetujui memiliki risiko lebih tinggi daripada prediksi model, kerugian melampaui rencana, dan pemohon yang layak ditolak.
Sebelum memberikan persetujuan
- Tentukan alasan untuk membangun ulang model.
- Hitung semua parameter kandidat yang akan diuji, termasuk bin dan seleksi variabel.
- Bandingkan jumlah tersebut dengan anggaran pada Gini yang diharapkan menggunakan tool ukuran sampel.
- Hitung jumlah kasus gagal bayar di setiap segmen yang akan digunakan untuk penetapan harga atau penentuan batas.
- Perhitungkan interval dalam penetapan harga dan pencadangan, bukan hanya estimasi titik.
- Lakukan validasi dan pengujian out-of-time seperti biasa, dengan pendekatan yang dijelaskan dalam artikel dokumentasi model scoring kredit.
Validasi dan pengujian out-of-time menguji model dengan data yang tidak digunakan untuk menyesuaikannya. Keduanya tidak memperbesar sampel atau menambah jumlah kasus gagal bayar dalam anggaran.
Pertanyaan yang sering diajukan
Apakah 300 kasus gagal bayar cukup untuk membuat scorecard?
Tidak ada jumlah minimum yang berlaku untuk semua model. Dengan tingkat gagal bayar 5%, 300 kasus mendukung sekitar 9 derajat kebebasan pada Gini 0.3, 28 pada 0.5, dan 63 pada 0.7. Hasilnya bergantung pada Gini yang diharapkan dan rencana model.
Apakah variabel WoE dihitung sebagai satu derajat kebebasan?
Dalam bentuk akhirnya, variabel tersebut mungkin hanya memiliki satu koefisien. Namun, bin-nya dibuat dari kasus gagal bayar yang sama. Karena itu, tool menghitung derajat kebebasan berdasarkan jumlah bin dikurangi satu.
Berapa banyak data tambahan yang dibutuhkan gradient boosting?
Satu studi simulasi menemukan bahwa random forest, support vector machine, dan neural network membutuhkan lebih dari sepuluh kali jumlah kejadian per variabel dibandingkan regresi logistik. Gradient boosting tidak diteliti, sehingga angka sepuluh kali adalah batas bawah berdasarkan studi tersebut, bukan aturan.
Apakah validasi out-of-time dapat mengatasi sampel yang kecil?
Tidak. Validasi ini menguji kinerja model dengan data yang tidak digunakan untuk menyesuaikannya, sehingga menjawab pertanyaan yang berbeda. Validasi tersebut tidak menambah kasus gagal bayar ke sampel pengembangan atau memperbesar anggaran derajat kebebasan.