Atribut produk membuat scorecard tampak kuat, tetapi tak semestinya ada di dalamnya
Scorecard lolos validasi. Periksa apa yang dipelajarinya.
Anda telah mengembangkan atau membeli scorecard berdasarkan portofolio pinjaman yang disetujui perusahaan Anda sendiri. AUC hasil validasinya tampak meyakinkan, dan pemodelan seolah sudah selesai. Namun, sebelum mengandalkan karakteristik yang paling menonjol, kelompokkan dulu menjadi dua: fakta tentang peminjam dan fakta tentang pinjaman yang dipilih perusahaan Anda untuk ditawarkan.
Perbedaannya terlihat jelas dalam berkas persetujuan pinjaman SBA seven-a dari Small Business Administration AS yang tersedia untuk publik dan digunakan dalam analisis ini. Dari total 112,000 pinjaman yang dijadikan sampel, tingkat charge-off berbeda sekitar dua kali lipat menurut karakteristik peminjam. Berdasarkan sektor, angkanya berkisar dari 2.29% hingga 5.14%, sedangkan berdasarkan jumlah lapangan kerja yang didukung, dari 2.15% hingga 4.19%.
Karakteristik pinjaman menghasilkan perbedaan pada hasil yang sama hingga dua puluh empat kali lipat. Tingkat penghapusbukuan seluruh portofolio untuk pinjaman dengan tenor 42 bulan atau kurang adalah 14.94%, sedangkan untuk pinjaman dengan tenor lebih dari 120 bulan sebesar 0.62%. Kelompok tenor terpanjang terdiri atas 1,270 pinjaman dan tidak mencatat penghapusbukuan.
Inilah peringatan pertama. Peminjam tidak sama dengan pinjamannya. Tenor, porsi penjaminan, agunan, jumlah persetujuan, program, dan suku bunga menggambarkan apa yang dipilih pemberi pinjaman untuk ditawarkan, dengan harga dan program tertentu. Hal-hal tersebut bukan fakta murni tentang peminjam. Porsi penjaminan perlu dipahami secara cermat: dalam berkas ini, porsi tersebut merupakan parameter program pinjaman pemerintah AS, bukan keputusan penetapan harga oleh pemberi pinjaman komersial. Dalam portofolio Anda, kolom yang sepadan adalah tenor, agunan, jumlah persetujuan, program, dan suku bunga yang ditetapkan melalui penetapan harga serta desain produk Anda sendiri. Pemberi pinjaman menetapkan suku bunga antara lain berdasarkan risiko. Karena itu, kolom ini paling berisiko mengukur hal yang sama dengan yang ingin diprediksi.
Pengujian pertama mengukur pilihan pemberi pinjaman
Data berasal dari berkas persetujuan SBA seven-a yang tersedia untuk publik, mencakup persetujuan antara 2010 hingga 2016. Pinjaman yang dibatalkan tidak disertakan. Sebanyak 200 baris lainnya juga dihapus karena tidak mencantumkan tanggal pencairan pertama atau tenor, atau memiliki jumlah persetujuan nol. Dari pinjaman yang tersisa, diambil sampel sebanyak 4,000 persetujuan per kuartal agar setiap kelompok vintage mendapat bobot yang sama. Pembagian berdasarkan waktu menghasilkan 78,400 baris untuk pelatihan dan 33,600 baris untuk validasi.
Hasil yang diukur adalah penghapusbukuan dalam 60 bulan sejak pencairan pertama. Tingkat penghapusbukuan seluruh portofolio adalah 3.90%. Pada data pelatihan angkanya 3.79%, sedangkan pada data validasi 4.16%.
Pengujian pertama menghasilkan AUC scorecard sebesar 0.8443 pada data pelatihan dan 0.8608 pada data di luar sampel. Karakteristik yang paling dominan merupakan angka turunan dari suku bunga, persentase penjaminan, dan tenor dalam bulan. Angka ini tidak memiliki satuan yang bermakna. Angka tersebut menggabungkan tiga keputusan pemberi pinjaman, lalu menyajikan hasilnya sebagai risiko.
Temuan terkuat berupa ambang batas pada angka tersebut. Dalam data pelatihan, 28,560 pinjaman di atas ambang batas memiliki tingkat penghapusbukuan 9.50%, dibandingkan dengan 3.79% untuk seluruh portofolio. Nilai informasi pada data pelatihan adalah 1.708, sedangkan lift di luar sampel 3.20. Sembilan temuan teratas memiliki pola yang sama: rasio yang dibentuk dari ketentuan pinjaman itu sendiri. Tidak satu pun menyebut peminjam.
Modelnya bukan hasil pemodelan yang buruk. Model dibuat dengan benar, tetapi untuk sasaran yang keliru. Penyebabnya adalah desain pinjaman. Desain itu memang memprediksi hasil karena mencerminkan keputusan yang telah dibuat pemberi pinjaman.
Mengeluarkan ketentuan produk belum menyelesaikan masalah
Pembatasan pertama sederhana: setiap angka turunan harus mencakup setidaknya satu karakteristik peminjam. Rasio-rasio itu tetap muncul. Pengujian berikutnya masih membentuknya dari persentase penjaminan, jumlah pekerjaan yang didukung, jumlah persetujuan, dan tenor. AUC validasi naik menjadi 0.8524. Temuan teratasnya masih memiliki lift 3.13 di luar sampel.
Satu karakteristik peminjam telah ditambahkan. Namun, tidak ada yang berubah: ketentuan pinjaman yang sama tetap menentukan hasil dan menjadi inti temuan.
Pengujian berikutnya mengurangi penyamaran tersebut. AUC validasi turun menjadi 0.6405 dan lift temuan teratasnya turun menjadi 1.78. Namun, tiga dari delapan angka turunannya masih memasukkan ketentuan produk dalam perhitungan. Keputusan produk tidak hilang, hanya tersamarkan dengan cara lain.
Hasil setelah koreksi tampak lebih buruk karena lebih jujur
Pengujian setelah koreksi menggunakan dua aturan. Pertama, angka turunan harus lebih baik dalam membedakan hasil daripada struktur yang hanya menggunakan produk di dalamnya. Ketentuan produk boleh digunakan sebagai cicilan dalam rasio kemampuan membayar atau sebagai pembagi. Namun, ketentuan tersebut tidak boleh ditambahkan begitu saja sebagai suku tersendiri.
Perbedaan ini penting. Cicilan dibandingkan dengan penghasilan menunjukkan hubungan yang mungkin diuji dalam kebijakan kredit. Sementara itu, menggabungkan suku bunga, porsi penjaminan, dan tenor ke dalam rasio buatan hanya mencampuradukkan pilihan pemberi pinjaman sendiri.
Dengan portofolio dan hasil yang sama, pengujian setelah koreksi menghasilkan AUC pelatihan 0.6407 dan AUC di luar sampel 0.6277. Temuan teratasnya memiliki lift 1.19 di luar sampel. Scorecard mempertahankan enam karakteristik: dua angka turunan, sektor, bentuk badan hukum, divisi sensus, dan status waralaba.
Kedua angka turunan yang dipertahankan masih mencakup ketentuan produk. Yang pertama menggunakan jumlah pekerjaan yang didukung, tenor, persentase penjaminan, dan jumlah pinjaman. Yang kedua menggunakan jumlah pekerjaan yang didukung, tenor, jumlah pinjaman, dan suku bunga. Pinjaman tetap menjadi bagian dari model. Koreksi ini menghilangkan campuran produk yang seolah-olah merupakan risiko peminjam.
Aturan yang telah dikoreksi masih berupa kode di working tree, belum menjadi perubahan yang dirilis. Aturan tersebut sedang diuji dengan berkas publik. Pengujian menjalankan empat tes dan 168 asersi, semuanya berhasil, dalam 1 menit 48 detik. Pengujian ini memeriksa bahwa temuan tidak memuat kondisi produk atau kanal, serta mengecualikan angka yang hanya dibentuk dari ketentuan produk.
Sinyalnya nyata. Tampilkan agar komite dapat melihatnya.
Pada baris validasi, dengan tingkat persetujuan tetap 80% untuk setiap perbandingan, scorecard yang jujur tetap mampu membedakan risiko. Jika semua peminjam disetujui, tingkat kredit bermasalahnya 4.16%. Satu cutoff pada scorecard yang jujur menghasilkan 3.45%. Jika scorecard yang sama menggunakan cutoff tersendiri untuk setiap kelompok tenor, hasilnya 2.59%.
Scorecard yang mencampuradukkan keputusan produk sebagai risiko peminjam menghasilkan 1.50% dengan satu cutoff. Hasilnya lebih baik. Namun, keunggulan itu berasal dari penggunaan angka produk secara terus-menerus dan penyembunyian matriks produk di dalam skor.
Perbedaan ini terlihat dalam analisis terpisah yang disusun secara manual dari sampel lain yang diambil secara independen. Perhitungannya dilakukan oleh skrip di luar platform. Jika diurutkan berdasarkan tingkat penghapusbukuan pada data pelatihan, kelompok tenor menghasilkan tingkat kredit bermasalah 2.43% pada pinjaman yang disetujui di data validasi. Menggabungkan tenor, penjaminan, dan suku bunga menghasilkan 1.73%. Penambahan jumlah pinjaman memperburuk hasil menjadi 1.83%, karena jumlah pinjaman di setiap sel matriks terlalu sedikit.
Versi yang hanya menggunakan karakteristik peminjam memberikan hasil lebih lemah. Sektor saja menghasilkan tingkat kredit bermasalah 3.79% pada pinjaman yang disetujui. Penambahan usia usaha, bentuk badan hukum, jumlah pekerjaan yang didukung, dan status waralaba menghasilkan angka antara 3.53% hingga 3.70%. Tingkat dasar validasi pada sampel yang diambil secara independen adalah 4.00%.
Sinyal ini layak dipertahankan. Pertanyaannya, di mana seharusnya sinyal itu ditempatkan. Di dalam scorecard, sinyal tersebut bisa dianggap sebagai fakta tentang peminjam. Pindahkan ke ambang batas agar terlihat sebagai keputusan produk yang dapat dilihat oleh komite kredit. Komite juga dapat menetapkan harganya dan mengesampingkan keputusan tersebut.
Uji scorecard Anda
Ambil lima karakteristik teratas dalam scorecard Anda. Untuk setiap karakteristik, tanyakan siapa yang menetapkannya.
- Apakah tim penetapan harga Anda yang menetapkannya?
- Apakah tim produk Anda yang memilihnya?
- Apakah tim underwriting yang menentukannya sebagai bagian dari penawaran?
- Jangan hanya melihat labelnya. Apakah ini karakteristik peminjam atau konsekuensi dari pinjaman yang Anda tawarkan?
Angka pastinya akan berubah sesuai sampel. Pengambilan sampel independen dengan desain yang sama menghasilkan tingkat portofolio antara 3.71% hingga 3.83%, dan perubahan pada segmen terkecil lebih besar. Namun, arahnya tetap sama. Dalam portofolio publik ini, ketentuan pinjaman lebih mampu membedakan risiko daripada karakteristik peminjam.
Karakteristik terbaik scorecard Anda mungkin berasal dari keputusan yang dibuat oleh organisasi Anda sendiri. Jangan hapus sinyal yang nyata. Kenali sinyal tersebut, lalu keluarkan dari score peminjam dan tempatkan di ambang batas atau kebijakan produk agar maknanya terlihat jelas.
Pertanyaan yang sering diajukan
Bagaimana cara memeriksa karakteristik terkuat sebelum mengubah scorecard?
Telusuri kembali masukan awal dari masing-masing lima karakteristik terkuat dan tanyakan siapa yang menetapkannya. Pisahkan fakta tentang peminjam dari ketentuan yang dipilih oleh tim penetapan harga, produk, atau underwriting Anda, lalu uji scorecard setelah kombinasi yang hanya menggunakan produk dikeluarkan. Karakteristik yang mencakup data peminjam belum tentu merupakan sinyal tentang peminjam. Periksa maknanya dan pastikan karakteristik itu membedakan risiko lebih baik daripada ketentuan penawaran saja.
Kapan ketentuan produk dapat dipertahankan dalam karakteristik turunan scorecard?
Pertahankan ketentuan produk dalam karakteristik turunan jika hubungannya memiliki makna kredit yang jelas, misalnya cicilan dibandingkan dengan penghasilan. Uji apakah ketentuan tersebut memberi nilai tambah dibandingkan penggunaan ketentuan produk saja. Periksa hubungan itu pada kelompok tahun pencairan berikutnya dan di berbagai segmen pinjaman yang relevan. Jika gabungan ketentuan yang ditetapkan pemberi pinjaman memprediksi penghapusbukuan tetapi tidak memiliki penjelasan yang jelas dalam konteks peminjam, perlakukan sebagai kebijakan produk, bukan risiko peminjam.
Di mana ketentuan pinjaman yang prediktif sebaiknya ditempatkan jika tidak digunakan untuk menentukan skor peminjam?
Uji ketentuan pinjaman seperti tenor, jumlah pinjaman, dan suku bunga dalam cutoff atau kebijakan produk agar komite dapat melihat keputusan yang dipengaruhinya. Bandingkan tingkat kredit bermasalah pada tingkat persetujuan yang sama, lalu periksa jumlah pinjaman dan penghapusbukuan di setiap segmen. Cutoff yang terlalu terperinci bisa terlihat menarik saat jumlah pinjaman dalam suatu kelompok sedikit. Jika hasilnya tidak stabil, gunakan kelompok yang lebih luas atau aturan yang lebih sederhana.