Menyusun Dokumentasi Model Skor Kredit
Bagi perusahaan keuangan, model skor kredit merupakan salah satu cara penting untuk menilai kelayakan kredit nasabah. Agar hasilnya akurat dan andal, model perlu didukung dokumentasi yang jelas dan lengkap.
Tujuan Dokumentasi Model dari Sudut Pandang Manajemen
- Memastikan model transparan dan mudah dipahami oleh para pemangku kepentingan.
- Memberikan gambaran yang jelas tentang kinerja dan keterbatasan model.
- Menjelaskan asumsi, metode, dan hasil model, termasuk kemungkinan sumber bias atau kesalahan.
Mendokumentasikan Pemilihan Sampel
Langkah pertama adalah mencatat metode pengambilan sampel untuk pelatihan dan validasi, serta validasi out-of-time jika dilakukan. Informasi ini penting untuk menunjukkan kinerja model dan apakah sampel mencerminkan populasi yang menjadi sasaran penerapannya.
Metode Pengambilan Sampel untuk Membangun Model Prediktif
- Pengambilan sampel acak sederhana: Metode dasar yang memberi setiap anggota populasi peluang sama untuk terpilih. Metode ini sering digunakan ketika sampel harus mewakili populasi.
- Pengambilan sampel berstrata: Populasi dibagi menjadi beberapa subkelompok berdasarkan karakteristik tertentu, lalu sampel acak dipilih dari setiap subkelompok. Metode ini berguna ketika sampel perlu mencerminkan karakteristik tersebut.
- Pengambilan sampel klaster: Populasi dibagi menjadi beberapa kelompok, lalu sejumlah kelompok dipilih secara acak. Semua anggota dalam kelompok terpilih disertakan. Metode ini sering digunakan ketika daftar seluruh anggota populasi sulit disusun.
- Pengambilan sampel sistematis: Pemilihan dimulai dari titik acak, lalu setiap anggota ke-n dalam populasi dipilih. Metode ini sering digunakan untuk memperoleh sampel dengan jarak pemilihan yang merata.
- Pengambilan sampel berdasarkan kemudahan: Anggota populasi dipilih berdasarkan ketersediaan atau kemudahan akses. Cara ini dapat mempercepat pengumpulan data, tetapi juga berisiko menimbulkan bias jika sampel tidak dipilih secara acak.
Mengevaluasi Stabilitas dan Kinerja Model Prediktif
Selanjutnya, periksa stabilitas model, baik dari daya prediksi secara keseluruhan maupun konsistensinya dari bulan ke bulan. Anda dapat menggunakan teknik seperti kurva ROC untuk membantu mengenali potensi masalah. Tinjau juga stabilitas nilai informasi dari atribut yang digunakan dalam model untuk memastikan hasilnya konsisten.
Metrik untuk Mengevaluasi Kinerja Model Prediktif
- Akurasi: Mengukur persentase prediksi model yang benar. Metrik ini umum digunakan untuk menilai kinerja prediktif.
- Presisi: Mengukur proporsi prediksi positif yang benar. Metrik ini sering digunakan bersama akurasi untuk memberikan gambaran kinerja yang lebih lengkap.
- Recall: Mengukur proporsi kasus positif aktual yang berhasil diprediksi model. Metrik ini berguna ketika semua kasus positif perlu ditemukan, meskipun jumlah positif palsu meningkat.
- Skor F1: Rata-rata tertimbang dari presisi dan recall. Metrik ini sering digunakan sebagai ringkasan kinerja.
- AUC-ROC: Mengukur kemampuan model membedakan kasus positif dan negatif. Nilainya dihitung dengan memetakan tingkat positif benar terhadap tingkat positif palsu pada berbagai ambang batas. Metrik ini sering digunakan untuk model klasifikasi biner.
- Matriks kebingungan: Menunjukkan jumlah prediksi positif benar, negatif benar, positif palsu, dan negatif palsu. Matriks ini membantu mengenali bagian yang kinerja modelnya kurang baik.
- Log loss: Mengukur kemampuan model memprediksi probabilitas suatu hasil. Metrik ini sering digunakan untuk model yang menghasilkan probabilitas, seperti model klasifikasi biner.
Dampak Musiman
Faktor lain yang perlu dicatat adalah pengaruh musiman yang mungkin memengaruhi sampel model. Pengaruh ini dapat mengubah kinerja model secara signifikan, sehingga perlu dicatat dan diperhitungkan dalam dokumentasi.
Contoh pengaruh musiman yang dapat memengaruhi model prediktif:
- Perubahan musiman pada permintaan produk atau layanan tertentu, misalnya meningkatnya permintaan asuransi perjalanan pada musim panas
- Perubahan musiman pada kondisi ekonomi, misalnya tingkat pengangguran yang lebih tinggi pada musim dingin
- Variasi musiman pada pola cuaca, misalnya risiko bencana alam yang lebih tinggi pada waktu tertentu dalam setahun
- Perubahan musiman pada perilaku konsumen, misalnya peningkatan belanja selama musim liburan
Mengevaluasi dan Mendokumentasikan Bias Model
Potensi bias model juga perlu ditinjau dan didokumentasikan. Jika model menggantikan model yang sudah digunakan, perbandingan perubahan grade melalui tabulasi silang dapat membantu menilai kinerja dan efektivitasnya.
Lima potensi bias yang perlu diperhatikan dalam model prediktif
- Bias pengambilan sampel: Terjadi ketika sampel untuk mengembangkan model tidak mewakili populasi yang menjadi sasaran penerapannya.
- Bias seleksi: Terjadi ketika sampel untuk mengembangkan model tidak dipilih secara acak dan dapat dipengaruhi faktor seperti ketersediaan data atau preferensi pembuat model.
- Bias konfirmasi: Terjadi ketika pembuat model hanya berfokus pada data yang mendukung keyakinan atau hipotesis yang sudah ada, dan mengabaikan data yang bertentangan.
- Overfitting: Terjadi ketika model terlalu kompleks dan terlalu menyesuaikan diri dengan data yang tersedia, sehingga kemampuan generalisasinya lemah.
- Underfitting: Terjadi ketika model terlalu sederhana dan dilatih dengan data yang tidak cukup, sehingga daya prediksinya lemah.
Kesimpulan
Dokumentasi model skor kredit yang jelas penting untuk menghasilkan kinerja yang konsisten dan andal. Dengan mencatat bagian-bagian penting dalam pengembangan dan validasi model, Anda memudahkan proses penilaian, penjelasan, dan pertanggungjawabannya.
Pertanyaan yang sering diajukan
Bagaimana membagi data untuk mengembangkan dan memvalidasi model skor kredit?
Gunakan data dari periode yang lebih lama untuk pengembangan, lalu sisihkan periode terbaru yang hasil pembayarannya sudah cukup matang untuk validasi out-of-time. Jangan pisahkan pengajuan dari periode yang sama, dan periksa apakah rentang validasi mencakup kondisi musiman atau ekonomi yang relevan. Pembagian acak dapat digunakan selama pengembangan model, tetapi tidak sebaiknya menggantikan pengujian pada pengajuan dari periode berikutnya karena perubahan dari waktu ke waktu bisa tidak terlihat.
Metrik apa yang perlu dipantau secara berkala untuk skor kredit?
Pantau kemampuan model membedakan risiko, kalibrasi, dan hasil pada ambang batas yang benar-benar digunakan dalam kebijakan Anda. AUC menunjukkan kemampuan model mengurutkan pemohon, sedangkan tingkat gagal bayar aktual per kelompok skor menunjukkan apakah risiko yang diprediksi sesuai dengan hasil yang terjadi. Catat juga tingkat persetujuan serta jumlah hasil baik dan buruk pada setiap ambang batas. Akurasi atau F1 saja dapat menyamarkan dampak biaya dari persetujuan yang keliru dan penolakan yang keliru.
Bagaimana menentukan dan mendokumentasikan ambang batas skor kredit?
Tetapkan ambang batas berdasarkan toleransi risiko dan nilai ekonomis produk, lalu bandingkan estimasi kerugian dan jumlah persetujuan untuk beberapa pilihan yang masuk akal. Catat definisi hasil, periode pengamatan, asumsi, dan pertimbangan di balik ambang batas yang dipilih. Periksa perubahan kinerja di sekitar batas tersebut. Selisih skor yang kecil dapat memicu perubahan kebijakan yang tajam, padahal bukti yang tersedia belum tentu mendukungnya.
Seberapa sering kinerja dan dokumentasi model skor kredit perlu ditinjau?
Sebagai langkah awal, tinjau hasil pemantauan setiap bulan, lalu jadwalkan validasi menyeluruh setidaknya setiap tahun atau lebih cepat jika portofolio, data, produk, atau model mengalami perubahan signifikan. Pastikan hasil pembayaran sudah cukup matang sebelum perubahan dianggap sebagai tanda penurunan kinerja. Tim sering mengira perubahan komposisi pemohon sebagai penurunan kinerja model, jadi bandingkan perubahan populasi dengan perubahan kinerja.