Tingkat pemulihan bucket 2 turun. Rilis mana yang menyetujui pinjaman itu?
Manajer penagihan menyampaikan sebuah angka kepada Anda. Tingkat pemulihan pada bucket tunggakan kedua turun selama dua bulan terakhir. Portofolio pinjaman juga bertambah pada periode itu, sehingga seseorang di ruangan berpendapat bahwa Anda telah menyetujui peminjam dengan profil yang lebih buruk.
Bisa jadi. Ada setidaknya delapan alasan yang dapat mengubah angka tersebut. Dalam pemberian pinjaman, semuanya perlu diperiksa, bukan hanya penyebab yang sesuai dengan dugaan awal Anda:
- logika keputusan berubah, sehingga pinjaman ini disetujui dengan kriteria yang berbeda
- staf penagihan kurang, atau agen berpengalaman keluar
- naskah panggilan berubah, sehingga peminjam yang sama ditangani dengan cara berbeda
- sistem dialer berubah dan tingkat keberhasilan menghubungi pihak yang tepat ikut turun
- saluran pemasaran baru mendatangkan peminjam dengan profil berbeda
- harga berubah dan memengaruhi siapa yang menerima penawaran
- kondisi ekonomi berubah dan berdampak pada semua pihak
- definisi berubah, sehingga arti “pemulihan” dalam laporan bulan ini tidak lagi sama
Sebagian besar kemungkinan itu perlu diteliti sebelum bisa dijawab. Tingkat keberhasilan menghubungi nasabah perlu dibandingkan secara terkontrol. Dampak masa kerja agen perlu diteliti berdasarkan kelompok. Dampak kondisi ekonomi masih bisa diperdebatkan.
Ada satu hal yang bisa langsung dipastikan. Apakah logika keputusan berubah adalah pertanyaan yang jawabannya ya atau tidak, dan catatan untuk memastikannya sudah ada di log Anda. Itulah alasan hal ini perlu diperiksa lebih dulu, bukan karena kebijakan kredit paling mungkin menjadi penyebab, tetapi karena hanya hal ini yang bisa disingkirkan dari daftar tanpa merancang penelitian.
Artikel ini membahas cara memastikannya dengan tepat. Pertanyaannya bukan sekadar “apakah ada perubahan”, melainkan: logika keputusan mana yang menyetujui pinjaman yang kini berada di bucket 2, dan apakah logika itu berbeda dari yang berjalan saat ini?
Mengapa data portofolio tidak menunjukkan jawabannya
Panduan Basel tentang kerugian kredit ekspektasian menegaskan risiko pengelompokan ini. Eksposur “tidak boleh dikelompokkan dengan cara yang dapat menutupi peningkatan risiko kredit pada sebagian eksposur individual akibat perubahan risiko kredit portofolio secara keseluruhan” (BCBS d350, A33). Tingkat pemulihan portofolio merupakan contoh pengelompokan seperti itu. Angkanya dipengaruhi banyak hal sekaligus, dan kohor yang dicatat berdasarkan satu kebijakan dirata-ratakan bersama kohor yang dicatat berdasarkan kebijakan lain.
Dokumen yang sama mencantumkan vintage sebagai salah satu karakteristik untuk pengelompokan, bersama status jatuh tempo, rasio pinjaman terhadap nilai aset, jenis produk, dan wilayah. Dokumen itu juga mensyaratkan agar metodologi pengelompokan didokumentasikan dan disetujui. Vintage lazim digunakan karena tanggal pemberian pinjaman menjadi perkiraan kebijakan yang berlaku saat itu.
Namun, vintage hanya perkiraan. Dua aplikasi yang disetujui pada pagi yang sama bisa diproses dengan logika berbeda jika rilis diterapkan di antara keduanya. Kelompok vintage yang mencakup satu bulan pun dapat berisi beberapa rilis. Jadi, pertanyaan yang tepat bukan “kapan pinjaman ini dicatat”, melainkan “apa yang menyetujuinya”.
Catatan yang diminta regulator untuk Anda simpan
Panduan EBA tentang pemberian dan pemantauan pinjaman menjelaskan catatan yang perlu tersedia:
Infrastruktur data harus terperinci dan memiliki tingkat perincian yang memadai untuk mencatat informasi spesifik setiap pinjaman, terutama kriteria pemberian kredit yang benar-benar diterapkan saat pinjaman diberikan.
EBA/GL/2020/06, paragraf 61
Cermati frasa ini: kriteria yang benar-benar diterapkan saat pinjaman diberikan. Bukan dokumen kebijakan yang berlaku sekarang. Bukan uraian tentang kebijakan yang seharusnya berlaku. Yang dimaksud adalah kriteria yang benar-benar dijalankan.
Sebagian besar pemberi pinjaman menyimpan riwayat versi dokumen kebijakan dan log perubahan penerapan model, lalu menelusuri secara manual kombinasi yang berlaku pada tanggal tertentu. Di sinilah kepastian mulai berkurang.
Arti rilis
Di Decisimo, saat Anda memublikasikan alur keputusan, sistem membuat rilis berupa satu snapshot terkompilasi yang memuat semua kebutuhan alur untuk menghasilkan keputusan. Rilis ini bukan referensi ke kumpulan aturan yang berlaku saat ini. Proses build menelusuri alur dan menyertakan definisi lengkap setiap artefak yang digunakan:
- kumpulan aturan, beserta aturan, kondisi, tindakan, pemetaan, dan agregatnya
- tabel keputusan, hingga ke setiap sel, termasuk operator dan vektor hasil
- scorecard, beserta prediktor, bobot, dan bin yang membagi setiap prediktor ke dalam segmen
- pohon keputusan, hingga ke setiap node
- fungsi, model, dan sumber data eksternal, termasuk metode, header, dan konfigurasi OAuth
- subflow, secara rekursif
Urutan evaluasi juga ditetapkan di dalam snapshot. Cabang fork dan bin scorecard sama-sama diurutkan saat kompilasi. Urutan yang membuat aturan pertama yang cocok menjadi penentu merupakan bagian dari logika keputusan: aturan yang sama dengan urutan berbeda adalah aturan yang berbeda.
Saat dijalankan, engine hanya menjalankan konten yang tersimpan tersebut. Engine tidak membaca tabel desain untuk menghasilkan keputusan. Inilah yang membuat riwayatnya berguna: perubahan pada scorecard hari ini tidak dapat mengubah hasil keputusan dari Maret lalu karena keputusan tersebut dijalankan berdasarkan snapshot yang masih tersimpan.
Menelusuri logika di balik keputusan
Setiap eksekusi menulis satu baris ke database log milik Anda, lengkap dengan pengenal deployment yang menghasilkan keputusan tersebut. Nama kolomnya adalah engine_request_id, dan nilainya memuat wf_release_deployment_id. Baris itu juga berisi permintaan dan respons lengkap dalam input_json dan output_json.
Dari sana, keterkaitannya dapat ditelusuri dengan menggabungkan catatan:
baris log.engine_request_id
→ wf_release_deployment.wf_release_deployment_id
→ .content logika persis yang dijalankan
→ .workflow_release_id
→ workflow_release .name, .notes, .user_id, .dtime_inserted
Dengan begitu, untuk setiap keputusan yang dapat Anda identifikasi, Anda bisa mengetahui logika yang menghasilkannya, rilis asalnya, siapa yang menerbitkan rilis tersebut, dan kapan rilis itu diterbitkan.
Dengan catatan ini, pemeriksaan dapat dilakukan secara sistematis. Ambil pinjaman di bucket 2, hubungkan dengan keputusan saat pinjaman itu disetujui menggunakan engine_request_id, lalu kelompokkan berdasarkan rilis. Jika pinjaman terkumpul pada rilis setelah kelompok terakhir yang hasilnya baik, bandingkan kedua rilis dan periksa perubahannya.
Jika pinjaman tidak terkumpul pada rilis tertentu, itu juga sebuah temuan, dan manfaatnya lebih besar daripada yang terlihat. Artinya, pinjaman yang masuk ke bucket 2 disetujui dengan logika yang sama seperti pinjaman dari kelompok yang tingkat pemulihannya normal pada kuartal sebelumnya. Jadi, perubahan terjadi setelah keputusan dibuat. Anda dapat mengarahkan pemeriksaan ke kapasitas penagihan, cara penanganan, tingkat keberhasilan menghubungi nasabah, atau komposisi saluran akuisisi. Semua ini bisa ditelusuri dari catatan yang sudah Anda miliki, sebelum merancang penelitian. Jawaban pasti bahwa tidak ada perubahan lebih berguna daripada jawaban bahwa ada perubahan yang masih bisa diperdebatkan.
Dua hal praktis perlu diperhatikan. Pengenal rilis tidak dikirimkan dalam isi respons keputusan, sehingga keterkaitannya dapat ditelusuri melalui log dengan menggabungkan catatan berdasarkan request_id. Rilis diidentifikasi melalui ID dan nama otomatis yang mencantumkan waktu publikasi, dalam format credit_scoring_2608201430, bukan melalui nomor versi semantik.
Membandingkan dua rilis
Setelah memiliki dua ID rilis, bandingkan keduanya. Perbandingan menampilkan alur langkah demi langkah dan menandai setiap bagian sebagai ditambahkan, dihapus, diubah, atau tidak berubah. Bagian yang diubah juga ditampilkan secara lebih terperinci.
Untuk scorecard, perincian ini cukup untuk membantu pemeriksaan. Prediktor dicocokkan berdasarkan identitas, bukan posisinya, sehingga prediktor yang berganti nama tidak dilaporkan sebagai satu penghapusan dan satu penambahan. Bobot setiap prediktor ditampilkan sebelum dan sesudah perubahan. Operator dan batas setiap bin juga ditampilkan sebelum dan sesudah perubahan.
Dengan begitu, Anda bisa membedakan dua perubahan yang tampak sama di laporan portofolio, padahal dampaknya sangat berbeda:
- Bobot berubah. Pemohon yang sama tetap dinilai, tetapi kontribusi satu prediktor terhadap skor total berubah.
- Segmentasi berubah. Batas bin bergeser, sehingga kelompok pemohon yang sebelumnya mendapat skor tertentu kini mendapat skor lain. Pembagian populasi berubah.
Perubahan bobot biasanya sedikit menggeser distribusi skor secara keseluruhan. Perubahan segmentasi biasanya berdampak besar pada satu kelompok. Akibatnya, kelompok tersebut berperilaku berbeda dari kelompok di sekitarnya dan beberapa bulan kemudian tingkat pemulihannya sulit diprediksi.
Letak eksperimen
Di Decisimo, champion/challenger dibuat sebagai percabangan dalam alur keputusan berdasarkan nilai acak. Logika challenger ditempatkan pada satu cabang, sedangkan champion ditempatkan pada cabang lainnya.
Penempatan ini penting untuk seluruh pembahasan. Karena pembagian tersebut menjadi bagian dari alur, bukan konfigurasi terpisah, eksperimen ikut tercakup dalam snapshot rilis. Saat membandingkan rilis, Anda dapat melihat cabang challenger, batas pembagiannya, dan scorecard yang digunakan. Pada platform yang menyimpan champion/challenger di lapisan konfigurasi terpisah, perbandingan alur bisa tampak tidak berubah meskipun sepersepuluh pemohon dinilai dengan logika lain.
Ada satu batasan yang perlu Anda antisipasi karena pengaturan bawaan tidak mencatat informasi yang diperlukan. Anda hanya dapat mengetahui apakah suatu aplikasi melewati cabang champion atau challenger jika pencatatan itu disiapkan sebelumnya. Pemanggil dapat mengirim nilai pembagian dalam payload permintaan, yang kemudian tersimpan di input_json dalam log dan bisa digunakan untuk pengelompokan. Pilihan lainnya, pemanggil dapat mengaktifkan flag record_steps, yang mengembalikan daftar langkah yang benar-benar dijalankan. Kedua opsi ini tidak aktif secara bawaan. Jika hasil eksperimen akan dianalisis berdasarkan kelompok beberapa bulan kemudian, sertakan nilai pembagian dalam payload.
Batas informasi yang tersedia
Catatan ini membantu merekonstruksi keputusan, tetapi bukan ledger yang dirancang untuk mengungkap jika catatannya diubah. Rilis dan deployment dapat dihapus. Saat penghapusan, foreign key akan diatur ke null, sehingga rujukan historis dalam log Anda tidak lagi mengarah ke apa pun. Jika kewajiban retensi Anda berlaku selama bertahun-tahun, jangan hapus deployment yang dirujuk oleh keputusan historis.
Build rilis juga mengunci revisi entitas persis yang dikompilasi untuk kumpulan aturan, tabel keputusan, fungsi, scorecard, dan pohon keputusan, tetapi tidak untuk model, sumber data eksternal, layanan OCR, atau subflow. Untuk jenis yang disebut terakhir, snapshot memuat definisi yang disertakan saat build dan itulah yang dijalankan, tetapi tidak memuat rujukan ke revisi desain asalnya.
Pemeriksaan rilis juga hanya memberi peringatan, bukan memblokir publikasi. Rilis tetap diterbitkan meskipun ada peringatan lint. Proses persetujuan dikaitkan dengan rilis setelah rilis dibuat, bukan sebagai syarat pembuatannya.
Langkah yang bisa Anda ambil
Berikut empat hal yang bisa dilakukan, dimulai dari yang paling besar manfaatnya.
Hubungkan log keputusan dengan data pinjaman menggunakan ID permintaan, lalu simpan engine_request_id di data warehouse Anda. Langkah ini sering terlewat, padahal tanpa ID tersebut analisis selanjutnya tidak dapat dilakukan. Anda hanya perlu menambahkan satu kolom.
Kelompokkan penurunan hasil berdasarkan rilis sebelum berdasarkan bulan. Vintage hanya perkiraan kebijakan, sedangkan ID rilis menunjukkan kebijakan yang benar-benar digunakan. Jika keduanya berbeda, gunakan ID rilis.
Lakukan pemeriksaan kebijakan terlebih dahulu dan catat jawabannya, apa pun hasilnya. Ini satu-satunya aspek dalam daftar yang jawabannya ya atau tidak, dan keduanya sama-sama berguna: satu menunjukkan apa yang perlu dibatalkan, sedangkan yang lain memungkinkan tim penagihan dan pemasaran melanjutkan percakapan tanpa ada kecurigaan yang membayangi.
Sertakan nilai pembagian champion/challenger dalam payload permintaan. Eksperimen yang hasilnya tidak dapat diuraikan hanya menghasilkan angka, bukan temuan.
Semua ini tidak memerlukan tim data science. Yang diperlukan adalah ketersediaan logika keputusan dalam bentuk yang sama seperti saat keputusan dibuat, serta rujukan dari keputusan ke logika tersebut.
Pertanyaan yang sering diajukan
Bagaimana cara mengetahui rilis yang menyetujui pinjaman di bucket 2?
Hubungkan setiap pinjaman dengan keputusan asalnya di log keputusan menggunakan ID permintaan, lalu kelompokkan pinjaman berdasarkan rilis. Simpan ID tersebut di data warehouse agar hubungan ini tetap tersedia untuk analisis portofolio berikutnya. Jika ID tidak ada, Anda tidak dapat memastikan rilis mana yang menghasilkan keputusan tersebut. Tanggal pencatatan pinjaman hanya bisa digunakan sebagai perkiraan.
Apakah penurunan tingkat pemulihan sebaiknya dikelompokkan berdasarkan vintage atau rilis?
Gunakan rilis sebagai pengelompokan utama untuk memeriksa apakah logika keputusan berubah, lalu gunakan vintage sebagai pembanding. Satu kelompok vintage dapat mencakup pinjaman yang disetujui melalui beberapa rilis, sehingga perubahan kebijakan kredit bisa tersamarkan. Jika tingkat pemulihan berbeda berdasarkan rilis, tetapi tidak berdasarkan vintage, periksa rilis sebelum menarik kesimpulan dari kelompok yang lebih luas.
Apa yang perlu diperiksa jika tingkat pemulihan berbeda di antara dua rilis?
Bandingkan kedua rilis dan periksa bagian logika keputusan yang berubah. Untuk scorecard, periksa bobot prediktor dan batas bin. Perubahan bobot mengubah besarnya kontribusi prediktor, sedangkan perubahan batas menggeser pemohon yang masuk ke suatu kelompok. Periksa juga perubahan pada bagian logika lainnya karena penyebabnya belum tentu hanya scorecard.
Apa yang perlu dicatat sebelum memulai uji champion-challenger?
Sertakan nilai pembagian dalam data permintaan dan simpan di log keputusan agar nanti Anda dapat mengetahui cabang yang dilalui setiap aplikasi. Cabang yang dijalankan juga bisa diketahui dari daftar tugas yang dieksekusi, tetapi pencatatan itu tidak aktif secara bawaan. Jika kedua catatan tidak tersedia, Anda mungkin memiliki hasil pengujian tanpa cara yang andal untuk mengetahui cabang asalnya.
Bagaimana cara menjaga keterkaitan keputusan historis dengan rilisnya?
Simpan rilis dan deployment-nya selama Anda masih perlu memeriksa keputusan yang merujuk pada keduanya. Penghapusan deployment dapat memutus hubungan antara log keputusan dan rilis, meskipun baris log tetap tersimpan. Tetapkan masa penyimpanan sesuai periode peninjauan catatan pinjaman Anda, dan sertakan penyimpanan rilis dalam kebijakan tersebut.