Uji champion-challenger 5%: 19.6 bulan

Uji champion-challenger

Anda membandingkan model keputusan atau strategi yang sudah digunakan dengan yang baru sebelum memutuskan apakah pendekatan saat ini perlu diganti. Champion mengevaluasi sebagian besar kasus dalam kelompok holdout, sedangkan challenger mengevaluasi sampel yang biasanya dipilih secara acak. Jika challenger berkinerja lebih baik, Anda dapat mengganti champion secara bertahap atau sekaligus. Jika tidak, Anda dapat menyempurnakannya atau menghentikannya.

Perbandingan ini juga memerlukan cara yang sama untuk mengetahui pendekatan mana yang menangani setiap kasus. Umumnya, implementasi menyertakan angka acak dalam data yang digunakan untuk mengambil keputusan. Satu angka cukup jika hanya satu bagian keputusan yang diuji, sedangkan beberapa pengujian memerlukan angka terpisah agar tidak saling memengaruhi. Hasil disimpan bersama angka yang digunakan, sehingga kedua kelompok dapat diidentifikasi saat kinerjanya dibandingkan.

Anda dapat menguji segmentasi dalam tabel keputusan, satu baris, satu aturan, seluruh kumpulan aturan, atau satu sumber data pihak ketiga terhadap sumber lainnya. Masing-masing merupakan area pengujian tersendiri, sehingga memerlukan angka pembagian sendiri.

Lama pengujian

Periode pengamatan hasil perlu dicantumkan dalam rencana pengujian karena kinerja kredit konsumen dapat memerlukan waktu enam bulan untuk terlihat. Dengan membandingkan kelompok pinjaman dari periode yang sama di kedua cabang, Anda dapat membedakan perbedaan kinerja model dari perubahan kondisi pada periode tersebut. Tanpa perbandingan ini, penyebab perbedaan antarperiode tidak jelas.

Dengan tingkat gagal bayar 4%, mengukur selisih satu poin memerlukan 19.6 bulan jika porsi challenger 5% dan periode pengamatan hasil enam bulan. Perbandingan yang sama memerlukan 8.7 bulan jika porsi challenger 50% dengan periode pengamatan yang sama.

Porsi challenger Bulan pengumpulan sampel Pengamatan enam bulan Pengamatan dua belas bulan
5% 13.6 19.6 25.6
10% 7.2 13.2 19.2
20% 4.1 10.1 16.1
50% 2.7 8.7 14.7

Jumlah pinjaman di cabang challenger berubah lebih sedikit daripada yang terlihat dari lamanya pengujian karena cabang champion menyediakan pembanding. Untuk mengukur selisih satu poin, challenger memerlukan 3,407 pinjaman jika porsinya 5% dan 6,745 jika porsinya 50%. Perbedaan utamanya adalah waktu yang dibutuhkan porsi lebih kecil untuk mengumpulkan pinjaman tersebut. Mengukur selisih setengah poin memerlukan waktu lebih lama lagi: challenger 5% membutuhkan 58.7 bulan dengan periode pengamatan hasil enam bulan, dibandingkan dengan 16.2 bulan untuk challenger 50%.

Pembagian

Pembagian dengan rentang yang jelas memastikan setiap permohonan diarahkan ke cabang yang tepat. Jika challenger menangani nilai pembagian 1 sampai 30 dan champion menangani nilai lainnya, tepat 30 dari 100 permohonan masuk ke challenger dan 70 ke champion. Semua permohonan mendapat keputusan. Jika challenger kedua menangani nilai 21 sampai 40, batas yang sama membagi 100 permohonan menjadi 20, 20, dan 60 di tiga cabang. Pembagiannya jelas karena rentangnya dinyatakan secara eksplisit: setiap permohonan masuk ke satu cabang dan tidak ada nilai yang terlewat.

Batas tersebut juga menentukan tujuan permohonan yang tidak memiliki nilai pembagian. Pola yang aman adalah membatasi challenger pada nilai 1 sampai 30 dan mengarahkan semua nilai lainnya ke champion. Dengan begitu, nilai pembagian yang kosong masuk ke champion. Nilai di luar rentang yang diharapkan juga ditangani di sana. Permohonan dengan nilai pembagian 0 atau 101 tetap mendapat keputusan. Yang diuji adalah eksperimennya, bukan pendekatan yang digunakan sebagai pilihan cadangan.

Pasangan aturan yang sekilas tampak benar justru membalik pengaturan tersebut. Challenger yang menangani nilai paling tinggi 30 dan champion yang menangani nilai di atas 30 tampaknya mencakup semua kemungkinan. Namun, nilai yang kosong dianggap lebih kecil daripada setiap angka, sehingga masuk ke challenger. Untuk permohonan tersebut, uji dengan porsi champion-challenger 70/30 berubah menjadi 0/100. Menambahkan champion sebagai cabang penampung semua nilai tidak memperbaiki hasil jika challenger diperiksa lebih dahulu. Jika challenger ditetapkan untuk nilai “paling tinggi 30” dan champion untuk “nilai apa pun”, nilai kosong tetap masuk ke challenger. Hanya dengan membatasi rentang cabang yang diuji, nilai kosong tetap diarahkan ke model yang sedang digunakan.

Pembagian dapat menggunakan bidang seperti channel. Jika cabang challenger menangani “broker” dan champion menangani nilai lainnya, permohonan dari broker masuk ke challenger. Semua channel lain, termasuk nilai yang tidak direncanakan dan nilai kosong, masuk ke champion. Jika Anda hanya mencantumkan tiga channel tanpa cabang penampung semua nilai, nilai keempat tidak akan mendapat keputusan. Aturannya sama seperti pada pembagian numerik: batasi rentang cabang yang diuji, lalu arahkan nilai lainnya ke champion.

Jalankan pemeriksaan ini dalam alur keputusan

Buat aturan untuk kredit, fraud, atau penagihan, lalu jalankan pada keputusan nyata.

Pemeriksaan sebelum digunakan

Sebelum menerapkan tabel keputusan, scorecard, atau kumpulan aturan yang diubah ke traffic langsung, uji perubahan tersebut terhadap keputusan sebelumnya atau sebuah file. Penganalisis dampak menunjukkan jumlah keputusan yang akan berubah, misalnya “30 dari 1,001 keputusan akan berubah”, dan mencantumkan hasil lama serta hasil baru. Setelah hasil aktual dicocokkan, Anda dapat melihat tingkat gagal bayar aktual di setiap kelompok, bukan hanya menilai perubahan berdasarkan keputusan yang berubah.

Pemeriksaan tersebut tidak membuat pembagian untuk traffic langsung. Pada traffic langsung, fork dalam alur keputusan menggunakan nilai pembagian yang dikirim oleh sistem pemberi pinjaman. Tidak ada pembagian acak bawaan. Assistant dapat menambahkan fork dengan champion sebagai cabang penampung semua nilai, dan setiap perubahan harus disetujui sebelum digunakan. Karena itu, angka yang menandai cabang pengujian harus disertakan dalam data yang diterima oleh proses pengambilan keputusan.

Angka yang sama perlu tetap terhubung dengan keputusan setelah keputusan dibuat. Jika arsip keputusan dihubungkan, setiap keputusan ditulis ke database milik pemberi pinjaman beserta dokumen permohonan dan nilai pembagiannya. Anda kemudian dapat membandingkan kedua cabang menggunakan hasil aktual milik pemberi pinjaman, dengan nilai yang digunakan untuk mengarahkan setiap keputusan tetap tercatat. Dengan demikian, perbandingan mencakup kasus yang benar-benar diterima pemberi pinjaman.

Challenger menjadi champion dengan merilis versinya ke endpoint. Anda juga dapat membandingkan dua rilis terlebih dahulu.

Pengujian berikutnya

Masukkan perkiraan tingkat gagal bayar, porsi challenger, dan periode pengamatan hasil ke kalkulator champion-challenger. Kalkulator ini menghitung menggunakan angka yang Anda masukkan dan memeriksa hasil perbandingan berdasarkan selisih, interval 95%, dan nilai p.

Sebelum membagi traffic, pastikan selisih yang Anda perkirakan dapat terdeteksi dalam durasi pengujian yang direncanakan. Dengan porsi 20%, pengujian yang mengumpulkan pinjaman selama 1 bulan dapat mendeteksi selisih minimal 2.11 poin persentase. Untuk 3 bulan, batasnya 1.18, untuk 6 bulan 0.82, dan untuk 12 bulan 0.57.

Pertanyaan yang sering diajukan

Sebaiknya saya menguji satu aturan atau seluruh kebijakan keputusan?

Uji satu area keputusan dalam satu waktu jika Anda perlu mengetahui penyebab perubahan kinerja. Anda dapat mengisolasi satu baris tabel keputusan, satu aturan, atau seluruh kumpulan aturan. Namun, menggabungkan beberapa perubahan akan membuat hasilnya lebih sulit ditafsirkan. Gunakan nilai pembagian tersendiri untuk setiap perbandingan independen agar pembagian traffic pada satu pengujian tidak memengaruhi pengujian lainnya.

Jalankan pemeriksaan ini dalam alur keputusan

Buat aturan untuk kredit, fraud, atau penagihan, lalu jalankan pada keputusan nyata.