Demo decision engine untuk memilih: beli atau bangun sendiri

Dalam rapat penjadwalan demo, seorang engineer mengatakan aturan kredit hanya terdiri dari beberapa pernyataan if dan tim IT bisa membangun decision engine dalam satu sprint. Bulan depan, vendor akan mendemonstrasikan sistem mereka, sementara engineer itu menunggu tanggapan Anda atas usulan yang terdengar jauh lebih sederhana. Sebelum demo pertama dimulai, tentukan hal-hal yang perlu Anda perhatikan.

Periksa siapa yang dapat mengubah dan merilis kebijakan

Mulailah demo decision engine dengan perubahan ambang batas. Dalam contoh Decisimo, tim risiko mengubah kebijakan, menjalankan pengujian dan analisis dampak, lalu merilis perubahan tersebut. Rilis dapat mencakup rangkaian persetujuan, dan penerapan ke endpoint menunggu hingga persetujuan diberikan.

Tanyakan apakah analis risiko dapat mengubah dan merilis ambang batas tanpa bantuan developer atau membuat tiket. Tanyakan persetujuan apa yang diperlukan untuk rilis. Dengan begitu, Anda dapat menilai siapa yang berwenang mengubah kebijakan dan bagaimana pemberi pinjaman mengendalikan proses rilisnya.

Tinjau perubahan sebelum disimpan

Minta vendor menunjukkan diff sebelum perubahan disimpan, lalu bandingkan dua rilis. Contoh leasing Decisimo memperlihatkan baris yang ditambahkan dan diubah, termasuk perubahan nilai deposit.

Aturan yang menghasilkan keputusan hanyalah salah satu bagian dari proses evaluasi. Perubahan juga perlu ditinjau oleh rekan kerja di bidang kredit. Jika perubahan ambang batas harus melalui developer dan menghasilkan kode kredit, tidak ada pihak di tim kredit yang membaca kode tersebut. Diff membantu peninjau melihat bagian yang berubah.

Uji logika yang diusulkan dengan keputusan sebelumnya

Minta setiap vendor menjalankan ulang keputusan kuartal lalu dengan logika yang diusulkan, lalu mencatat keputusan mana yang berubah. Demo champion-and-challenger Decisimo menampilkan hasil analisis dampaknya.

MetrikAngka demo
Keputusan yang dijalankan ulang1,001
Dari approve menjadi decline30

Setelah hasil aktual dicocokkan, demo tersebut juga menampilkan tingkat bad rate aktual untuk setiap kelompok hasil. Dengan begitu, tim dapat menilai keputusan yang berubah berdasarkan hasil yang teramati, bukan hanya melihat jumlah keputusan yang berubah.

Jelaskan keputusan berdasarkan versi yang tercatat

Pilih satu keputusan dari delapan bulan lalu. Tanyakan versi kebijakan yang digunakan, input yang dipakai, dan aturan yang diterapkan. Riwayat commit mencatat perubahan kode. Untuk mengetahui alasan di balik keputusan atas suatu pengajuan, pemberi pinjaman juga perlu mengetahui versi, input, dan aturan yang digunakan.

Dalam contoh Decisimo, setiap keputusan mencatat revisi komponen yang dijalankan dan sumber inputnya, termasuk jika suatu nilai tidak ditemukan. Snapshot rilis yang tersimpan mempertahankan logika yang digunakan untuk keputusan lama, meskipun kebijakannya diubah kemudian.

Jalankan pemeriksaan ini dalam alur keputusan

Buat aturan untuk kredit, fraud, atau penagihan, lalu jalankan pada keputusan nyata.

Periksa penyimpanan hasil dan opsi eksekusi

Tanyakan di mana hasil disimpan, bagaimana logika diekspor, dan di mana eksekusi dapat dijalankan. Dalam contoh Decisimo, hasil dapat ditulis ke tabel di Postgres atau Supabase milik pemberi pinjaman, sementara logika dapat diekspor sebagai file Markdown. Eksekusi dapat berjalan pada endpoint real-time regional atau secara batch melalui FTP, S3, dan GCS.

Jika pemberi pinjaman berhenti menggunakan vendor, hasilnya tetap berada di Postgres atau Supabase miliknya, dan logika keputusannya dapat diekspor sebagai file Markdown.

Bandingkan harga pada volume keputusan yang sama

Pastikan Anda mengetahui keputusan apa saja yang dihitung dalam meter harga vendor. Lalu bandingkan harga pada volume saat ini dengan harga pada tiga kali volume tersebut. Ketentuan harga Decisimo menghitung keputusan di lingkungan produksi. Setiap catatan dalam proses batch dihitung, sedangkan jumlah aturan, sumber, atau model dalam satu keputusan tidak menambah hitungan.

MetrikVolumeHarga
Paket standar bulananTermasuk 50,000Mulai dari €500
Keputusan tambahanSetiap keputusan di atas volume yang termasuk€0.01 per keputusan
Paket standar untuk 50,000 keputusan per bulan50,000 keputusan€500
Paket standar untuk 150,000 keputusan per bulan150,000 keputusan€1,500

Perbandingan harga baru berguna jika kedua penawaran menggunakan definisi keputusan yang sama. Periksa cara penghitungannya, bukan hanya total harganya.

Uji usulan membangun sendiri dengan tolok ukur demo vendor

Membangun rules engine adalah bagian yang biayanya kecil. Minta tim engineering menjelaskan proses perubahan threshold, mulai dari permintaan hingga rilis, menunjukkan cara peninjau kredit membaca diff, lalu memutar ulang perubahan yang diusulkan pada keputusan sebelumnya. Minta mereka menjelaskan keputusan lama berdasarkan versi dan input yang tercatat. Pekerjaan berlanjut setelah aturan pertama berjalan: API biro kredit bisa berubah dan model mungkin perlu diganti. Tanyakan bagaimana setiap perubahan ditinjau dan diputar ulang. Evaluator aturan hanya satu bagian dari usulan tersebut.

Gunakan pemeriksaan yang sama di setiap demo

Gunakan pemeriksaan berikut untuk membandingkan vendor dengan usulan membangun sendiri.

  1. Minta vendor menunjukkan analis risiko mengubah satu ambang batas dan merilisnya tanpa bantuan developer atau tiket. Tanyakan persetujuan apa yang diperlukan.
  2. Minta mereka menunjukkan diff sebelum perubahan disimpan, lalu bandingkan dua rilis.
  3. Minta keputusan kuartal lalu dijalankan ulang dengan logika yang diusulkan, lalu minta daftar keputusan yang berubah.
  4. Pilih keputusan dari delapan bulan lalu. Tanyakan versi yang digunakan, input yang dipakai, dan aturan yang diterapkan.
  5. Tanyakan di mana hasil disimpan, bagaimana logika diekspor, dan di mana logika dapat dijalankan.
  6. Pastikan Anda mengetahui apa yang dihitung dalam meter harga, lalu bandingkan volume saat ini dengan tiga kali volume tersebut.
  7. Minta tim internal mendemonstrasikan proses perubahan, peninjauan, pengujian ulang, dan pencatatan keputusan yang sama, termasuk saat API biro kredit berubah atau model diganti.

Pertanyaan tentang demo decision engine

Apa yang perlu diperiksa dalam demo decision engine?

Periksa siapa yang dapat mengubah dan merilis ambang batas, apakah peninjau dapat membaca diff sebelum perubahan disimpan, apakah logika yang diusulkan dapat diuji ulang, apakah keputusan lama dapat dijelaskan berdasarkan versi yang digunakan, di mana hasil dan logika disimpan, serta bagaimana harga berubah seiring volume. Minta vendor mendemonstrasikan setiap hal tersebut.

Sebaiknya pemberi pinjaman membangun decision engine sendiri atau membeli?

Membangun rules engine adalah bagian yang biayanya kecil. Kode kredit yang dihasilkan tidak ditinjau oleh tim kredit, dan tetap ada yang harus memeliharanya saat API biro kredit berubah atau model perlu diganti. Minta tim internal dan vendor mendemonstrasikan persyaratan yang sama.

Mengapa riwayat Git saja tidak cukup untuk menjelaskan keputusan kredit?

Riwayat Git mencatat perubahan kode. Untuk menjelaskan suatu keputusan, pemberi pinjaman juga perlu mengetahui versi kebijakan, input, dan aturan yang digunakan. Tanyakan bagaimana sistem mencatat informasi tersebut untuk setiap keputusan.

Bagaimana membandingkan harga decision engine saat volume meningkat?

Tanyakan apa yang dihitung dalam meter harga, lalu bandingkan harga pada volume saat ini dengan harga pada tiga kali volume tersebut. Gunakan definisi keputusan yang sama untuk kedua penawaran dan periksa cara catatan dalam proses batch dihitung.

Jalankan pemeriksaan ini dalam alur keputusan

Buat aturan untuk kredit, fraud, atau penagihan, lalu jalankan pada keputusan nyata.