Menelusuri Model dan Keputusan
Dari luar, pengambilan keputusan otomatis terlihat sederhana. Sebuah permintaan masuk ke sistem, lalu sebuah keputusan dihasilkan.
Dalam lingkungan produksi, sistem pengambilan keputusan mengevaluasi ratusan kondisi, aturan, dan transformasi data sebelum menghasilkan keputusan. Tanpa pencatatan jejak yang memadai, tidak ada yang bisa menjawab pertanyaan mendasar:
Mengapa sistem menghasilkan keputusan ini?
Bank, perusahaan fintech, dan perusahaan asuransi menghadapi pertanyaan ini setiap hari. Regulator menanyakannya. Tim risiko menanyakannya. Nasabah pun menanyakannya.
Untuk menjawabnya, diperlukan keterlacakan keputusan di seluruh alur keputusan.
Artikel ini menjelaskan arti pencatatan jejak dalam praktik dan penerapannya pada berbagai tahap logika keputusan otomatis.
Apa Itu Jejak Keputusan
Jejak keputusan mencatat seluruh jalur yang dilalui sebuah keputusan di dalam sistem.
Informasi yang dicatat meliputi:
- data input yang digunakan dalam evaluasi
- aturan yang dievaluasi beserta hasilnya
- perhitungan antara
- respons dari API eksternal
- hasil keputusan akhir
Setiap tahap menjadi bagian dari catatan yang dapat diaudit.
Jejak yang memadai memungkinkan tim merekonstruksi keputusan beberapa bulan kemudian dan menunjukkan secara persis bagaimana logika dijalankan.
Di industri yang diatur, pencatatan ini bukan pilihan. Regulasi seperti GDPR dan DORA mewajibkan keputusan otomatis yang berdampak pada nasabah untuk dapat dijelaskan.
Tahap 1: Evaluasi Data Input
Setiap keputusan otomatis berawal dari data input.
Contohnya meliputi:
- data pengajuan pinjaman
- riwayat transaksi rekening bank
- hasil verifikasi identitas
- respons dari biro kredit
- skor risiko internal
Sebelum aturan bisnis dijalankan, sistem memeriksa kualitas dan struktur data.
Pemeriksaan yang umum dilakukan meliputi:
- kolom yang kosong
- format yang tidak valid
- nilai yang tidak konsisten
- data yang sudah kedaluwarsa
Jejak keputusan perlu mencatat:
- input mentah yang diterima
- transformasi yang diterapkan
- hasil validasi
Input: Monthly income = 4,200
Source: application form
Validation: passed
Transformation: converted to integer
Tanpa tahap ini, tim tidak dapat memastikan apakah keputusan yang keliru disebabkan oleh input yang buruk atau logika aturan.
Tahap 2: Eksekusi Logika Keputusan
Setelah input divalidasi, sistem menjalankan logika keputusan.
Logika ini biasanya terdiri atas:
- pohon keputusan
- tabel keputusan
- kumpulan aturan
- logika kondisional
- perhitungan skor
Contoh logika underwriting dapat mencakup aturan seperti:
IF credit_score < 580
THEN reject application
IF debt_to_income_ratio > 45%
THEN mark for manual review
Jejak keputusan mencatat:
- setiap aturan yang dievaluasi
- hasil dari aturan tersebut
- urutan eksekusi
Rule: credit_score_check
Condition: credit_score < 580
Result: false
Rule: debt_to_income_check
Condition: debt_to_income_ratio > 45%
Result: true
Outcome: manual review
Catatan ini menjelaskan dasar keputusan secara terperinci.
Tahap 3: Data Eksternal dan Orkestrasi API
Alur keputusan modern jarang hanya mengandalkan data internal.
Sistem sering memanggil layanan eksternal, seperti:
- biro kredit
- sistem deteksi fraud
- API agregasi rekening bank
- penyedia layanan verifikasi identitas
Setiap panggilan memengaruhi alur keputusan.
Contoh urutannya:
- Mengambil riwayat transaksi bank
- Menghitung kestabilan pendapatan
- Memeriksa indikator fraud
- Memperbarui skor risiko
Jejak yang memadai mencatat:
- endpoint API yang dipanggil
- parameter permintaan
- data respons
- hasil evaluasi
API call: transaction_analysis_service
Transactions analyzed: 540
Detected monthly income: 4,180
Income stability score: 0.87
Jika layanan eksternal gagal atau memberikan data yang tidak sesuai dugaan, jejak menunjukkan titik kegagalannya secara persis.
Tahap 4: Metrik Turunan dan Output Model
Banyak sistem pengambilan keputusan menghitung metrik turunan sebelum menghasilkan keputusan akhir.
Contohnya meliputi:
- rasio utang terhadap pendapatan
- volatilitas transaksi
- tren pendapatan pada rekening bisnis
- skor risiko fraud
- skor kemampuan membayar
Perhitungan ini sering menggabungkan beberapa input.
Debt-to-income ratio
= total monthly obligations / verified income
= 1,950 / 4,180
= 46.6%
Jejak keputusan perlu mencakup:
- rumus yang digunakan
- nilai antara
- hasil akhir metrik
Dengan informasi ini, tim risiko dapat memeriksa apakah perhitungan berjalan sesuai harapan.
Tahap 5: Keputusan dan Hasil Akhir
Setelah mengevaluasi aturan, data, dan metrik turunan, sistem menghasilkan keputusan.
Hasil yang umum antara lain:
- approve
- reject
- tinjauan manual
- permintaan informasi tambahan
Jejak keputusan mencatat:
- keputusan akhir
- aturan atau kondisi yang memicunya
- versi kumpulan aturan yang digunakan
Decision: manual_review
Triggered by: debt_to_income_check
Ruleset version: v3.14
Timestamp: 2026-03-09T10:32:14
Pelacakan versi penting karena logika keputusan berubah dari waktu ke waktu. Jejak harus menghubungkan setiap keputusan dengan versi aturan yang persis berlaku saat itu.
Tahap 6: Analisis Setelah Keputusan
Pencatatan jejak tidak berhenti setelah keputusan dihasilkan.
Perusahaan menganalisis jejak untuk meningkatkan kinerja dan model risiko.
Distribusi keputusan
Contoh pertanyaan:
- Berapa persen pengajuan yang masuk ke tinjauan manual?
- Aturan mana yang paling banyak menolak pengajuan?
Efektivitas aturan
Tim menganalisis aturan yang paling sering terpicu dan memeriksa apakah hasilnya tepat.
Rule: income_instability_flag
Triggered: 22% of cases
Manual review outcome: 81% rejection
Pemantauan model
Jika model menjadi bagian dari logika keputusan, trace membantu mendeteksi perubahan model dari waktu ke waktu.
Contoh indikator:
- perubahan distribusi skor risiko
- kenaikan jumlah indikator fraud yang tidak biasa
- lonjakan persetujuan yang tiba-tiba
Tanpa data jejak, perubahan seperti ini sulit ditelusuri penyebabnya.
Alasan Keterlacakan Keputusan Penting
Banyak sistem dapat menghasilkan keputusan, tetapi hanya sedikit yang dapat menjelaskannya.
Keterlacakan keputusan memberi tim tiga manfaat operasional.
1. Kesiapan audit
Regulator sering meminta bukti bahwa keputusan mengikuti aturan yang terdokumentasi. Jejak keputusan menyediakan bukti tersebut.
2. Penelusuran masalah lebih cepat
Saat keputusan tampak keliru, tim dapat memeriksa jejak untuk mengetahui aturan yang terpicu dan data yang memicunya.
3. Perubahan aturan yang lebih aman
Riwayat jejak memungkinkan tim membandingkan keputusan sebelum dan sesudah perubahan aturan.
Keputusan Deterministik vs. Model Black Box
Banyak perusahaan menggunakan model machine learning dalam alur keputusan. Model seperti ini sering berfungsi sebagai black box.
Logika keputusan deterministik membuat keputusan akhir dapat dijelaskan. Model dapat memberikan indikator, tetapi aturan yang menentukan hasilnya.
IF fraud_model_score > 0.82
AND transaction_velocity > threshold
THEN reject payment
Model menghasilkan indikator, lalu logika keputusan menafsirkannya. Jejak mencatat keduanya.
Standar Operasional untuk Sistem Pengambilan Keputusan
Agar pengambilan keputusan otomatis dapat berjalan di lingkungan produksi, empat hal perlu diperhatikan:
- Determinisme
- Keterlacakan
- Kemampuan untuk menjelaskan keputusan
- Kontrol versi
Tanpa hal-hal tersebut, keputusan otomatis sulit dipercaya.
Penutup
Otomatisasi meningkatkan jumlah keputusan yang diproses. Bank dan perusahaan fintech kini menjalankan jutaan evaluasi otomatis setiap bulan.
Tanpa pencatatan jejak yang memadai, keputusan tersebut sulit dipahami.
Dengan keterlacakan, tim dapat merekonstruksi jalur eksekusi setiap keputusan secara persis dan menjelaskannya beberapa bulan kemudian.
Inilah perbedaan antara keputusan otomatis dan sistem pengambilan keputusan yang dapat diaudit.
Pertanyaan yang sering diajukan
Apa yang perlu dicatat saat penyedia data eksternal gagal atau memberikan respons yang tidak terduga?
Catat penyedia, waktu permintaan, status respons, serta versi respons atau skema yang tersedia dalam jejak yang dikendalikan perusahaan Anda. Tentukan tindakan cadangan dalam logika keputusan, seperti meminta informasi baru atau meneruskan pengajuan untuk tinjauan manusia. Jangan pernah diam-diam memperlakukan nilai yang tidak tersedia sebagai nol atau menggunakan kembali data lama, karena keduanya dapat mengubah hasil keputusan.
Bagaimana mengetahui apakah perubahan keputusan disebabkan oleh skor model yang tidak biasa atau aturan kebijakan?
Bandingkan output model, nilai yang dibaca oleh kebijakan, hasil aturan, dan revisi kebijakan untuk keputusan yang terdampak. Jalankan ulang input yang sama dengan revisi yang sama untuk mengetahui apakah hasil berubah pada output model atau pada logika keputusan. Perlakukan skor sebagai input, lalu minta pemilik kebijakan meninjau dan menyetujui setiap perubahan pada aturan yang menggunakannya.
Rasio keputusan mana yang perlu saya tinjau setelah perubahan kebijakan dirilis?
Bandingkan tingkat approve, decline, dan tinjauan manual sebelum dan sesudah rilis, lalu uraikan perubahan yang berarti berdasarkan produk atau segmen pemohon. Periksa lebih dahulu perubahan di sekitar ambang batas, serta kualitas input dan respons penyedia eksternal sebelum mengubah kebijakan. Sampel kecil dapat menghasilkan angka yang berfluktuasi, jadi tentukan ambang peninjauan berdasarkan volume pengajuan Anda dan telusuri perubahan yang bertahan, bukan setiap fluktuasi.