Decision engineer: peran, keterampilan, dan dampaknya
Model scoring bisa saja memakai atribut yang seharusnya tidak digunakan karena korelasinya kuat dan tampak meyakinkan. Atribut itu tidak terkait dengan faktor yang bisa diintervensi, sehingga model berhenti bekerja saat kondisi berubah, tanpa diketahui kapan perubahan itu terjadi.
Decision engineer merancang keputusan dengan melihat hasil yang ingin dicapai terlebih dahulu, lalu situasinya, kemudian faktor dalam situasi tersebut yang memengaruhi hasil. Data baru diperiksa setelah itu. Selanjutnya, mereka menilai apakah keputusan dapat diotomatisasi berdasarkan kesadaran situasi, pemahaman situasi, dan logika situasi. Situasinya harus dipahami terlebih dahulu.
Apa perbedaan decision engineer dan data scientist?
Decision engineer yang baik membangun kesadaran situasi, lalu pemahaman situasi, kemudian logika situasi. Mereka menelusuri asal data, maknanya dalam bisnis, dan kemampuannya untuk memprediksi perilaku di masa depan.
Data scientist dapat mengolah data yang terkumpul menjadi model statistik yang kuat. Namun, model tersebut mungkin tidak terkait dengan asal data atau maknanya dalam bisnis. Dalam konteks kredit, seseorang mungkin mengatakan bahwa ia dapat memprediksi siapa yang akan berkinerja baik atau buruk. Setelah ditelusuri, cara data dikumpulkan dan makna atributnya mungkin tidak mendukung prediksi tersebut. Decision engineer menghubungkan hal-hal ini sebelum mengandalkan model.

Apa peran decision engineer dalam tim produk?
Decision engineer yang baik biasanya berdiskusi dengan seluruh tim produk. Bersama tim, mereka membangun kesadaran situasi, pemahaman situasi, dan logika situasi. Mereka menanyakan cara tim mengumpulkan data, makna data tersebut, serta karakteristik pelanggan. Untuk kasus-kasus khusus, mereka mempertimbangkan seperti apa data yang akan terlihat.
Mereka menguji kesadaran situasi dengan menguji model keputusan dan membandingkan hasilnya dengan ekspektasi. Model disesuaikan dan disempurnakan bila perlu.
Bagaimana decision engineer menghubungkan underwriting dan penagihan?
Mereka dapat berdiskusi dengan tim penagihan tentang pola pelanggan yang tidak berhasil ditemukan. Mereka juga menanyakan data apa yang dapat membantu penagihan saat pelanggan berhasil ditemukan.
Hal ini dapat mengarahkan perhatian kembali ke proses underwriting. Sekelompok nasabah mungkin terlihat baik dalam penilaian kredit, tetapi nantinya mustahil ditemukan saat penagihan. Decision engineer mencari data yang tersedia saat pengajuan dan dapat membantu mengenali kelompok ini lebih awal.
Misalnya, pengajuan menunjukkan nomor telepon baru yang baru saja diaktifkan. Nomor itu mungkin belum terhubung dengan orang lain dan tidak terhubung ke WhatsApp atau Telegram. Decision engineer menilai kaitan antara informasi tersebut dalam pengajuan dan hasil penagihan di kemudian hari.
Pendekatan ini menghubungkan seluruh proses. Decision engineer menelusuri rangkaian sebab dan akibat, lalu merancang keputusan agar hasilnya tercapai dengan baik. Inilah yang membedakan decision engineer dari analis data konvensional.

Apa risikonya jika pemberi pinjaman hanya mengandalkan data science atau AI?
Pemberi pinjaman dapat menganalisis data yang sudah ada di sistem dan memanfaatkan kemampuan teknis yang tersedia. Data juga dapat dimasukkan ke LLM untuk menghasilkan model. Model itu mungkin unggul secara teknis, tetapi tetap tidak sesuai dengan kenyataan.
Untuk menemukan hubungan tersebut, seseorang perlu menyelidiki berbagai kemungkinan, terus terlibat langsung dalam produk, berdiskusi dengan tim produk, dan memikirkan cara mengumpulkan lebih banyak data. Pekerjaan ini mencakup memahami situasi dan membayangkan seperti apa datanya jika suatu hal memang benar.
Jika hasil yang ingin dicapai harus berubah, perlu ada faktor yang bisa diintervensi. Tugasnya adalah menemukan data yang menunjukkan faktor tersebut dan menentukan cara mengumpulkannya. Jika data utama tidak tersedia, data proksi dapat menjadi sumber yang memiliki korelasi cukup kuat dengan data yang dibutuhkan dalam praktik.
Bagaimana decision engineer memeriksa apakah seseorang benar-benar tinggal di suatu alamat?
Anda dapat menanyakan apakah seseorang tinggal di suatu alamat. Orang tersebut mungkin memberikan tagihan listrik sebagai bukti alamat. Tagihan itu menunjukkan adanya hubungan dengan alamat tersebut, tetapi tidak membuktikan bahwa orang itu benar-benar tinggal di sana.
Anda dapat melihat aktivitas yang terkait dengan alamat itu. Apakah orang tersebut menerima pesanan makanan atau paket di sana? Aktivitas ini dapat menunjukkan bahwa orang tersebut cukup sering berada di sana hingga menerima kiriman di alamat tersebut.
Informasi ini merupakan data proksi untuk menunjukkan bahwa seseorang tinggal di suatu tempat. Data tersebut mungkin bukan data resmi yang diberikan kepada bank atau perusahaan tempatnya bekerja, tetapi dapat menggambarkan apa yang terjadi di lapangan. Decision engineer mencari data yang dapat menunjukkan apakah seseorang benar-benar tinggal di alamat itu, lalu mempertimbangkan cara mengumpulkannya.

Keterampilan apa yang dibutuhkan decision engineer seiring perkembangan teknologi?
LLM, Claude, dan OpenAI ChatGPT memungkinkan analisis data dilakukan jauh lebih cepat. Namun, seseorang tetap perlu memahami produk, menyelidiki cara kerjanya, dan menilai makna data dalam kenyataan. Pemikiran seperti ini tetap menjadi bagian terpenting.
Perbaikan berawal dari seseorang yang menyelidiki, mengajukan pertanyaan, dan memahami jawabannya. Pekerjaan ini membutuhkan pemikiran sistem dan kemampuan berkomunikasi dengan orang lain. Teknologi digunakan setelahnya.
Dulu, decision engineer perlu memiliki keterampilan statistik untuk menggunakan R, kemudian Python, serta mengolah data seperti data scientist. Keterampilan teknis tersebut kini tidak lagi wajib. Yang tetap dibutuhkan adalah kemampuan berpikir jernih tentang faktor dalam suatu situasi, pengaruhnya terhadap hasil akhir, dan cara decisioning dapat memperbaiki hasil tersebut. Bagian terpentingnya adalah menguji asumsi dan hipotesis dengan kenyataan melalui pemikiran mendalam dan pengujian yang baik.
- Mempertanyakan produk dan data: Selidiki produk dan pahami makna data dalam kenyataan sebelum menggunakan teknologi.
- Pemikiran sistem: Pahami pengaruh berbagai faktor terhadap hasil dan cara keputusan dapat memperbaikinya sesuai konteks.
- Berpikir jernih: Pertimbangkan hipotesis yang bertentangan, telaah masing-masing, dan jangan terpaku pada satu gagasan.
- Komunikasi lintas tim: Jelaskan konsep teknis dengan jelas agar pemangku kepentingan nonteknis dapat memahaminya dan mengambil tindakan.
- Kesadaran situasi: Pahami di mana keputusan dijalankan, siapa yang terdampak, dan konteks operasional yang membuat model tetap relevan.
- Pemecahan masalah: Ubah masalah bisnis menjadi logika keputusan yang jelas melalui kolaborasi lintas tim.
- Mempresentasikan model keputusan: Jelaskan model, asumsi, dan hasil dengan terang agar tim dapat menerapkannya dengan benar.
- AI dan machine learning: Pahami prinsip dasarnya dan kapan teknologi tersebut tepat digunakan dalam model keputusan.
Apa yang perlu diperhatikan saat merekrut decision engineer?
Decision engineer yang baik terus menguji model berdasarkan kenyataan. Konsultan, manajer produk, atau staf pemasaran mungkin mencoba menyajikan sesuatu yang tampak bagus dan meyakinkan. Decision engineer terus bertanya seperti apa hasilnya jika mereka salah, dan seperti apa jika mereka benar.
Hal ini penting dalam model scoring. Beberapa atribut memiliki korelasi tinggi dan tampak berguna, tetapi tidak terkait dengan faktor yang menjelaskan perilaku kredit atau pembayaran kembali. Atribut tersebut mungkin tidak lagi berfungsi saat kondisi berubah, tanpa diketahui kapan perubahan itu terjadi. Decision engineer yang baik mencari faktor di balik korelasi dan menguji apakah kaitannya tetap berlaku.
Statistikawan yang baik mungkin mengatakan bahwa mereka cukup yakin karena statistik menunjukkan model bekerja. Decision engineer dapat menunjukkan apa yang terkait dengan faktor tersebut, apa yang akan terjadi jika faktor itu berubah, dan bagaimana data berkaitan dengan fenomena yang diamati.
Bagaimana menguji kandidat decision engineer saat wawancara?
Berikan kandidat sebuah masalah dengan korelasi kuat dan jelas di dalam data, tetapi jangan beri tahu bahwa korelasi itu keliru. Penyebabnya harus berasal dari cara data dihasilkan. Salah satu contohnya adalah kebocoran data, seperti penanda “dihubungi tim penagihan” yang baru diisi setelah hasil diketahui dan memprediksi gagal bayar dengan sempurna. Contoh lain adalah artefak proses, seperti pengajuan yang masuk pada malam hari lebih sering gagal bayar karena satu broker mengirimkan kumpulan pengajuannya pada pukul 2 pagi.
Orang yang ingin memberikan jawaban yang terdengar bagus akan menunjukkan korelasi yang tampak bagus. Decision engineer yang baik akan mengatakan bahwa ia tidak memahami mengapa korelasinya bisa begitu kuat, karena hal itu tidak masuk akal dalam kenyataan. Pewawancara juga perlu menyertakan satu korelasi yang nyata dan memiliki mekanisme yang masuk akal. Ini menunjukkan apakah kandidat dapat membedakan keduanya, alih-alih meragukan semua korelasi.
Ada orang yang ingin menunjukkan bahwa mereka telah menyelesaikan tugas meskipun sebenarnya tidak ada korelasi yang nyata. Berikan kesempatan kepada kandidat untuk menjelaskan cara mereka memahami masalah dan apakah mereka dapat menemukan faktor di balik data.

Pertanyaan yang sering diajukan tentang decision engineer
Bagaimana cara menjadi decision engineer?
Mulailah dengan belajar menghubungkan asumsi dan hipotesis dengan kenyataan, lalu menguji kaitannya. Anda perlu berpikir jernih tentang faktor dalam suatu situasi, pengaruhnya terhadap hasil, dan cara decisioning dapat memperbaikinya.
Apakah decision engineer perlu bisa menulis kode?
Dulu, decision engineer perlu memiliki keterampilan statistik untuk menggunakan R, kemudian Python, serta mengolah data seperti data scientist. Keterampilan teknis tersebut kini tidak lagi wajib karena teknologi digunakan setelah memahami produk, data, dan faktor di balik hasil.
Apa yang dikerjakan decision engineer sehari-hari?
Decision engineer berdiskusi dengan tim produk, menanyakan makna data dalam kenyataan, dan menyelidiki kasus-kasus khusus. Mereka menguji model keputusan berdasarkan ekspektasi, menyesuaikannya bila perlu, dan memikirkan cara mengumpulkan lebih banyak data.
Apa yang membuat seseorang menjadi decision engineer yang baik?
Decision engineer yang baik terus menguji model berdasarkan kenyataan dan bertanya seperti apa hasilnya jika model itu salah. Mereka mencari faktor di balik korelasi, menguji apakah kaitannya tetap berlaku, dan menjelaskan model dengan jelas agar orang lain dapat mengambil tindakan.