Pengenalan dan Pencocokan Wajah untuk Onboarding

Pengenalan wajah berkembang pesat dalam beberapa tahun terakhir, terutama berkat deep learning. Teknologi ini membuat verifikasi identitas jarak jauh dapat dilakukan secara praktis. Pencocokan wajah dengan dokumen identitas yang sebelumnya dilakukan secara manual kini beralih ke proses online.

Manusia mampu mengenali dan membandingkan wajah karena otak memiliki bagian yang khusus menjalankan tugas tersebut. Untuk mengenali seseorang, otak juga menggunakan petunjuk lain, seperti pakaian, gender, lokasi, konteks, serta cara orang tersebut berjalan atau bergerak.

Agar kecerdasan buatan dapat mengenali seseorang secara menyeluruh dengan hasil serupa, diperlukan beberapa metode. Karena itu, artikel ini berfokus pada pengenalan wajah. Penerapannya secara online memerlukan proses untuk memvalidasi masukan, menjalankan model, dan mengambil keputusan berdasarkan data yang terkumpul.

Foto yang digunakan untuk mengambil keputusan dalam pengenalan wajah umumnya termasuk dalam jenis berikut:

  1. Foto biasa yang diunggah pengguna,
  2. Selfie yang diambil selama proses pengenalan,
  3. Foto yang diambil saat proses deteksi liveness.

Foto orang tersebut kemudian dicocokkan dengan sumber lain. Sumbernya dapat berupa layanan pemerintah seperti NCIIC di Tiongkok atau Dukcapil di Indonesia, maupun foto pada dokumen identitas seperti kartu identitas, SIM, atau paspor.

Validasi masukan data

Metode utama untuk memeriksa keaslian foto digital meliputi:

Biasanya, hanya dua metode yang dapat diotomatisasi dengan baik tanpa menimbulkan terlalu banyak false positive. Analisis error level memiliki keterbatasan karena hasilnya sering kali masih perlu diperiksa oleh seseorang. Metode ini lebih berguna sebagai alat bantu visual dan tidak mendeteksi sejumlah manipulasi yang sederhana tetapi efektif. Misalnya, tangkapan layar dari foto yang sudah dimanipulasi sering kali tidak terdeteksi oleh ELA.

Analisis metadata memberikan informasi berguna, seperti kamera yang digunakan, waktu pengambilan, letak objek dalam foto, dan terkadang juga geolokasi. Informasi ini membantu memastikan bahwa foto diambil di lokasi yang semestinya, misalnya di titik penjualan, diambil belum lama ini, atau tidak diedit menggunakan Photoshop maupun perangkat lunak lain. Metadata yang dihapus patut menjadi tanda peringatan. Jika metadata tidak ada pada semua foto, tanyakan kepada tim pengembang bagaimana foto diambil, diproses, dan disimpan.

Kualitas saat terakhir disimpan berkaitan dengan kompresi. Foto yang disimpan atau diedit sering kali dikompresi sehingga kualitas aslinya, seperti yang dihasilkan perangkat, tidak lagi dipertahankan.

Deteksi liveness dapat mengurangi banyak risiko penggunaan foto palsu. Umumnya, aplikasi seluler menjalankan algoritma deteksi liveness dan mengambil foto selama proses berlangsung, lalu mengirimkannya untuk pengenalan. Pada tahap ini, celah serangan yang mungkin dimanfaatkan adalah API untuk mengunggah foto ke server. Untuk mengurangi risiko tersebut, gunakan perlindungan tambahan selain hashing dan enkripsi standar. Penguatan tambahan dapat mempersulit penyalahgunaan endpoint API dengan data palsu.

Proses pencocokan

Setelah data yang masuk dapat dipercaya, tahap berikutnya adalah pencocokan. Layanan pemerintah sering memberikan hasil yang baik. Dalam banyak kasus, membangun model sendiri kini kurang masuk akal karena model deep learning membutuhkan banyak data pelatihan, sementara layanan pihak ketiga sudah cukup maju dan relatif murah.

Anda dapat memilih layanan berdasarkan beberapa aspek, yaitu harga, kecepatan, dan kualitas pencocokan. Periksa juga kinerjanya pada kelompok ras yang berbeda. Sebagai contoh, layanan Microsoft sering memberikan hasil yang baik untuk wajah orang kulit putih, tetapi hasilnya bisa kurang baik untuk wajah orang Asia. Untuk wajah orang Asia, saya pernah melihat hasil yang baik dari Face++. Pada wajah orang kulit putih, layanan yang sama terkadang tidak menangkap detail wajah yang lebih halus.

Dalam kebanyakan kasus, saya menyarankan penggunaan dua layanan untuk pengenalan wajah. Satu layanan menganalisis foto, dan satu lagi melakukan pencocokan. Sebagian tim hanya menjalankan pencocokan dan melewatkan analisis. Ini keliru, karena analisis membantu memeriksa objek yang sedang dicocokkan. Terkadang hasil algoritma jelas salah, misalnya mengklasifikasikan seseorang sebagai laki-laki padahal gambar jelas menunjukkan perempuan.

Jalankan pemeriksaan ini dalam alur keputusan

Buat aturan untuk kredit, fraud, atau penagihan, lalu jalankan pada keputusan nyata.

Pengambilan keputusan akhir

Proses pengambilan keputusan untuk pengenalan wajah dapat dilakukan dengan tahapan berikut:

  1. Validasi data: pastikan data yang masuk dapat dipercaya
  2. Pemeriksaan hasil yang menyimpang atau tidak wajar: gunakan hasil analisis untuk mendeteksi masalah
  3. Keputusan akhir: bandingkan hasil tingkat keyakinan

Rekomendasi aturan untuk memeriksa data yang masuk:

  • Tidak diedit menggunakan Photoshop atau perangkat lunak lain
  • Merek kamera sesuai dengan merek ponsel, berdasarkan metadata lain seperti metadata browser
  • Geolokasi sesuai
  • Foto tidak terlalu lama
  • Metadata gambar tersedia

Analisis foto

  • Gender sesuai
  • Hanya satu orang terdeteksi dalam foto

Pencocokan

  • Hasil pencocokan tinggi, misalnya 99%
  • Ambang batas tingkat keyakinan mengikuti rekomendasi vendor. Umumnya:
    • 80%+ tingkat keyakinan tinggi bahwa orangnya sama
    • 60-80% tingkat keyakinan sedang
    • <60% orangnya tidak sama

Penutup…

Artikel ini menjelaskan proses pengenalan wajah secara umum, tetapi tidak mencakup semuanya. Anggap artikel ini sebagai titik awal untuk menyusun kebijakan atau strategi pengambilan keputusan dalam verifikasi identitas, bukan sebagai panduan akhir. Identifikasi manusia melibatkan banyak aspek. Jika Anda hanya mengandalkan pemanggilan layanan kognitif dan menetapkan ambang batas, keputusan yang dihasilkan bisa buruk karena Anda menganggap kualitas data masukan lebih baik daripada kenyataannya.

Pertanyaan yang sering diajukan

Apakah skor 80% dari vendor bisa digunakan untuk menyetujui hasil pencocokan wajah?

Jadikan 80% sebagai titik awal, bukan ambang persetujuan yang bisa langsung diterapkan di berbagai konteks. Kalibrasikan skor vendor menggunakan contoh berlabel dari kanal, perangkat, dan populasi nasabah Anda, lalu tentukan ambang batas yang sesuai dengan toleransi Anda terhadap penerimaan yang keliru. Arahkan skor yang berada di sekitar ambang batas untuk ditinjau oleh petugas, dan periksa panduan terbaru dari vendor karena skor dapat berubah mengikuti model dan kondisi pengambilan gambar.

Kapan biaya layanan pengenalan wajah kedua sepadan?

Tambahkan layanan kedua jika pengujian menunjukkan bahwa layanan tersebut dapat mendeteksi masalah masukan yang luput dari layanan pencocokan. Jalankan keduanya pada gambar berlabel yang sama, termasuk foto berkualitas rendah dan foto yang dimanipulasi, lalu bandingkan tingkat kesalahan, waktu respons, dan harga. Jika hasilnya berbeda, arahkan kasus untuk ditinjau oleh petugas, bukan membiarkan satu layanan mengesampingkan hasil layanan lainnya secara diam-diam.

Apakah metadata foto yang tidak tersedia harus menghentikan pengajuan onboarding?

Anggap metadata yang tidak tersedia sebagai tanda peringatan, bukan alasan otomatis untuk menolak pengajuan. Periksa terlebih dahulu apakah proses pengambilan, pengunggahan, atau pemrosesan gambar menghapus metadata dari foto yang sah. Jika asal foto tidak dapat dipastikan, minta foto baru atau gunakan pemeriksaan identitas lain. Kasus yang belum terselesaikan perlu ditinjau oleh petugas.

Bukti apa yang sebaiknya digunakan untuk menentukan ambang pencocokan wajah?

Gunakan gambar berlabel yang mencerminkan nasabah, perangkat, kondisi pencahayaan, dan kanal pengambilan gambar Anda. Pada setiap ambang yang dipertimbangkan, ukur tingkat penerimaan dan penolakan yang keliru, lalu bandingkan hasil untuk kelompok demografis dan kondisi gambar yang relevan. Sertakan foto yang dimanipulasi dan berkualitas rendah, lalu tentukan proses peninjauan oleh petugas untuk skor di sekitar ambang batas dan hasil pemeriksaan yang bertentangan.

Bagaimana melindungi unggahan foto dari serangan replay atau penggantian?

Lindungi endpoint unggahan, bukan hanya pemeriksaan liveness. Gunakan izin unggah yang berlaku singkat, batas frekuensi permintaan, dan cara untuk mengaitkan setiap gambar dengan upaya verifikasi yang sedang berlangsung. Lalu uji apakah gambar yang diputar ulang atau diganti dapat lolos. Kontrol ini dapat menambah hambatan dan mungkin tidak mendeteksi metode serangan baru, jadi sediakan pemeriksaan identitas lain untuk upaya yang mencurigakan.

Jalankan pemeriksaan ini dalam alur keputusan

Buat aturan untuk kredit, fraud, atau penagihan, lalu jalankan pada keputusan nyata.