Reconnaissance faciale et comparaison à l’entrée en relation

La reconnaissance faciale a beaucoup évolué ces dernières années, sous l’impulsion de l’apprentissage profond. La vérification d’identité à distance est devenue praticable. La comparaison du visage avec une pièce d’identité, autrefois réalisée manuellement, se fait désormais en ligne.

Le cerveau dispose de zones spécialisées qui nous permettent de reconnaître et de comparer les visages. Pour identifier une personne, il s’appuie aussi sur d’autres indices : ses vêtements, son genre, le lieu et le contexte, ainsi que sa démarche et ses mouvements.

Pour obtenir des résultats similaires avec l’intelligence artificielle dans la reconnaissance d’une personne dans son ensemble, il faudrait combiner plusieurs méthodes. Cet article se concentre sur la reconnaissance faciale, un problème plus ciblé. En ligne, elle nécessite un processus de validation des données reçues, d’exécution des modèles et de prise de décision à partir des données collectées.

Les photos utilisées pour prendre une décision en reconnaissance faciale appartiennent généralement à l’une des catégories suivantes :

  1. Photo transmise par la personne,
  2. Selfie pris pendant la procédure de reconnaissance,
  3. Photo capturée lors de la détection du vivant.

La photo de la personne est ensuite comparée à une autre source. Il peut s’agir d’un service public, comme NCIIC en Chine ou Dukcapil en Indonésie, ou d’une photo figurant sur une pièce d’identité : carte d’identité, permis de conduire ou passeport.

Validation des données reçues

Les principales méthodes de vérification de l’authenticité d’une photo numérique sont les suivantes :

En général, seules deux de ces méthodes se prêtent bien à l’automatisation, si celle-ci ne génère pas trop de faux positifs. L’analyse du niveau d’erreur a ses limites : une personne doit souvent examiner le résultat. C’est surtout un outil visuel, qui ne repère pas certaines manipulations simples mais efficaces. Par exemple, une capture d’écran d’une photo retouchée échappe souvent à l’ELA.

L’analyse des métadonnées fournit des informations utiles : appareil photo utilisé, horodatages, emplacement des objets dans la photo et, parfois, géolocalisation. Ces données permettent de vérifier que la photo a été prise au bon endroit, par exemple dans un point de vente, qu’elle est récente ou qu’elle n’a pas été retouchée dans Photoshop ou un autre logiciel. La suppression des métadonnées doit alerter. Si elles manquent sur toutes les photos, il faut vérifier avec les équipes de développement comment celles-ci sont capturées, traitées et stockées.

La qualité de la dernière sauvegarde est liée à la compression. Les photos stockées ou retouchées sont souvent compressées et ne conservent plus la qualité d’origine produite par l’appareil.

La détection du vivant permet de réduire le risque lié aux fausses photos. En général, une application mobile exécute des algorithmes de détection du vivant et capture une photo pendant le parcours, puis l’envoie pour reconnaissance. À ce stade, le vecteur d’attaque probable est le point d’accès API qui transmet la photo au serveur. Le hachage et le chiffrement standards ne suffisent pas à réduire ce risque. Des mesures de sécurisation supplémentaires peuvent rendre les points d’accès API plus difficiles à détourner avec de fausses données.

Comparaison des visages

Une fois les données reçues jugées fiables, vient la comparaison. Les services publics donnent souvent de bons résultats. Dans la plupart des cas, développer son propre modèle a peu de sens aujourd’hui : les modèles d’apprentissage profond nécessitent de grandes quantités de données d’entraînement, et les services tiers sont déjà avancés et relativement peu coûteux.

Le choix d’un service peut s’appuyer sur plusieurs critères : le prix, la rapidité et la qualité de la comparaison. Il convient aussi d’examiner ses performances selon le profil racial des personnes comparées. Par exemple, les services de Microsoft donnent souvent de bons résultats sur les visages caucasiens, mais peuvent donner de mauvais résultats sur les visages asiatiques. Pour ces derniers, j’ai observé de bons résultats avec Face++. Sur les visages caucasiens, ces mêmes services peuvent parfois passer à côté de détails plus fins du visage.

Dans la plupart des cas, je recommande d’utiliser deux services de reconnaissance faciale : l’un pour l’analyse, l’autre pour la comparaison. Certaines équipes se limitent à la comparaison et font l’impasse sur l’analyse. C’est une erreur. L’analyse permet de vérifier les éléments comparés. Il arrive que les algorithmes se trompent de façon manifeste, par exemple en classant comme homme une personne dont la photo montre clairement une femme.

Intégrez ces contrôles à un flux de décision

Créez des règles de crédit, de fraude ou de recouvrement, puis appliquez-les aux décisions réelles.

Prise de décision finale

Un processus de reconnaissance faciale peut suivre les étapes suivantes :

  1. Validation des données : vérifier que les données reçues sont fiables
  2. Détection des valeurs atypiques ou des résultats inhabituels : utiliser les résultats de l’analyse pour repérer les problèmes
  3. Décision finale : comparer les niveaux de confiance

Règles recommandées pour contrôler les données reçues

  • Aucune retouche dans Photoshop ou un autre logiciel
  • La marque de l’appareil photo correspond à celle du téléphone, d’après d’autres métadonnées, comme celles du navigateur
  • La géolocalisation est cohérente
  • La photo n’est pas trop ancienne
  • Les métadonnées de l’image sont présentes

Analyse de la photo

  • Correspondance du genre
  • Une seule personne détectée sur la photo

Comparaison

  • Le résultat de la comparaison est élevé, par exemple 99 %
  • Seuil de confiance fondé sur la recommandation du fournisseur. En général :
    • 80 % et plus : forte confiance qu'il s'agit de la même personne
    • De 60 à 80 % : une certaine certitude
    • <60 % : il ne s'agit pas de la même personne

Pour conclure…

Cet article présente les grandes lignes du processus de reconnaissance faciale, sans en couvrir tous les aspects. Il peut servir de point de départ à l’élaboration de règles ou d’une stratégie de décision pour la vérification d’identité, mais pas de point final. L’identification d’une personne repose sur plusieurs éléments. Se limiter à appeler des services cognitifs et à fixer un seuil peut conduire à de mauvaises décisions, si l’on suppose à tort que les données reçues sont plus fiables qu’elles ne le sont.

Questions fréquentes

Peut-on approuver une correspondance faciale sur la base d’un score de 80 % fourni par un prestataire ?

Considérez 80 % comme un point de départ, pas comme un seuil d’approbation valable partout. Calibrez le score du prestataire à partir d’exemples annotés issus de vos propres canaux, appareils et clientèle, puis choisissez un seuil adapté à votre tolérance aux fausses acceptations. Faites examiner les scores proches du seuil par une personne et consultez les recommandations à jour du prestataire, car les scores peuvent varier selon les modèles et les conditions de capture.

Dans quels cas le recours à un second service de reconnaissance faciale est-il justifié ?

Ajoutez un second service si les tests montrent qu’il détecte des problèmes dans les données reçues que le service de comparaison ne repère pas. Faites passer les mêmes images annotées dans les deux services, y compris des photos de mauvaise qualité ou retouchées, puis comparez les taux d’erreur, les délais de réponse et les prix. En cas de désaccord, faites examiner le dossier par une personne plutôt que de laisser un service prendre silencieusement le pas sur l’autre.

L’absence de métadonnées sur une photo doit-elle bloquer une demande d’entrée en relation ?

Considérez l’absence de métadonnées comme un signal d’alerte, pas comme un motif de rejet automatique. Vérifiez d’abord si le processus de capture, de transfert ou de traitement des images supprime les métadonnées de photos légitimes. Si l’origine de la photo ne peut pas être établie, demandez une nouvelle capture ou procédez à une autre vérification d’identité. Les dossiers qui restent sans réponse doivent être examinés par une personne.

Quels éléments prendre en compte pour fixer un seuil de correspondance faciale ?

Utilisez des images annotées représentatives de votre clientèle, de ses appareils, des conditions d’éclairage et des canaux de capture. Pour chaque seuil envisagé, mesurez les fausses acceptations et les faux rejets, puis comparez les résultats entre les groupes démographiques concernés et les différentes conditions de prise de vue. Incluez des photos retouchées et de mauvaise qualité, puis prévoyez un examen par une personne pour les scores proches du seuil et les contrôles contradictoires.

Comment protéger le transfert des photos contre les attaques par rejeu ou substitution ?

Protégez le point d’accès API de transfert, ainsi que le contrôle de détection du vivant. Utilisez des autorisations de transfert à courte durée de validité, des limites de fréquence et un mécanisme qui associe chaque image à la tentative de vérification en cours. Vérifiez ensuite si une image rejouée ou substituée peut passer le contrôle. Ces mesures compliquent le parcours et peuvent ne pas couvrir de nouvelles méthodes d’attaque. Prévoyez donc une autre vérification d’identité pour les tentatives suspectes.

Intégrez ces contrôles à un flux de décision

Créez des règles de crédit, de fraude ou de recouvrement, puis appliquez-les aux décisions réelles.