Reconhecimento facial e comparação no onboarding

O reconhecimento facial mudou rapidamente nos últimos anos, impulsionado pelo deep learning. Isso tornou viável verificar identidades remotamente. A comparação facial com documentos de identidade, antes feita manualmente, agora está migrando para o ambiente online.

As pessoas são boas em reconhecer e comparar rostos porque o cérebro tem áreas especializadas nessa tarefa. Mas ele também usa outros sinais para identificar alguém, como roupas, gênero, localização, contexto e a maneira como a pessoa anda ou se movimenta.

Para a inteligência artificial alcançar resultados semelhantes no reconhecimento de uma pessoa como um todo, seriam necessários vários métodos. Por isso, aqui vamos nos concentrar no problema mais específico do reconhecimento facial. Para fazer esse reconhecimento online, é preciso validar os dados de entrada, executar modelos e tomar decisões com base nos dados coletados.

As fotos usadas em decisões de reconhecimento facial geralmente se enquadram nestes tipos:

  1. Foto simples enviada pelo usuário,
  2. Selfie tirada durante o processo de reconhecimento,
  3. Foto capturada durante o processo de detecção de vivacidade.

Depois, a foto da pessoa é comparada com outra fonte. Pode ser um serviço governamental, como o NCIIC, na China, ou o Dukcapil, na Indonésia, ou uma foto de um documento de identidade, como carteira de identidade, carteira de motorista ou passaporte.

Validação dos dados de entrada

Os principais métodos para verificar a autenticidade de fotos digitais são:

  • Análise de nível de erro (saiba mais),
  • Análise de metadados EXIF (saiba mais),
  • Qualidade da última versão salva.

Em geral, só dois desses métodos podem ser automatizados de forma confiável sem gerar muitos falsos positivos. A análise de nível de erro tem limitações porque, muitas vezes, alguém ainda precisa avaliar o resultado. Ela funciona melhor como ferramenta visual e pode não detectar algumas manipulações simples, mas eficazes. Por exemplo, uma captura de tela de uma foto manipulada muitas vezes não é sinalizada pela ELA.

A análise de metadados traz informações úteis, como a câmera usada, os horários, a localização de objetos na foto e, às vezes, até a geolocalização. Esses dados ajudam a confirmar se a foto foi tirada no lugar certo, como em um ponto de venda, se é recente ou se foi editada no Photoshop ou em outro software. Se os metadados tiverem sido removidos, trate isso como um sinal de alerta. Se eles estiverem ausentes em todas as fotos, converse com sua equipe de desenvolvimento para entender como as imagens são capturadas, processadas e armazenadas.

A qualidade da última versão salva está ligada à compressão. Fotos armazenadas ou editadas costumam ser comprimidas e deixam de manter a qualidade original produzida pelo dispositivo.

É possível reduzir muitos riscos de fotos falsas usando detecção de vivacidade no processo. Em geral, um aplicativo móvel executa os algoritmos de detecção de vivacidade e captura uma foto durante o fluxo, que depois é enviada para reconhecimento. Nesse ponto, um provável vetor de ataque é a API que envia a foto para o servidor. Para reduzir esse risco, use mais do que hashing e criptografia padrão. Outras medidas de proteção podem dificultar o uso indevido de endpoints de API com dados falsos.

Comparação das imagens

Quando os dados recebidos são confiáveis, o próximo passo é fazer a comparação. Em geral, os serviços governamentais têm bons resultados. Na maioria dos casos, criar seu próprio modelo já não faz muito sentido, porque modelos de deep learning exigem grandes volumes de dados de treinamento, e os serviços de terceiros já são avançados e têm custo relativamente baixo.

Você pode escolher um serviço considerando vários aspectos: preço, velocidade e qualidade da comparação. Também vale avaliar o desempenho com os diferentes perfis raciais das pessoas comparadas. Por exemplo, os serviços da Microsoft costumam ter bons resultados com rostos de pessoas brancas, mas podem ter resultados fracos com rostos asiáticos. Para rostos asiáticos, já vi bons resultados com o Face++. Com rostos de pessoas brancas, esses mesmos serviços às vezes não identificam detalhes faciais mais sutis.

Na maioria dos casos, recomendo usar dois serviços de reconhecimento facial: um para análise e outro para comparação. Algumas equipes fazem apenas a comparação e deixam a análise de lado. Isso é um erro. A análise ajuda a verificar o que está sendo comparado. Às vezes, os algoritmos erram de forma evidente, como classificar alguém como homem quando a imagem claramente mostra uma mulher.

Leve essas verificações para um fluxo de decisão

Crie regras para crédito, fraude ou cobrança e aplique-as a decisões em produção.

Decisão final

Um processo prático de decisão para reconhecimento facial pode seguir estas etapas:

  1. Validação dos dados: confirmar que os dados recebidos são confiáveis
  2. Verificação de resultados atípicos ou estranhos: usar os resultados da análise para detectar problemas
  3. Decisão final: comparar os resultados de confiança

Regras recomendadas para identificar problemas nos dados recebidos:

  • Não houve edição no Photoshop ou em outro software
  • O fabricante da câmera corresponde à marca do celular, com base em outros metadados, como os do navegador
  • A geolocalização não está deslocada
  • A foto não é antiga demais
  • Os metadados da imagem estão presentes

Análise da foto

  • Compatibilidade de gênero
  • Apenas uma pessoa identificada na foto

Comparação

  • O resultado da comparação é alto, por exemplo, 99%
  • Limite de confiança baseado na recomendação do fornecedor. Em geral:
    • 80% ou mais: alta confiança de que é a mesma pessoa
    • 60-80%: alguma certeza
    • <60%: não é a mesma pessoa

Considerações finais…

Este artigo explica, em linhas gerais, o processo de reconhecimento facial. Ele não cobre todos os aspectos e deve servir, no máximo, como ponto de partida para uma política ou estratégia de tomada de decisão na verificação de identidade, não como ponto final. Identificar uma pessoa é um problema com várias partes. Se você se limitar a chamar serviços cognitivos e definir um ponto de corte, pode acabar tomando decisões ruins por presumir que os dados de entrada são melhores do que realmente são.

Perguntas frequentes

Podemos usar a pontuação de 80% do fornecedor para aprovar uma correspondência facial?

Use 80% como ponto de partida, não como um ponto de corte de aprovação válido para todos os casos. Calibre a pontuação do fornecedor com exemplos rotulados dos seus próprios canais, dispositivos e perfis de clientes. Depois, escolha um ponto de corte compatível com sua tolerância a falsas aceitações. Encaminhe pontuações próximas ao limite para análise humana e consulte as orientações atuais do fornecedor, pois as pontuações podem variar entre modelos e condições de captura.

Quando vale a pena pagar por um segundo serviço de reconhecimento facial?

Adicione um segundo serviço se os testes mostrarem que ele identifica problemas nas imagens que o serviço de comparação não detecta. Teste os dois com as mesmas imagens rotuladas, incluindo fotos manipuladas e de baixa qualidade. Compare as taxas de erro, o tempo de resposta e o preço. Se os resultados divergirem, encaminhe o caso para análise humana, em vez de deixar um serviço substituir silenciosamente a decisão do outro.

A ausência de metadados na foto deve interromper uma solicitação de onboarding?

Trate a ausência de metadados como um sinal de alerta, não como motivo para rejeição automática. Primeiro, verifique se o processo de captura, envio ou tratamento de imagens remove metadados de fotos legítimas. Se você não conseguir identificar a origem da foto, solicite uma nova captura ou faça outra verificação de identidade, com análise humana para os casos que continuarem sem solução.

Quais evidências devemos usar para definir um limite de comparação facial?

Use imagens rotuladas que representem seus clientes, dispositivos, condições de iluminação e canais de captura. Para cada ponto de corte em avaliação, meça as falsas aceitações e as falsas rejeições. Compare os resultados entre grupos demográficos relevantes e diferentes condições das imagens. Inclua fotos manipuladas e de baixa qualidade. Defina também um fluxo de análise humana para pontuações próximas ao limite e verificações com resultados conflitantes.

Como proteger o envio de fotos contra ataques de repetição ou substituição?

Proteja o endpoint de envio e a verificação de vivacidade. Use permissões de envio com validade curta, limites de requisições e uma forma de vincular cada imagem à tentativa de verificação em andamento. Depois, teste se uma imagem repetida ou substituída consegue passar pela verificação. Essas medidas podem tornar o processo menos simples e talvez não detectem novos métodos de ataque. Por isso, mantenha outra verificação de identidade disponível para tentativas suspeitas.

Leve essas verificações para um fluxo de decisão

Crie regras para crédito, fraude ou cobrança e aplique-as a decisões em produção.