进件流程中的人脸识别与比对

近年来,人脸识别发展迅速,深度学习是重要推动因素。远程身份核验因此成为现实。过去需要人工完成的人脸与身份证件比对,如今正转向线上处理。

人类擅长识别人脸和进行比对,因为大脑中有专门处理这类任务的区域。识别人时,大脑还会参考其他信息,例如衣着、性别、地点、情境,以及一个人的步态和动作。

要让人工智能在识别整个人方面达到类似效果,需要多种方法配合。本文聚焦范围更窄的人脸识别。要在线上运行人脸识别,需要先验证输入,再运行模型,并根据采集到的数据作出判断。

人脸识别决策中使用的照片通常分为以下几类:

  1. 用户直接上传的普通照片,
  2. 识别过程中拍摄的自拍照,
  3. 活体检测过程中拍摄的照片。

随后,将此人的照片与另一来源的照片进行比对。来源可以是政府服务,例如中国的 NCIIC 或印度尼西亚的 Dukcapil,也可以是身份证件上的照片,例如身份证、驾驶证或护照。

验证输入数据

验证数码照片真实性的主要方法包括:

  • 错误级别分析(更多),
  • EXIF 元数据分析(更多),
  • 最后保存质量。

如果不希望自动化带来过多误报,通常只有两种方法适合较好地自动处理。错误级别分析有局限,结果往往仍需人工检查,更适合作为视觉辅助工具。它也可能漏掉一些简单但有效的篡改方式。例如,篡改照片的截图通常不会被 ELA 标记出来。

元数据能提供有用信息,包括使用的相机、时间戳、照片中物体的位置,有时还包括地理位置。这些信息有助于确认照片是否在正确地点拍摄,例如销售点,是否为近期拍摄,以及是否经过 Photoshop 或其他软件编辑。如果元数据被清除,应将其视为风险信号。如果所有照片都没有元数据,请与开发人员确认照片的拍摄、处理和存储方式。

最后保存质量与压缩有关。照片在存储或编辑时往往会经过压缩,不再保留设备生成的原始画质。

在流程中加入活体检测,可以降低许多照片造假风险。通常由移动应用运行活体检测算法,并在流程中拍摄照片,再将照片发送进行识别。此时可能的攻击入口是将照片上传到服务器的 API。要降低这类风险,不能只依赖常规哈希和加密。还可以采用其他加固方法,增加攻击者利用 API 接口提交伪造数据的难度。

执行比对

确认输入数据可信后,下一步是进行比对。政府服务通常表现不错。至于自行开发模型,目前在大多数情况下意义不大,因为深度学习模型需要大量训练数据,而第三方服务已经相当成熟,价格也相对低廉。

选择服务时,可以比较价格、速度和比对质量,也要关注服务在不同种族人群中的表现。例如,Microsoft 的服务通常擅长识别白人面孔,但识别亚洲人面孔时表现可能较差。针对亚洲人面孔,我用过 Face++,效果不错。识别白人面孔时,这些服务有时会漏掉细微的面部特征。

大多数情况下,我建议使用两种人脸识别服务,一种负责分析,一种负责比对。有些团队只做比对,跳过分析,这是个错误。分析有助于检查待比对的内容。有时算法的判断明显不对,例如照片中明明是女性,却被识别为男性。

将这些审核规则纳入决策流

制定信贷、反欺诈或催收规则,并用于实际决策。

作出最终决策

一个实用的人脸识别决策流程包括:

  1. 验证数据:确认输入数据可信
  2. 检查异常或反常结果:根据分析结果发现问题
  3. 作出最终决策:比较置信度结果

输入数据检测规则建议如下:

  • 未经过 Photoshop 或其他软件处理
  • 相机厂商与手机品牌一致,并参考浏览器元数据等其他信息
  • 地理位置没有偏差
  • 照片拍摄时间不宜过久
  • 照片元数据完整

照片分析

  • 性别匹配
  • 照片中只识别到一个人

比对

  • 比对结果较高,例如 99%
  • 根据服务商建议设置置信度阈值。通常:
    • 80% 以上:高度确信是同一人
    • 60-80%:有一定把握
    • <60%:不是同一人

结语…

本文旨在概述人脸识别流程,并未涵盖所有内容。它最多只能作为身份核验决策政策或策略的起点,而不是终点。身份识别涉及多个环节。如果只关注调用认知服务和设置阈值,可能会因高估输入数据质量而作出不当决策。

常见问题

能否用服务商给出的 80% 分数批准人脸匹配?

应把 80% 视为起点,而不是可以直接套用的批准阈值。使用来自自身渠道、设备和客户群体的标注样本校准服务商的分数,再根据对误接受的容忍程度选择阈值。接近阈值的结果应转人工复核。还要查看服务商当前的建议,因为分数可能随模型和拍摄条件变化。

什么时候值得为第二个人脸识别服务付费?

如果测试表明第二种服务能发现比对服务漏掉的输入问题,就可以考虑增加该服务。使用同一批标注图片测试两种服务,其中应包含低画质和经过篡改的照片,再比较错误率、响应时间和价格。如果结果不一致,应将案件转交人工复核,不要让一种服务在没有提示的情况下直接推翻另一种服务的结果。

照片缺少元数据时,是否应停止受理申请?

应将元数据缺失视为风险提示,而不是自动拒绝的理由。先检查拍摄、上传或图片处理流程是否会清除真实照片的元数据。如果无法确认照片来源,可以要求重新拍摄,或采用其他身份核验方式。无法解决的案件应交由人工复核。

应根据哪些证据设定人脸匹配阈值?

使用能反映实际客户、设备、光线和拍摄渠道的标注图片。在每个候选阈值下,统计误接受和误拒绝,并比较相关人群及图像条件下的结果。测试样本还应包括经过篡改和低画质的照片,并为接近阈值的分数及相互冲突的检查结果安排人工复核。

如何防范照片上传过程中的重放或替换攻击?

除了活体检测,也要保护上传接口。使用短时有效的上传权限、速率限制,并将每张图片与当前验证请求绑定,再测试重放或替换图片能否通过验证。这些控制会增加操作阻力,也可能无法应对新的攻击方式,因此应为可疑请求保留其他身份核验方式。

将这些审核规则纳入决策流

制定信贷、反欺诈或催收规则,并用于实际决策。