用历史申请记录测试欺诈规则
导入带已知结果的历史申请记录,再添加几条规则。查看每条规则和整套规则会识别出哪些欺诈,又会拦下哪些客户。
申请数据文件
已读取申请记录:2,000 条,其中已知欺诈 77 条、已知好客户 1,718 条。
文件只在当前浏览器中读取,不会上传。规则会随链接传递,数据不会。若通过邮件获取结果,邮件只包含数量。
规则可使用的字段:application_id, amount, email_domain, device_age_days, account_age_days, ip_country, phone_country。
示例数据包含 2,000 条生成的申请记录和四条示例规则。
全部规则净收益
规则识别出 77 条已知欺诈中的 74 条,共标记 232 条申请,其中 141 条是好客户。
识别出的欺诈与被标记的好客户
规则
任一规则命中,申请即会被标记。同一规则中的条件须全部满足。“属于以下值之一”可用逗号分隔多个值。
规则结果
| 规则 | 被标记 | 检出的欺诈 | 被标记的好客户 | 被标记的未知样本 | 精确率 | 欺诈检出率 | 误报率 | 仅此规则命中的欺诈 | 净额 |
|---|---|---|---|---|---|---|---|---|---|
| 新设备 | 104 | 48 | 44 | 12 | 52.2% | 62.3% | 2.6% | 5 | €70,240 |
| 临时邮箱 | 30 | 27 | 0 | 3 | 100.0% | 35.1% | 0.0% | 0 | €40,500 |
| 首笔贷款金额较大 | 37 | 30 | 6 | 1 | 83.3% | 39.0% | 0.3% | 2 | €44,760 |
| 境外 IP | 152 | 51 | 95 | 6 | 34.9% | 66.2% | 5.5% | 8 | €72,700 |
| 全部规则 | 232 | 74 | 141 | 17 | 34.4% | 96.1% | 8.2% | €105,360 |
通过邮件获取结果
下一步是在每笔新申请上运行同一规则集,并在发布前用历史决策测试每项改动。开始试用
查看公式
精确率 = 检出的欺诈 ÷ (检出的欺诈 + 被标记的好客户) 欺诈检出率 = 检出的欺诈 ÷ 所有已确认欺诈 误报率 = 被标记的好客户 ÷ 所有已确认的好客户 仅此规则命中的欺诈 = 检出的欺诈, 未被其他规则标记 净额 = 检出的欺诈 × 每笔欺诈损失 − 被标记的好客户 × 每个好客户的成本
数据只来自文件中的历史结果。之后才发现的欺诈,以及规则原本可能劝退的欺诈,不在统计范围内。
用历史数据测试欺诈规则
工具将每条欺诈规则应用于结果已知的历史申请,展示检出的欺诈、被标记的好客户、精确率、欺诈检出率、误报率,以及每条规则独有的命中。
这些数据反映规则应用于该文件时的结果。放贷机构可以比较检出的欺诈和被标记的好客户,再用历史决策测试每次调整,然后上线。
欺诈规则常见问题
如何用历史数据测试欺诈规则?
上传 CSV 文件,或粘贴历史申请数据,并指定一列标记欺诈或好客户。根据文件中的字段编写规则,查看每条规则及整套规则会命中哪些申请。
欺诈规则的精确率和欺诈检出率分别是什么?
精确率是结果已知且被标记的申请中,欺诈申请所占的比例。欺诈检出率是规则检出的欺诈占全部欺诈的比例。
如何计算欺诈规则的误报率?
误报率等于被标记的好客户数除以好客户总数。工具会分别展示每条规则和全部规则的误报率。
为什么要看规则独有的命中?
独有命中是仅被该规则标记的欺诈,能看出这条规则在规则集中的额外贡献。
如何权衡欺诈损失和被标记的好客户?
净额等于检出的欺诈数乘以单笔欺诈损失,再减去被标记的好客户数乘以每位好客户的成本。工具会分别计算每条规则和全部规则的净额。