测试自动放贷决策中的欺诈频次规则
导入历史申请及其时间、结果和标识信息。选择统计窗口和触发次数,页面按时间顺序回放申请,一分钟内即可查看每个标识对应的频次规则会命中哪些申请、拦截哪些申请。
申请文件
已读取 2,903 条申请,其中已知坏样本 127 条、已知好样本 2,322 条。另有 0 行因时间无法识别而未纳入。
文件只在当前浏览器中读取,不会上传。只有您选择通过邮件接收结果时,才会发送统计数据。
标识列:email, phone, device_id, ip。
同一标识值在统计窗口内的申请数达到该次数时,规则会在当前申请上触发。因此,只有当前申请之前的记录会计入。
这是覆盖 60 天的 3,000 条模拟申请。坏样本中包含共用设备和手机号的集中申请,好样本中包含高频共用 IP。
命中的已知坏样本
如果同一标识值在 1 天 内出现 3 次即触发规则,历史数据中会命中 29.9% 条已知坏样本,并拦截 102 条已知好样本,占已知好样本的 4.4%。
命中的坏样本、拦截的好样本
每条线代表一个标识,右上方对应触发次数 2,左下方对应 10,大圆点表示所选次数。越靠左上越好。
按标识查看结果
| 标识 | 已标记 | 命中的坏样本 | 拦截的好样本 | 召回率 | 查准率 | 好样本误拦率 |
|---|---|---|---|---|---|---|
| 0 | 0 | 0 | 0.0% | – | 0.0% | |
| phone | 35 | 24 | 5 | 18.9% | 82.8% | 0.2% |
| device_id | 33 | 22 | 5 | 17.3% | 81.5% | 0.2% |
| ip | 128 | 4 | 95 | 3.1% | 4.0% | 4.1% |
| 任一标识 | 178 | 38 | 102 | 29.9% | 27.1% | 4.4% |
将结果发送至邮箱
同一套频次统计也可以在决策时对每笔申请运行。 开始试用
规则测试方法
计数 = 标识值相同的申请 (统计窗口) 规则触发 = 计数 ≥ 触发次数 召回率 = 命中的坏样本 ÷ 已知坏样本 查准率 = 命中的坏样本 ÷ (命中的坏样本 + 拦截的好样本) 好样本误拦率 = 拦截的好样本 ÷ 已知好样本
申请按时间顺序回放,因此每条规则只会看到之前的申请。清洗后,标识值完全一致才算命中。命中说明需要进一步核查,不能证明存在欺诈。
频次规则能说明什么
频次校验会统计同一标识在指定时间窗口内出现的次数。本工具按时间顺序回放历史申请,测试所选次数是否会触发频次规则。
结果会按标识字段显示捕获的已知坏客户和被拦截的已知好客户。比较捕获率和误报率,再根据结果选择一个次数,在规则上线前进行测试。
常见问题
反欺诈中的频次校验是什么?
频次校验会统计选定时间窗口内,共用同一标识字段的申请数。达到设定次数时,规则触发。
如何设置设备或手机号的频次上限?
选择时间窗口和次数,再用工具回放历史申请。按标识字段比较捕获的已知坏客户和被拦截的已知好客户。
一天内同一设备申请多少次算太多?
用过去的申请记录测试一个频次阈值,窗口设为 1 天。结果显示命中多少已知坏客户,以及拦下多少已知好客户。
如何用历史申请测试频次规则?
上传 CSV 文件或粘贴历史申请,再选择时间、结果和标识字段。工具会按时间顺序回放申请,并按标识字段显示结果。
如何权衡捕获欺诈和拦截好客户?
按标识字段和次数比较捕获率和误报率。命中结果只说明需要进一步核查该申请,不能证明存在欺诈。