冠军挑战者测试:5%挑战组可能需要19.6个月

测试设计

在决定是否替换现行方案前,您可以比较正在使用的决策模型或策略与新方案。冠军方案在留出集上处理大多数案件,挑战方案则处理通常随机抽取的一部分案件。如果挑战方案表现更好,可以逐步或一次性替换冠军方案。如果表现不佳,可以继续改进,也可以弃用。

比较时还需要用统一的方式识别每个案件由哪种方案处理。多数实现会在决策使用的数据中加入一个随机数。只测试决策的一部分时,一个随机数就够了,同时进行多项测试时,可以分别使用不同的随机数,避免测试相互影响。结果会连同所用随机数一起存储,便于比较两组的表现。

可以测试决策表中的客户分层、单独一行、某条规则、整个规则集,也可以比较不同的第三方数据源。每项测试针对一个独立部分,因此需要使用各自的随机数。

需要等待多久

消费信贷的表现可能需要半年才能显现,因此测试计划要设定结果观察期。把两组的放款批次并排比较,才能区分模型表现差异和同期环境变化的影响。若不比较批次,批次间的变化就难以解释。

坏账率为4%时,挑战组占比为5%,结果观察期为六个月,检出一个百分点的差异需要19.6个月。挑战组占比为50%,结果观察期相同,所需时间为8.7个月。

挑战组占比 达到所需样本量的月份 结果观察期为六个月 结果观察期为十二个月
5% 13.6 19.6 25.6
10% 7.2 13.2 19.2
20% 4.1 10.1 16.1
50% 2.7 8.7 14.7

挑战组需要的贷款笔数,受冠军组参与比较的影响,变化没有日历时间看起来那么大。要检出一个百分点的差异,挑战组占比为5%时需要3,407笔贷款,占比为50%时需要6,745笔。占比较低时,主要是需要更久才能积累到这些贷款。若要检出半个百分点的差异,等待时间还会延长:结果观察期为六个月时,挑战组占比为5%需要58.7个月,占比为50%则需要16.2个月。

分流设置

为分流值设置明确的上下限,每个请求就都有确定的去向。挑战组处理分流值为1到30的请求,冠军组处理其他请求。100个请求中,正好有30个进入挑战组,70个进入冠军组,每个请求都会得到决策。若再增加一个处理21到40的挑战组,明确设置边界后,100个请求会分到三个分支,分别为20个、20个和60个。每个请求都能进入一个分支,分支之间没有空档。

这个边界也决定了请求没有分流值时会进入哪一组。稳妥的做法是把挑战组的范围设为1到30,其他请求交给冠军组。缺少分流值的请求会进入冠军组,超出预期范围的值也由冠军组处理:分流值为0或101时,请求仍会得到决策。测试方案是被检验的对象,不能成为回退方案。

看起来直观的另一组规则,安全性恰好相反。挑战组处理不大于30的值,冠军组处理大于30的值,看似覆盖了所有请求。但缺失值会被视为小于任何数字,因此会匹配挑战组。原本冠军组占70%、挑战组占30%的测试,对这些申请就会变成冠军组占0%、挑战组占100%。即使再加一条冠军组兜底规则,只要先检查挑战组,结果也不会改变:挑战组条件为“不大于30”,冠军组条件为“任意值”,缺失值仍会进入挑战组。只有给测试分支设定上下限,才能让缺失值继续由当前模型处理。

分流也可以使用渠道等字段。设置一个处理“broker”的挑战组分支,再由冠军组处理其他情况,那么 broker 申请会进入挑战组,其他所有渠道,包括未预料到的渠道和缺失值,都会进入冠军组。若只列出三个指定渠道,却没有兜底分支,第四种值就不会得到决策。数值分流也一样:限定测试分支的范围,其他情况交给冠军组。

将这些审核规则纳入决策流

制定信贷、反欺诈或催收规则,并用于实际决策。

上线前检查

把变更后的决策表、评分卡或规则集用于线上流量前,先用历史决策或文件运行测试。影响分析工具会报告受影响的决策数量,例如“1,001个决策中有30个会发生变化”,并列出变更前后的结果。关联实际结果后,还可以查看各组的实际坏账率,不必只根据发生变化的决策来判断新版本。

这项检查不会自动为您创建线上流量分组。在线上流量中,决策流的分支会读取放贷机构系统传入的分组值,系统本身不会随机分流。助手可以添加分支,并将冠军方案设为兜底分支。每项变更须经批准后才能使用。因此,标记测试组的数值必须包含在决策接收的数据中。

决策完成后,也需要保留这个随机数。连接决策归档后,每条决策都会连同申请文档和分组值写入放贷机构自己的数据库。之后可以结合放贷机构自己的结果比较两组,同时保留每条决策用于分流的值。这样,比较结果对应的就是放贷机构实际收到的案件。

挑战方案成为冠军方案,需要将其版本部署到端点。也可以先比较两个版本。

规划下一轮测试

在冠军挑战者测试计算器中填写预期坏账率、挑战组占比和结果观察期。计算器会根据这些数据完成计算,并用差异、95%区间和 p 值检查测试结果。

分配流量前,先确认测试时长能否检出预期的差异。流量占比为 20% 时,测试持续 1 个月可检出 2.11 个百分点或以上的差异,持续 3 个月可检出 1.18 个百分点,持续 6 个月可检出 0.82 个百分点,持续 12 个月可检出 0.57 个百分点。

常见问题

应该测试一条规则,还是整个决策策略?

如果需要判断表现变化由什么引起,应一次测试一个决策部分。可以单独测试决策表中的一行、某条规则或整个规则集,但同时变更多项内容会让结果更难解读。每项独立比较都使用自己的分流值,避免一项测试的流量分配影响另一项测试。

将这些审核规则纳入决策流

制定信贷、反欺诈或催收规则,并用于实际决策。