估算信贷策略冠军挑战者测试规模

输入当前坏账率、希望检出的差异、挑战组占比和月贷款量,查看测试所需的贷款数和月数。测试结束后,还可以检验结果。

测试计划
置信水平
检验效能

可输入坏账率、出催率或其他比例。差异请用百分点表示。

测试可检出的差异

测试持续 3 个月,可检出与 4.00% 相差 1.18 个百分点或以上的差异。

出结果所需月数

10.1 个月
挑战组贷款数4,105
冠军组贷款数16,420
纳入贷款所需时间4.1 个月

达到所需样本量需要 4.1 个月。加上 6 个月的结果观察期,共需 10.1 个月才能出结果。

不同挑战组占比下的出结果时间

检验已完成的测试

冠军组挑战组
贷款数
坏账数
比例––
差值
+0.90 pp
95% 置信区间
+0.05 pp … +1.75 pp
P 值
0.0276

差异为 +0.90 pp,在 95% 置信水平下不太可能由随机波动造成。

通过邮件获取结果

接下来,在相同的申请上同时运行挑战策略和冠军策略,并记录各自的决策。开始试用

查看计算方法
冠军组与挑战组贷款数之比 k = (1 − 挑战组流量占比) ÷ 挑战组流量占比
合并比例 = (k × p1 + p2) ÷ (k + 1),   p1 = 冠军组坏账率,   p2 = p1 + 希望检出的差异
挑战组贷款数 = (zα √(合并比例 × (1 − 合并比例) × (1 + 1/k)) + zβ √(p1 (1 − p1) ÷ k + p2 (1 − p2)))² ÷ 希望检出的差异²
冠军组贷款数 = k × 挑战组贷款数
样本入组时间 = 挑战组贷款数 ÷ (挑战组流量占比 × 月贷款量)
出结果所需月数 = 样本入组时间 + 结果观察期(月)
zα: 90% 1.645 · 95% 1.960 · 99% 2.576     zβ: 80% 0.842 · 90% 1.282
P 值 = 2 × (1 − Φ(|差值| ÷ √(合并比例 × (1 − 合并比例) × (1/n1 + 1/n2))))

计算采用正态近似,并假设贷款随机分组、结果相互独立。组内样本量很小或比率接近零时,需要使用精确检验。

规划冠军挑战者测试

冠军挑战者测试会在部分贷款上对比当前策略和新策略的坏账率。输入当前坏账率、需要检测的差异、挑战组流量占比、月贷款量和结果观察期。

挑战组流量占比越低,进入该组的贷款越少,得出可解读结果所需的时间也越长。查看测试所需贷款数、纳入贷款所需时间,以及结果揭晓的时间。

常见问题

放贷业务中的冠军挑战者测试是什么?

它会在部分贷款上对比当前的冠军策略和挑战策略。比较指标可以是坏账率或其他比率,还要考虑需要检测的差异以及分配到两组的贷款数。

冠军挑战者测试需要多少笔贷款?

所需贷款数取决于当前比率、需要检测的差异、挑战组流量占比、置信水平和检验效能。此工具会计算挑战组和冠军组各自需要的贷款数。

信贷策略测试需要运行多久?

测试需要先纳入足够的贷款,之后还要经过结果观察期,才能读取结果。此工具根据月贷款量和挑战组流量占比计算这两段时间。

坏账率差异的统计显著性是什么意思?

它表示在所选置信水平下,观察到的差异由随机波动造成的可能性是否较低。测试结果检查会根据两组的贷款数和坏账数,计算差异、置信区间和 p 值。

为什么挑战组流量占比低,测试就会变慢?

挑战组流量占比低,分到该组的贷款就少,收集到足够贷款进行比较需要更长时间。测试纳入贷款后,还要经过结果观察期。