估算信贷策略冠军挑战者测试规模
输入当前坏账率、希望检出的差异、挑战组占比和月贷款量,查看测试所需的贷款数和月数。测试结束后,还可以检验结果。
出结果所需月数
10.1 个月
挑战组贷款数4,105
冠军组贷款数16,420
纳入贷款所需时间4.1 个月
达到所需样本量需要 4.1 个月。加上 6 个月的结果观察期,共需 10.1 个月才能出结果。
不同挑战组占比下的出结果时间
检验已完成的测试
| 冠军组 | 挑战组 | |
|---|---|---|
| 贷款数 | ||
| 坏账数 | ||
| 比例 | – | – |
- 差值
- +0.90 pp
- 95% 置信区间
- +0.05 pp … +1.75 pp
- P 值
- 0.0276
差异为 +0.90 pp,在 95% 置信水平下不太可能由随机波动造成。
通过邮件获取结果
接下来,在相同的申请上同时运行挑战策略和冠军策略,并记录各自的决策。开始试用
查看计算方法
冠军组与挑战组贷款数之比 k = (1 − 挑战组流量占比) ÷ 挑战组流量占比 合并比例 = (k × p1 + p2) ÷ (k + 1), p1 = 冠军组坏账率, p2 = p1 + 希望检出的差异 挑战组贷款数 = (zα √(合并比例 × (1 − 合并比例) × (1 + 1/k)) + zβ √(p1 (1 − p1) ÷ k + p2 (1 − p2)))² ÷ 希望检出的差异² 冠军组贷款数 = k × 挑战组贷款数 样本入组时间 = 挑战组贷款数 ÷ (挑战组流量占比 × 月贷款量) 出结果所需月数 = 样本入组时间 + 结果观察期(月) zα: 90% 1.645 · 95% 1.960 · 99% 2.576 zβ: 80% 0.842 · 90% 1.282 P 值 = 2 × (1 − Φ(|差值| ÷ √(合并比例 × (1 − 合并比例) × (1/n1 + 1/n2))))
计算采用正态近似,并假设贷款随机分组、结果相互独立。组内样本量很小或比率接近零时,需要使用精确检验。
规划冠军挑战者测试
冠军挑战者测试会在部分贷款上对比当前策略和新策略的坏账率。输入当前坏账率、需要检测的差异、挑战组流量占比、月贷款量和结果观察期。
挑战组流量占比越低,进入该组的贷款越少,得出可解读结果所需的时间也越长。查看测试所需贷款数、纳入贷款所需时间,以及结果揭晓的时间。
常见问题
放贷业务中的冠军挑战者测试是什么?
它会在部分贷款上对比当前的冠军策略和挑战策略。比较指标可以是坏账率或其他比率,还要考虑需要检测的差异以及分配到两组的贷款数。
冠军挑战者测试需要多少笔贷款?
所需贷款数取决于当前比率、需要检测的差异、挑战组流量占比、置信水平和检验效能。此工具会计算挑战组和冠军组各自需要的贷款数。
信贷策略测试需要运行多久?
测试需要先纳入足够的贷款,之后还要经过结果观察期,才能读取结果。此工具根据月贷款量和挑战组流量占比计算这两段时间。
坏账率差异的统计显著性是什么意思?
它表示在所选置信水平下,观察到的差异由随机波动造成的可能性是否较低。测试结果检查会根据两组的贷款数和坏账数,计算差异、置信区间和 p 值。
为什么挑战组流量占比低,测试就会变慢?
挑战组流量占比低,分到该组的贷款就少,收集到足够贷款进行比较需要更长时间。测试纳入贷款后,还要经过结果观察期。