拒绝推断:替换拒绝规则前先做测试
我们用公开信用卡数据集和 FICO 公开的 HELOC 申请数据,做了一次贴近放贷机构实际情况的测试。两个数据集的结果标签都已知。第一步采用常见做法:先应用一条拒绝规则,再用通过规则的申请训练评分卡。在信用卡数据中,规则会拒绝上月还款逾期的账户。检查变量时,记录上月还款是否逾期的字段信息值为 0.02,低于常用筛选线,很容易被标记为删除。这个结果看起来并不特别,只像是在模型开发表格里做常规整理。但如果授信策略已经按这个字段拒绝了申请,它的信息值偏低,说明的是信用风险关系弱,还是样本选择造成的结果?
各方法对拒绝群体的预测
我们将仅用获批账户训练的评分卡与常见拒绝推断方法进行比较。每种方法都从这张评分卡出发,先对被拒账户作出假设,再用推断出的结果重新训练评分卡。拒绝推断是在缺少被拒申请人表现数据时,对其信用状况作出的估计。下表列出各方法对拒绝群体的预测,并与两个数据集中已知的不良率对照。
| 方法 | 信用卡数据 | HELOC 数据 |
|---|---|---|
| 实际不良率 | 50.4% | 72.4% |
| 已知所有结果 | 50.5% | 72.5% |
| 仅用获批样本 | 18.9% | 71.6% |
| 模糊增广法 | 20.3% | 71.8% |
| 硬阈值法 | 80.7% | 90.1% |
| 分箱法 | 29.1% | 90.8% |
模糊增广会将每个被拒账户加入两次:一次按首版评分卡预测的坏账概率赋予坏客户权重,另一次按剩余概率赋予好客户权重。随后用这些预测结果重新训练评分卡。硬阈值法将每个被拒账户的预测风险与已批准账户的中位数比较,高于中位数的标为坏客户,其余标为好客户。分箱法将被拒账户按评分分组,并根据已批准账户在各组中的坏账率上调坏客户比例。这些方法依据假设处理被拒账户,并非使用实际观测结果。
在信用卡数据中,这些方法的预测都与实际不良率相差很远。HELOC 数据中,仅用获批样本训练的评分卡原本就接近实际值,调整预测的方法反而把不良率估得过高。结果取决于拒绝规则隐藏了什么信息,而不在于模型是否更复杂。
拒绝规则掩盖了字段的风险规律
信用卡评分卡无法从获批账户中学到逾期还款与不良结果之间的关系,因为拒绝规则已经排除了有逾期记录的账户。信息值图表对比了该字段在全部账户和获批账户中的表现。
在全部账户中,上月还款状态是预测能力最强的字段。在获批账户中,它的信息值却落在常用的删除线附近。这反映的是样本选择,并不能证明该字段与风险无关。
获批账户中的上月还款状态大多是未使用信用卡、全额还款或循环还款,这些账户的不良率没有明显规律。带有逾期记录、呈现风险规律的账户都被拒绝了。仅用获批样本训练的评分卡没有这些取值可供学习。仅用获批数据训练的普通逻辑回归甚至把逾期越严重解读为风险越低,这与全部结果显示的方向相反。
这就是拒绝推断方法在信用卡数据中预测失准的原因。它们以一张在训练样本中已经被拒绝规则抹去相关关系的评分卡为起点,而模型需要估计的正是这种关系。
用随机测试组测量被拒群体
仅有获批样本无法解决选择偏差。要测量被拒群体,可以从每条拒绝规则原本会拒绝的申请人中随机抽取一部分予以批准,将这些贷款标记为测试组,再等待其结果。每条规则都要单独测试,因为每条规则筛出的群体不同。
下表展示了不同规模的测试组对信用卡被拒群体不良率的测量范围。
| 获批比例 | 贷款数 | 测量范围 |
|---|---|---|
| 2% | 约 80 | 41% 至 60% |
| 5% | 约 200 | 45% 至 56% |
| 10% | 约 400 | 46% 至 54% |
从被拒信用卡账户中反复随机抽取测试组,多数抽样中,约两百笔贷款对应的测试组测得坏账率的波动范围约为十一个百分点。测试组越小,波动范围越宽,测试组越大,波动范围越窄。所需样本量取决于要测量的群体。可使用冠军挑战者测试计算器确定测试样本量。关于测试需要运行多久,可参考冠军挑战者决策策略指南。
测量时要把测试组单独保留。在我们的测试中,只把少量测试组加入评分卡训练,并没有让 WoE 评分卡的预测接近实际不良率。模型训练时可以用到测试组结果,但仍可能无法准确测量该群体的不良率。实际观察到的结果才是测量依据。
将预测值与测试组测量范围对比
测试组的结果出来后,将测得的不良率与评分卡对同一被拒群体的预测值对比。下图将各项预测与随机测试组测得的范围放在一起。
信用卡数据中,评分卡预测的不良率远低于测试组测量范围。HELOC 数据中,预测值落在测量范围内。第一张评分卡无法准确估计信用卡被拒群体的风险,而仅用获批样本训练的评分卡对 HELOC 被拒群体的估计原本就接近实际值。这项对比能区分两种情况。
重新校准能修正均值,不能改变排序
评分卡预测的不良率与测试组测量值不符时,可以针对该被拒群体重新校准评分。先计算测试组贷款的分数,再调整评分水平,使平均预测值与测试组测得的不良率一致。调整后,群体内申请人的排序不变。
下表列出评分卡重新校准前后的预测值,以及实验中的实际不良率。
| 数据集 | 校准前 | 校准后 | 实际值 |
|---|---|---|---|
| 信用卡数据,约 210 笔贷款 | 18.9% | 50.6% | 50.4% |
| HELOC 数据,约 66 笔贷款 | 71.6% | 70.7% | 72.4% |
两个数据集重新校准后的平均预测值都接近实际不良率。但群体平均值吻合,并不能说明评分卡能否区分该群体内部的高低风险。只修正平均值,不足以支持用评分卡替代拒绝规则。
用测试组的 Gini 判断是否能取消拒绝规则
查看评分卡在测试组上的 Gini,可以判断它能否区分被拒群体内部的风险。下表列出不同随机测试组中的 Gini 范围。
| 数据集 | 测试组 | Gini 范围 |
|---|---|---|
| 信用卡数据 | 5%,约 200 笔贷款 | -0.16 至 0.11 |
| 信用卡数据 | 10%,约 400 笔贷款 | -0.12 至 0.06 |
| HELOC 数据 | 5%,约 66 笔贷款 | 0.18 至 0.65 |
| HELOC 数据 | 10%,约 130 笔贷款 | 0.26 至 0.58 |
信用卡数据中的 Gini 接近零,即使扩大测试组也没有改善。评分卡无法区分被拒群体中的好坏风险,因此重新校准后仍不能替代拒绝规则。HELOC 数据中的 Gini 高于零,说明评分卡能区分被拒群体的风险。重新校准评分水平后,可以通过设定分数线替代原规则。
调整 HELOC 规则前,先用拟发布版本对照历史生产决策进行回测,查看哪些申请会因此新增批准或新增拒绝。评估哪些申请会改变审批结果时,可使用换入换出计算器。
如何在贷款组合中做拒绝推断
在信用卡数据的变量筛选中,如果拒绝规则排除了能揭示字段与风险关系的取值,就不能只凭获批样本的信息值决定保留还是删除该字段。
每条拒绝规则都按以下流程处理:
- 列出需要评估的拒绝规则。
- 针对每条规则,在决策流中随机分流,批准一个小比例的测试组。标记这些贷款,并跟踪其结果。
- 测试组结果成熟后,将测得的不良率与评分卡对该群体的预测值对比。
- 重新校准评分水平。
- 查看评分卡在测试组上的 Gini。若接近零,就保留拒绝规则,因为评分卡无法区分该群体内部的风险。若明显高于零,先对拟议调整做回测,检查哪些账户会因此新获批,再考虑用分数线替代原规则。
如果其他字段记录了相同的历史信息,可以先采用仅用获批样本训练的评分卡作为估计起点。拒绝推断方法会根据各自的假设调整这个估计。
拒绝推断常见问题
哪种拒绝推断方法效果最好?
在我们的测试中,各种方法对信用卡被拒群体实际不良率的预测都相差很远。HELOC 数据中,仅用获批样本训练的评分卡原本就接近实际值,调整预测的方法反而把不良率估得过高。
为什么强预测字段在获批贷款中的信息值偏低?
拒绝规则排除了呈现风险规律的取值。在获批信用卡账户中,该字段对应的不良率变化很小,但在全部账户中,它的预测能力很强。
模糊增广法能纠正偏差吗?
在我们的测试中不能。该方法按第一张评分卡预测的概率加入被拒样本,再把这些预测结果放回去训练评分卡。
测试组需要包含多少被拒申请人?
从被拒绝的信用卡账户中反复抽样,抽取百分之五组成测试组,每组约两百笔贷款。在 90% 的抽样中,测得的坏账率介于 45% 到 56% 之间。所需样本量取决于要测量的群体。
梯度提升能避开这个问题吗?
不能。在信用卡数据中,它对被拒群体的不良率预测为 29.4%,实际值为 50.4%。