信用评分偏差检查:调整后发布前的核查方法
我们用一份公开信用卡数据做了这项检查,下面的结果只来自这批账户。我们在评分卡建模时排除了性别、年龄、婚姻状况和教育程度,再按获批门槛比较各群体的获批率。每个比值都接近持平。如果您负责这套评分,很容易把这当成结论,继续往下走。
我们还检查了获批率以外的结果。把同一批账户按评分划分后发现,年轻客户在每个评分区间的违约率都较低。群体获批率比较接近,不代表各区间内的风险也一样。除了门槛处的结果,还应保留各区间内的违约率。
获批率接近,只是第一项检查
受保护特征应留作检查数据,不应纳入评分卡拟合。在这份公开信用卡数据中,我们将性别、年龄、婚姻状况和教育程度排除在评分卡之外,留作验证。检查算法决策偏差和数据偏差时,可以使用这些特征,但不把它们放进评分。
在获批门槛处,各群体的获批率比值都接近 1。
| 群体 | 占比 | 获批率比值 |
|---|---|---|
| 30 岁以下 | 32% | 0.95 |
| 女性 | 60% | 1.04 |
| 已婚 | 46% | 0.99 |
| 研究生学历 | 35% | 1.09 |
| 60 岁及以上 | 1% | 0.90 |
这是一个有参考价值的初步结果,但还不能据此判断评分对风险的排序。审批率容易比较,数值接近时也容易让人觉得结果令人放心,因此团队可能就此停止检查。但 cut-off 会把风险排序转化为批准和拒绝。同一评分的客户,违约率仍可能不同。
比较各评分区间内的违约率
比较区间内的违约率,可以检查同一评分区间里的不同群体是否有相近的结果。我们把账户分成五个评分区间,在每个区间内,将各群体的违约率与其他所有账户比较。差值为负,表示该群体的违约率低于同区间的其他账户,也就是说,评分对该群体的风险判断高于实际表现。差值为正,则表示评分对该群体的风险判断低于实际表现。
30 岁以下客户在每个区间的违约率都低于其他所有账户。在中间区间,他们的违约率为 13.5%,其他账户为 15.9%。他们的获批率也略低。因此,评分拒绝了一部分还款表现好于预期的 30 岁以下客户。
如果差异在五次随机拆分中持续存在,比只看一次拆分的结果更有参考价值。前四个群体在各次拆分中的差值波动不到 1 个百分点。60 岁及以上群体的结果在不同拆分间波动太大,难以解读,因此不要把这项差异纳入结论。
在多次拆分中比较各群体的区间内违约率,包括获批率比值接近 1 或单个区间结果波动较大的情况。
调查持续存在差异背后的字段
持续存在的差异说明需要调查,但不能直接告诉您该删除哪个字段。在评分卡使用的字段中,额度与 30 岁以下这一群体的关联最大。额度是发卡机构决定给客户的授信金额,30 岁以下客户的额度中位数约为其他所有客户的一半。评分卡把较低额度作为风险信号。
预测字段可能把放贷机构过去的决策带进评分。额度也记录了发卡机构此前对客户作出的决定。
这份数据中没有找到能解释女性和已婚群体差异的字段。差异没有明确原因时,行动起来更难,因此容易让人想要勉强找出解释。应保留这项差异,只有证据支持时才归因。
对每个差异持续存在的群体,找出与该群体关联最强的字段,并检查它是否记录了放贷机构过去作出的决定。
调整字段后,重新检查所有群体
缩小一个群体的差异后,还要重新检查所有群体。我们用额度使用率替换了额度,额度使用率等于最近一期账单金额除以额度。它保留了客户额度使用程度的信息,同时去掉了发卡机构选择授予多少额度的信息。
两列中的数值均为五个评分区间内差值的平均值,单位为百分点。
| 群体 | 使用额度评分 | 使用额度使用率评分 |
|---|---|---|
| 30 岁以下 | -1.5 | -0.5 |
| 女性 | -1.9 | -1.9 |
| 已婚 | +2.8 | +2.3 |
| 研究生学历 | -0.5 | -1.3 |
| 60 岁及以上 | +4.6 | +4.0 |
调整后,30 岁以下群体的差值缩小了,但研究生学历群体的差值扩大。女性群体的结果没有变化,已婚群体的差值略有缩小。额度也与教育程度有关,因此移除额度改变了评分对研究生学历客户的判断。
Gini 几乎没有变化,获批账户的违约率仍为 13.1%。整体评分的预测能力基本不变,但不同群体间的误差有所变化。
区间层面的比较很重要,因为平均差值可能掩盖评分范围内的情况,而您的获批门槛就在这些范围内发挥作用。
使用额度评分时,30 岁以下客户在每个分数段的违约率都较低。这次调整缩小了他们的差距,但并未解决所有群体的问题。每次调整后,都要重新检查所有群体在各分数段的违约率。
发布前回测调整后的评分
回测可以显示调整后的评分会改变哪些过往决策。回测会用一个版本重新运行已作出的决策,并列出发生变化的决策,包括获批和拒绝的决策。历史记录中有实际结果时,回测也会报告这些结果。这些变化会影响进入资产组合的客户,因此可以在评分上线前,根据过往结果评估影响。
发布前,用过去的决策回测调整后的评分,检查会改变哪些批准和拒绝结果,并在数据可用时查看实际结果。
完整检查您的评分
如果您负责的评分中,各群体获批率比值接近 1,接下来就应做这项检查。
- 不将受保护特征用于评分卡拟合,并将这些特征保留在单独的数据中供检查。
- 按群体计算审批率比值。如果所有比值都接近 1,继续检查。
- 在每个评分区间内比较各群体与其他所有人的坏账率,并在多个数据拆分中检查。
- 对于差距持续存在的群体,找出与该群体关联最强的字段,并确认它是否记录了放贷机构此前作出的决定。
- 调整该字段,重新训练评分卡,再检查所有群体在各评分区间内的差距。
- 用历史决策回测调整后的评分卡,并在发布前查看哪些决策会发生变化。
信用评分偏差检查常见问题
如何检查信用评分是否存在偏差?
受保护特征不纳入评分拟合,先按群体比较获批率比值,再在多个数据拆分中,比较各群体在每个评分区间内的违约率和其他所有账户的违约率。调查持续存在的差异背后的字段,调整后重新检查各群体。
从评分中删除受保护属性就够了吗?
不够。评分即使不包含受保护特征,也可能通过其他字段对某个群体判断有偏差。除了获批门槛处的获批率,还要检查各评分区间内的结果。
为什么获批率看起来接近,评分对某个群体的判断仍可能有偏差?
获批率反映的是哪些客户高于获批门槛。同一评分区间内,评分相近的客户仍可能有不同的违约率,这种差异无法从门槛处的比较中看出。
差异背后找不到相关字段,该怎么办?
保留这项差异,不要在缺少证据时归因或调整字段。这项检查无法确定差异在什么范围内可以接受。
调整后,30 岁以下群体的差异和预测能力有什么变化?
30 岁以下群体的差值从负 1.5 个百分点缩小到负 0.5 个百分点,但没有消失。Gini 几乎没有变化,获批账户的违约率仍为 13.1%。研究生学历群体的差值扩大了,因此调整后要重新检查所有群体。