产品特征为何让评分卡看起来很强,却不该放进去
评分卡通过了验证,但它学到的是什么?
您已经基于自有的已批准贷款组合开发或采购了评分卡。它在验证集上的 AUC 看起来很有说服力,建模工作似乎也已完成。但在采信排名靠前的特征之前,应先把它们分成两类:借款人本身的情况,以及贵公司选择提供的贷款产品特征。
差异十分明显。本文使用的是美国小企业管理局 7(a) 贷款审批公开数据:在全部 112,000 笔抽样贷款中,借款人特征不同,核销率最高约为最低的两倍。按行业划分,核销率为 2.29% 至 5.14%,按支持就业岗位数划分,则为 2.15% 至 4.19%。
贷款本身的特征对核销率的影响达到二十四倍。贷款期限不超过 42 个月的全样本核销率为 14.94%,期限超过 120 个月的贷款则为 0.62%。期限最长的区间有 1,270 笔贷款,没有发生核销。
这是第一个需要注意的问题。借款人和贷款并不是一回事。期限、担保比例、抵押品、审批金额、项目和利率,反映的是放贷机构选择以什么价格、按什么项目提供贷款。这些并不能直接视为借款人的真实情况。担保比例需要特别说明:在这份数据中,它是美国政府贷款项目的参数,不是商业放贷机构自行决定的定价因素。在贵机构的贷款组合中,对应字段是由自身定价和产品设计确定的期限、抵押品、审批金额、项目和利率。放贷机构设定利率时会部分考虑风险,因此,利率是这份数据中最容易形成循环判断的字段。
第一轮分析衡量的是放贷机构的选择
数据来自公开的 SBA 7(a) 贷款批准文件,涵盖 2010 年至 2016 年批准的贷款。分析剔除了已取消的贷款,以及另外 200 条缺少首次放款日期、缺少期限或批准金额为零的记录。随后,每个季度抽取 4,000 笔批准贷款,使各期贷款在样本中占比相同。按时间切分后,训练集有 78,400 条记录,验证集有 33,600 条。
分析的结果指标是首次放款后 60 个月内发生核销。全样本核销率为 3.90%。训练集为 3.79%,验证集为 4.16%。
第一轮分析的评分卡 AUC 在训练集为 0.8443,在样本外为 0.8608。影响最大的特征,是由利率、担保比例和期限(月)计算出的一个数值。它没有明确的实际单位,把放贷机构做出的三项决定合并起来,再把结果当作风险。
最突出的发现,是这个数值存在一个阈值。训练集中,高于阈值的 28,560 笔贷款核销率为 9.50%,高于全组合的 3.79%。该特征在训练集中的信息值为 1.708,样本外提升倍数为 3.20。排名前九的发现都类似:由贷款本身的条款计算出的比率。没有一项指向借款人。
模型并没有拟合错。它拟合正确,只是针对了一个不该交给它的目标。问题的原因在于贷款设计。贷款设计确实能够预测结果,因为它反映了放贷机构已经做出的决策。
排除产品条款仍未解决问题
第一次尝试限制得很简单:每个衍生数值都必须包含至少一项借款人特征,但这并没有排除那些比率。下一轮分析仍然根据担保比例、支持的就业岗位数、批准金额和期限生成比率。验证 AUC 升至 0.8524,排名第一的发现样本外提升倍数仍为 3.13。
虽然加入了一项借款人特征,但结果没有变化:贷款条款仍然主导分析,仍是主要发现的核心。
再一轮分析减少了这种掩饰。验证 AUC 降至 0.6405,排名第一的发现提升倍数降至 1.78。但八个衍生数值中仍有三个把产品条款纳入计算。产品决策并没有消失,只是换了种形式。
修正后的结果看起来较差,因为它更诚实
修正后的分析采用了两条规则。第一,衍生数值对结果的区分能力必须强于其中包含的纯产品结构。产品条款可以作为分期金额,出现在偿付能力比率中,也可以作为除数,但不能单独作为一项数值直接相加。
这一区别很重要。分期金额除以收入,体现的是一种有明确含义的关系,授信策略可能会检验这种关系。把利率、担保比例和期限合并成一个自创比率,则只是混合了放贷机构自己的选择。
在相同样本和相同结果指标下,修正后的分析训练 AUC 为 0.6407,样本外 AUC 为 0.6277。排名第一的发现样本外提升倍数为 1.19。评分卡保留了六项特征:两个衍生数值、行业、法律形式、人口普查分区和特许经营状态。
两项保留下来的衍生指标仍包含产品条款:一项使用了支持的就业岗位数、贷款期限、担保比例和贷款金额,另一项使用了支持的就业岗位数、贷款期限、贷款金额和利率。贷款仍保留在模型中。修正去掉的是把产品组合本身单独当成借款人风险的部分。
修正后的规则仍是工作树中的代码,尚未作为变更发布,目前正在用这份公开数据进行测试。测试共运行四项测试和 168 项断言,全部通过,用时 1 分 48 秒。测试检查结论中是否排除了产品或渠道条件,以及是否剔除了仅由产品条款推导出的数值。
这个信号确实存在,应把它放在评审委员会看得到的地方
在验证集上,各项比较的批准率都固定为 80%,诚实的评分卡仍然能区分风险。批准所有贷款,坏账率为 4.16%。使用诚实评分卡的单一阈值,坏账率为 3.45%。按不同期限区间分别设置阈值,坏账率降至 2.59%。
使用一个截点时,经过“洗白”的评分卡得到 1.50%。评分结果有所增强,原因是产品数据按连续数值纳入评分,同时产品分档被藏进了评分里。
这一差异来自对另一组独立抽取的样本所做的手工分析,计算由平台外的脚本完成。按训练集核销率排序后,按贷款期限划分的区间,在获批贷款中的验证集坏账率为 2.43%。结合贷款期限、担保和利率后,坏账率为 1.73%。再加入贷款金额,结果反而升至 1.83%,因为每个单元格中的贷款笔数不足。
只使用借款人特征的方案表现较弱。仅按行业划分,获批贷款的坏账率为 3.79%。再加入企业经营年限、法律形式、支持的就业岗位数和特许经营状态,坏账率在 3.53% 至 3.70% 之间。独立抽样数据在验证集中的基准坏账率为 4.00%。
这个信号值得保留,关键在于放在哪里。留在评分中,它可能被当成借款人的情况。把它移到阈值中,就成为一项产品决策,评审委员会可以看到、评估定价,也可以推翻。
检查评分卡时可以问这几个问题
列出评分卡中排名前五的特征,逐项确认由谁设定。
- 定价团队会设定这个值吗?
- 产品团队会选择这个值吗?
- 审批会把这个值作为贷款方案的一部分确定吗?
- 别只看字段名称。这个值反映的是借款人特征,还是您所提供的贷款产品带来的后果?
具体比率会随样本变化。对同一设计进行独立抽样,整体核销率在 3.71% 至 3.83% 之间,最小的分组波动更大。整体趋势没有改变:在这组公开贷款数据中,贷款条款的区分能力远高于借款人特征。
评分卡中表现最好的特征,可能反映的是贵机构自己做出的决定。诚实的做法不是删除真实存在的信号,而是先识别它,再将其移出借款人评分,放进阈值或产品策略中,让它代表什么一目了然。
常见问题
调整评分卡前,怎样检查区分能力最强的特征?
逐项检查区分能力最强的五个特征,追溯到原始输入,并确认每项由谁设定。把借款人情况与定价、产品或审批团队选择的贷款条款分开,再测试去掉纯产品组合后的评分卡。包含借款人字段的特征,不一定代表借款人风险。还要弄清它的实际含义,并检查它在贷款条款本身之外是否增加了区分能力。
什么情况下,产品条款可以留在评分卡的衍生特征中?
如果衍生特征体现了明确的信贷含义,例如分期金额相对于收入的比例,且测试显示它比单独使用产品条款更有价值,就可以保留产品条款。还应在后续贷款期次及相关贷款分组中检验这一关系。如果放贷机构设定的条款组合能够预测核销,却无法清楚地解释为借款人特征,就应把它作为产品策略,而非借款人风险。
有预测能力的贷款条款不应影响借款人评分时,应放在哪里?
可以在阈值或产品策略中测试期限、金额和利率等贷款条款,让评审委员会看清这些条件会影响什么决定。比较批准率相同时的坏账率,并检查各分组的贷款笔数和核销笔数。样本较少时,细分阈值可能显得效果很好。结果不稳定时,应采用更宽的区间或更简单的规则。