信用模型需要多少坏样本?

您正准备开发一张评分卡,或更新已上线的评分卡。有人建议重建,现有业务只有数百个坏样本。新模型给出的坏账率是 5%,这个数将用于定价和拨备。

动手建模前,先确认两件事:重建是否有充分理由,现有坏样本是否足以支撑计划。很多时候,现有数据根本不够开发一张新评分卡。三百个坏样本只是开始计算的起点,不是及格线。

坏样本数为什么重要

模型给出的 5% 并非精确值。以 300 个坏样本为依据,即使模型刚建好、尚未发生任何表现变化,实际坏账率也可能在 4.5% 到 5.5% 左右。

这个区间会直接影响资金。以一个演示案例为例,一年放款 €50m,坏账贷款的损失比例为 75%。相对于模型给出的 5%,实际坏账率若为 4.5% 或 5.5%,一年损失相差约 €187,500。放款量翻倍,区间对应的金额也翻倍。

如果建模规模超过坏样本所能支撑的范围,模型还可能出现更严重的问题:把安全客户判断得过于安全,把高风险客户判断得过于高风险。获批客户带来的损失会高于计划,优质申请人也会被拒绝。在一个演示案例中,模型标为 2% 坏账率的客群,实际约为 3%。

模型上线后的表现变化,会叠加在这项初始不确定性之上。模型涉及的资金和放款量越大,就越需要了解模型给出的坏账率有多可信。

怎样判断样本是否足够

坏样本数限制了两件事。首先,它限制了模型能学习的内容,因为建模时尝试的每个变量和每个分箱,都要用同一批坏样本估算。超过一定范围,模型拟合的就会是这批样本中的噪声。

其次,它限制了坏账率的估计精度,既包括整体业务,也包括用于定价的各个分层。统计学把第一个限制称为自由度预算。预期 Gini 在很大程度上决定了预算大小。下面分别量化这两项限制。

300 个坏样本够吗?

这取决于预期 Gini 和建模计划。坏账率为 5% 时,300 个坏样本在 Gini 为 0.3、0.5 和 0.7 时,分别支持约 9、28 和 63 个自由度。坏账率对预算影响很小,主要由 Gini 决定。

预期 Gini自由度
0.3约 9
0.5约 28
0.7约 63

模型越弱,每个自由度所需的坏样本越多。坏账率为 2%、自由度为 30 时,Gini 为 0.7 需要约 130 个坏样本,Gini 为 0.3 则需要约 930 个。坏账率为 5%、Gini 为 0.5 时,30 个自由度需要约 320 个坏样本。

这项预算依据 Riley 等人提出的最小样本量标准计算,目标是把模型预期收缩控制在 10% 以内。使用模型样本量计算器,可根据现有坏样本数、坏账率和 Gini 进行计算。

哪些建模选择会占用自由度

变量筛选前,所有候选参数都要计入。一个变量的系数占用自由度。一个变量分成五箱,需要四个自由度。WoE 变量也要计入分箱,因为这些箱是用同一批坏样本拟合的。这是计算工具采用的口径。样条需要的自由度等于结点数减一。

模型设定28 个自由度可支持的规模
连续变量28 个
三箱14 个变量
四箱9 个变量
五箱7 个变量
六箱5 个变量
MARS,不含交互项14 个项
MARS,含交互项11 个项

筛选过程也会占用预算。40 个候选变量各分五箱,在筛选前就要占用 160 个自由度,而 Gini 为 0.5 时,300 个坏样本只能支持 28 个自由度。最终未入选的变量,在建模过程中也占用了容量。

按计划开发评分卡,300 个坏样本够不够

看一个演示计划:20 个候选变量各分五箱,共占用 80 个自由度。坏账率为 5%、Gini 为 0.5 时,需要约 854 个坏样本,比现有的 300 个多 554 个。

计划自由度所需坏样本数月数
20 个变量各分五箱8085420.5

按每月放款 2,000 笔、结果观察期 12 个月计算,需要 20.5 个月才能知道这些贷款的结果。接下来要做实际取舍:缩小建模计划,等待结果,或对现有评分卡做较小幅度的调整。

将这些审核规则纳入决策流

制定信贷、反欺诈或催收规则,并用于实际决策。

坏样本不够时怎么办

计划超出坏样本的支撑范围时,计算结果会缩小可选范围,但不会替您做决定。

  • 保留现有评分卡并重新校准。只重估截距和斜率需要 2 个自由度,Gini 为 0.5 时约需 22 个坏样本。
  • 缩小评分卡规模,使其符合现有自由度预算。
  • 等到规划中的模型所需的结果数据出来。
  • 新模型上线前,先用历史申请数据与现有模型进行对比测试,参见冠军/挑战者测试。

重建评分卡既要有理由,也要有足够的坏样本。“已经有一段时间了”或“听说应该重建”本身都不构成理由。计算结果说明现有坏样本能支撑什么,最终决定仍由您做出。

坏账率的估计区间

无论模型强弱,坏样本数都会决定坏账率的估计精度。坏账率为 5% 时,95% 置信区间如下:

坏样本数5% 坏账率的区间
1004.04% 到 5.96%
3004.45% 到 5.55%
1,0004.70% 到 5.30%
3,0004.83% 到 5.17%

评分分层的坏样本数少于整体业务,因此区间更宽。一个演示分层有 30 个坏样本,坏账率为 12%,区间为 7.97% 到 16.03%。低风险分层有 15 个坏样本,坏账率为 1.5%,区间为 0.75% 到 2.25%。

这项不确定性在模型建成当天就已存在,表现变化则发生在之后。上线后的监控方法见评分卡监控。

自由度超出预算时会怎样

自由度超出预算,会使模型在新数据上的预测过于极端。预期校准斜率就是收缩系数,它会把每个预测值与平均值之间的对数赔率差拉回一些。

在一个演示案例中,Gini 为 0.3、坏样本数为 300、平均坏账率为 5%。若占用 80 个自由度,预期收缩系数为 0.51。模型预测为 2% 的客群,实际坏账率约为 3.1%。

已占用自由度S预测 2% 时的实际值预测 10% 时的实际值预测 20% 时的实际值
90.902.19%9.4%17.7%
280.752.52%8.4%14.5%
800.513.13%7.2%10.5%

这些是按相关标准假设计算的预期值,不是实际观测结果。获批客群的实际风险高于模型显示的风险,损失会超出预期,优质申请人也会被拒绝。

签字确认前的检查

  1. 先说明为什么要重建模型。
  2. 统计建模过程中尝试的所有候选参数,包括分箱和变量筛选。
  3. 按预期 Gini,将参数数量与自由度预算比较,可使用样本量工具。
  4. 对每个用于定价或确定审批阈值的分段,统计其中的坏样本数。
  5. 定价和拨备要考虑区间,不能只看点估计。
  6. 按常规进行验证和跨时间验证,方法见信用评分模型文档。

验证和时间外测试会用模型未参与拟合的数据检查模型表现,但不会扩大样本,也不会增加自由度预算中的坏样本数。

常见问题

300 个坏样本够开发评分卡吗?

没有适用于所有情况的及格线。坏账率为 5% 时,Gini 为 0.3、0.5 和 0.7 的情况下,300 个坏样本分别支持约 9、28 和 63 个自由度。结果取决于预期 Gini 和建模计划。

WoE 变量是否只占用一个自由度?

最终模型中,WoE 变量可能只显示一个系数,但其分箱是用同一批坏样本拟合的。因此,计算工具会按分箱数减一计算自由度。

梯度提升比其他方法需要多多少数据?

一项模拟研究发现,随机森林、支持向量机和神经网络所需的每变量事件数,是逻辑回归的十倍以上。该研究没有涵盖梯度提升。因此,十倍只是根据这项研究得出的下限,不是通用标准。

时间外验证能弥补样本量不足吗?

不能。时间外验证用模型未参与拟合的数据检查表现,回答的是另一个问题。它不会增加开发样本中的坏样本数,也不会提高自由度预算。

将这些审核规则纳入决策流

制定信贷、反欺诈或催收规则,并用于实际决策。