信用模型需要多少坏样本?
您正准备开发一张评分卡,或更新已上线的评分卡。有人建议重建,现有业务只有数百个坏样本。新模型给出的坏账率是 5%,这个数将用于定价和拨备。
动手建模前,先确认两件事:重建是否有充分理由,现有坏样本是否足以支撑计划。很多时候,现有数据根本不够开发一张新评分卡。三百个坏样本只是开始计算的起点,不是及格线。
坏样本数为什么重要
模型给出的 5% 并非精确值。以 300 个坏样本为依据,即使模型刚建好、尚未发生任何表现变化,实际坏账率也可能在 4.5% 到 5.5% 左右。
这个区间会直接影响资金。以一个演示案例为例,一年放款 €50m,坏账贷款的损失比例为 75%。相对于模型给出的 5%,实际坏账率若为 4.5% 或 5.5%,一年损失相差约 €187,500。放款量翻倍,区间对应的金额也翻倍。
如果建模规模超过坏样本所能支撑的范围,模型还可能出现更严重的问题:把安全客户判断得过于安全,把高风险客户判断得过于高风险。获批客户带来的损失会高于计划,优质申请人也会被拒绝。在一个演示案例中,模型标为 2% 坏账率的客群,实际约为 3%。
模型上线后的表现变化,会叠加在这项初始不确定性之上。模型涉及的资金和放款量越大,就越需要了解模型给出的坏账率有多可信。
怎样判断样本是否足够
坏样本数限制了两件事。首先,它限制了模型能学习的内容,因为建模时尝试的每个变量和每个分箱,都要用同一批坏样本估算。超过一定范围,模型拟合的就会是这批样本中的噪声。
其次,它限制了坏账率的估计精度,既包括整体业务,也包括用于定价的各个分层。统计学把第一个限制称为自由度预算。预期 Gini 在很大程度上决定了预算大小。下面分别量化这两项限制。
300 个坏样本够吗?
这取决于预期 Gini 和建模计划。坏账率为 5% 时,300 个坏样本在 Gini 为 0.3、0.5 和 0.7 时,分别支持约 9、28 和 63 个自由度。坏账率对预算影响很小,主要由 Gini 决定。
| 预期 Gini | 自由度 |
|---|---|
| 0.3 | 约 9 |
| 0.5 | 约 28 |
| 0.7 | 约 63 |
模型越弱,每个自由度所需的坏样本越多。坏账率为 2%、自由度为 30 时,Gini 为 0.7 需要约 130 个坏样本,Gini 为 0.3 则需要约 930 个。坏账率为 5%、Gini 为 0.5 时,30 个自由度需要约 320 个坏样本。
这项预算依据 Riley 等人提出的最小样本量标准计算,目标是把模型预期收缩控制在 10% 以内。使用模型样本量计算器,可根据现有坏样本数、坏账率和 Gini 进行计算。
哪些建模选择会占用自由度
变量筛选前,所有候选参数都要计入。一个变量的系数占用自由度。一个变量分成五箱,需要四个自由度。WoE 变量也要计入分箱,因为这些箱是用同一批坏样本拟合的。这是计算工具采用的口径。样条需要的自由度等于结点数减一。
| 模型设定 | 28 个自由度可支持的规模 |
|---|---|
| 连续变量 | 28 个 |
| 三箱 | 14 个变量 |
| 四箱 | 9 个变量 |
| 五箱 | 7 个变量 |
| 六箱 | 5 个变量 |
| MARS,不含交互项 | 14 个项 |
| MARS,含交互项 | 11 个项 |
筛选过程也会占用预算。40 个候选变量各分五箱,在筛选前就要占用 160 个自由度,而 Gini 为 0.5 时,300 个坏样本只能支持 28 个自由度。最终未入选的变量,在建模过程中也占用了容量。
按计划开发评分卡,300 个坏样本够不够
看一个演示计划:20 个候选变量各分五箱,共占用 80 个自由度。坏账率为 5%、Gini 为 0.5 时,需要约 854 个坏样本,比现有的 300 个多 554 个。
| 计划 | 自由度 | 所需坏样本数 | 月数 |
|---|---|---|---|
| 20 个变量各分五箱 | 80 | 854 | 20.5 |
按每月放款 2,000 笔、结果观察期 12 个月计算,需要 20.5 个月才能知道这些贷款的结果。接下来要做实际取舍:缩小建模计划,等待结果,或对现有评分卡做较小幅度的调整。
坏样本不够时怎么办
计划超出坏样本的支撑范围时,计算结果会缩小可选范围,但不会替您做决定。
- 保留现有评分卡并重新校准。只重估截距和斜率需要 2 个自由度,Gini 为 0.5 时约需 22 个坏样本。
- 缩小评分卡规模,使其符合现有自由度预算。
- 等到规划中的模型所需的结果数据出来。
- 新模型上线前,先用历史申请数据与现有模型进行对比测试,参见冠军/挑战者测试。
重建评分卡既要有理由,也要有足够的坏样本。“已经有一段时间了”或“听说应该重建”本身都不构成理由。计算结果说明现有坏样本能支撑什么,最终决定仍由您做出。
坏账率的估计区间
无论模型强弱,坏样本数都会决定坏账率的估计精度。坏账率为 5% 时,95% 置信区间如下:
| 坏样本数 | 5% 坏账率的区间 |
|---|---|
| 100 | 4.04% 到 5.96% |
| 300 | 4.45% 到 5.55% |
| 1,000 | 4.70% 到 5.30% |
| 3,000 | 4.83% 到 5.17% |
评分分层的坏样本数少于整体业务,因此区间更宽。一个演示分层有 30 个坏样本,坏账率为 12%,区间为 7.97% 到 16.03%。低风险分层有 15 个坏样本,坏账率为 1.5%,区间为 0.75% 到 2.25%。
这项不确定性在模型建成当天就已存在,表现变化则发生在之后。上线后的监控方法见评分卡监控。
自由度超出预算时会怎样
自由度超出预算,会使模型在新数据上的预测过于极端。预期校准斜率就是收缩系数,它会把每个预测值与平均值之间的对数赔率差拉回一些。
在一个演示案例中,Gini 为 0.3、坏样本数为 300、平均坏账率为 5%。若占用 80 个自由度,预期收缩系数为 0.51。模型预测为 2% 的客群,实际坏账率约为 3.1%。
| 已占用自由度 | S | 预测 2% 时的实际值 | 预测 10% 时的实际值 | 预测 20% 时的实际值 |
|---|---|---|---|---|
| 9 | 0.90 | 2.19% | 9.4% | 17.7% |
| 28 | 0.75 | 2.52% | 8.4% | 14.5% |
| 80 | 0.51 | 3.13% | 7.2% | 10.5% |
这些是按相关标准假设计算的预期值,不是实际观测结果。获批客群的实际风险高于模型显示的风险,损失会超出预期,优质申请人也会被拒绝。
签字确认前的检查
- 先说明为什么要重建模型。
- 统计建模过程中尝试的所有候选参数,包括分箱和变量筛选。
- 按预期 Gini,将参数数量与自由度预算比较,可使用样本量工具。
- 对每个用于定价或确定审批阈值的分段,统计其中的坏样本数。
- 定价和拨备要考虑区间,不能只看点估计。
- 按常规进行验证和跨时间验证,方法见信用评分模型文档。
验证和时间外测试会用模型未参与拟合的数据检查模型表现,但不会扩大样本,也不会增加自由度预算中的坏样本数。
常见问题
300 个坏样本够开发评分卡吗?
没有适用于所有情况的及格线。坏账率为 5% 时,Gini 为 0.3、0.5 和 0.7 的情况下,300 个坏样本分别支持约 9、28 和 63 个自由度。结果取决于预期 Gini 和建模计划。
WoE 变量是否只占用一个自由度?
最终模型中,WoE 变量可能只显示一个系数,但其分箱是用同一批坏样本拟合的。因此,计算工具会按分箱数减一计算自由度。
梯度提升比其他方法需要多多少数据?
一项模拟研究发现,随机森林、支持向量机和神经网络所需的每变量事件数,是逻辑回归的十倍以上。该研究没有涵盖梯度提升。因此,十倍只是根据这项研究得出的下限,不是通用标准。
时间外验证能弥补样本量不足吗?
不能。时间外验证用模型未参与拟合的数据检查表现,回答的是另一个问题。它不会增加开发样本中的坏样本数,也不会提高自由度预算。