信用模型需要多少坏样本

输入坏样本数、坏账率和预期 Gini,查看这些坏样本对应多少自由度、这些自由度在不同模型里能支撑多大规模,以及计划模型需要多少坏样本。

现有数据

参考现有模型或相近模型,填入您对 Gini 的最佳估计。计算结果会随 Gini 明显变化。

模型计划

自由度

28
每个自由度对应的坏样本数10.7
坏账率估计精度± 11%
机器学习模型变量数2

在 Gini 为 0.50 时,300 个坏样本约对应 28 个自由度。建模中尝试的每个分箱、节点和项都会消耗自由度,包括最终未纳入模型的那些。

计划模型所需样本

自由度80
所需坏样本数854
等待结果所需月份20.5

计划消耗 80 个自由度,超出 28 个自由度的预算。需要 854 个坏样本,比现有数量多 554 个。按结果观察期计算,对应 17,080 笔贷款和 20.5 个月。

不同 Gini 下的自由度

逻辑回归模型梯度提升和随机森林

坏样本能支持什么

模型可支持的坏样本数占用的自由度
逻辑回归28 个变量1
分箱逻辑回归或评分卡 · 每个变量 3 个分箱14 个变量2
分箱逻辑回归或评分卡 · 每个变量 4 个分箱9 个变量3
分箱逻辑回归或评分卡 · 每个变量 5 个分箱7 个变量4
分箱逻辑回归或评分卡 · 每个变量 6 个分箱5 个变量5
带样条的逻辑回归 · 每个变量 3 个结点14 个变量2
带样条的逻辑回归 · 每个变量 4 个结点9 个变量3
带样条的逻辑回归 · 每个变量 5 个结点7 个变量4
加性 MARS14 个项2
带交互项的 MARS11 个项2.5
梯度提升或随机森林2 个变量无法按自由度计数,数据量按十倍估算

变量按目标结果分箱时,即使模型只纳入一个 WoE 项,也要计入分箱占用的自由度。筛选多个变量会在模型拟合前消耗预算。

通过邮件发送计算结果

在实际决策环节运行模型。上线前,用历史申请数据将新模型与当前模型进行对比测试。开始试用

查看计算方法
C = (预期 Gini + 1) ÷ 2,   μ = √2 × Φ⁻¹(C),   π = 坏账率
Cox-Snell R² = 1 − exp(−2 × ∫ Σ f(x, y) ln(f(y | x) ÷ f(y)) dx),   得分分布: N(0, 1) / N(μ, 1)
Cox-Snell R² 上限 = 1 − (π^π × (1 − π)^(1 − π))²
S₁ = 0.9,   S₂ = Cox-Snell R² ÷ (Cox-Snell R² + 0.05 × Cox-Snell R² 上限)
自由度 = 样本中的坏样本数 ÷ π × min over S of (S − 1) × ln(1 − Cox-Snell R² ÷ S)
分箱逻辑回归或评分卡, 带样条的逻辑回归: 候选变量 × (每个变量的分箱数 − 1)
加性 MARS: M + 2 × (M − 1) ÷ 2,   带交互项的 MARS: M + 3 × (M − 1) ÷ 2,   M = MARS 项数
梯度提升或随机森林: 机器学习模型可用的变量数 = 自由度 ÷ 10
坏账率估计精度 = ± 1.96 × √((1 − π) ÷ 样本中的坏样本数)

预算是满足两项过拟合标准的最大参数数量:预期收缩率至少为 0.9,Nagelkerke R² 的乐观偏差不超过 0.05。计算依据是 Riley 等人提出的最小样本量标准。计算时假设好客户和坏客户的得分服从离散程度相同的正态分布,并据此将 Gini 转换为 R²。梯度提升和随机森林按十倍数据量估算,这一系数来自 van der Ploeg、Austin 和 Steyerberg 的一项模拟研究。研究发现,随机森林、支持向量机和神经网络所需的每变量事件数超过逻辑回归的十倍。该研究未包含梯度提升。

模型需要多少坏样本?

输入坏样本数、坏账率和预期 Gini,即可计算这些样本支持多少自由度,并查看逻辑回归、评分卡、样条、MARS 和梯度提升模型各自能用多少。

结果显示开发样本能支持多少变量、分箱、结点或模型项。可据此评估计划中的模型需要多少坏样本,以及需要观察多少个月的结果。

常见问题

开发信用评分卡需要多少坏样本?

所需数量取决于评分卡的自由度、坏账率和预期 Gini。本工具按两项样本量标准中要求较高的一项计算所需坏样本数。

300 个坏样本够开发信用模型吗?

这取决于 Gini 和模型类型。相同数量的坏样本在不同 Gini 下支持的自由度不同,灵活模型所需的数据也多于逻辑回归。

评分卡可以包含多少个变量?

可用变量数取决于坏样本数和预期 Gini。分箱会占用自由度,因此每个变量的分箱数越多,可用变量数越少。

自由度和每变量事件数是什么意思?

自由度表示在样本量预算内模型可使用的参数数量。每变量事件数则是坏样本数与所用变量数的比值,也包括筛选前纳入评估的变量。

梯度提升需要额外多少数据?

本页按逻辑回归所需数据量的十倍估算梯度提升和随机森林所需的数据量。这个估算依据一项模拟研究,研究未包含梯度提升。