信用评分模型文档编写指南

对金融公司来说,信用评分模型是评估客户信用状况的重要工具。要让模型保持准确、可靠,需要配套清晰完整的文档。

从管理角度看,模型文档应写清什么

  • 说明模型如何运行,让相关人员看得懂。
  • 清楚说明模型的表现和局限。
  • 记录模型的假设、方法和结果,包括可能的偏差或误差来源。

记录样本选择过程

首先要记录训练和验证所用的抽样方法,以及是否进行过时间外验证。这些信息有助于判断模型表现,也能说明样本是否代表模型实际应用的人群。

构建预测模型时常用的抽样方法

  1. 简单随机抽样:总体中的每个成员都有相同的机会被选中。需要获得有代表性的样本时,常用这种方法。
  2. 分层抽样:按特定特征将总体划分为若干子群,再从每个子群中随机抽取样本。需要让样本体现这些特征时,这种方法很有用。
  3. 整群抽样:将总体划分为若干群,再随机抽取部分群,并纳入这些群中的所有成员。逐一列出总体成员不现实的情况下,常用这种方法。
  4. 系统抽样:从一个随机起点开始,按固定间隔抽取总体成员。常用这种方法来获得分布均匀的样本。
  5. 便利抽样:根据成员是否容易获取或接触来选择样本。这种方法能加快数据收集,但样本不是随机抽取时,也可能引入偏差。

评估预测模型的稳定性和表现

接下来要检查模型稳定性,既要看整体预测能力,也要看模型表现是否每月一致。ROC 曲线等方法可以帮助发现潜在问题。还应检查模型所用特征的信息值是否稳定,确认这些特征能持续提供一致的结果。

评估预测模型表现的指标

  1. 准确率:模型预测正确的比例,是评估预测表现的常用指标。
  2. 精确率:所有正类预测中,实际正确的比例。常与准确率一起使用,以便更全面地了解模型表现。
  3. 召回率:所有实际正类中,被模型正确预测的比例。当识别出所有正类很重要时,即使误报增加,这项指标仍有参考价值。
  4. F1 值:精确率和召回率的加权平均值,常用作综合指标。
  5. AUC-ROC:衡量模型区分正类和负类的能力。计算时,在不同阈值下绘制真正率和假正率,常用于二分类模型。
  6. 混淆矩阵:列出真正类、真负类、假正类和假负类预测的数量,帮助发现模型表现不佳的情况。
  7. 对数损失:衡量模型预测结果概率的表现,常用于输出概率的模型,例如二分类模型。

将这些审核规则纳入决策流

制定信贷、反欺诈或催收规则,并用于实际决策。

季节性因素的影响

还应记录可能影响模型样本选择的季节性因素。这些因素可能明显改变模型表现,因此需要在文档中说明并纳入考虑。

可能影响预测模型的季节性因素示例

  1. 某些产品或服务的需求随季节变化,例如夏季旅行保险需求更高
  2. 经济状况随季节变化,例如冬季失业率更高
  3. 天气模式随季节变化,例如某些时段发生自然灾害的可能性更高
  4. 消费者行为随季节变化,例如节日期间消费支出更高

评估并记录模型偏差

还应检查并记录模型可能存在的偏差。如果新模型要替代现有模型,可以用交叉表比较评分等级的变化,以评估模型表现和效果。

预测模型中需要考虑的五类潜在偏差

  1. 抽样偏差:用于开发模型的样本不能代表模型实际应用的人群。
  2. 选择偏差:开发模型时,样本并非随机选取,可能受到数据是否可用或建模人员偏好等因素影响。
  3. 确认偏差:建模人员只关注支持现有观点或假设的数据,忽略与之相矛盾的数据。
  4. 过拟合:模型过于复杂,并且过度贴合现有数据进行训练,导致泛化能力较弱。
  5. 欠拟合:模型过于简单,训练数据不足,导致预测能力较弱。

结语

要让信用评分模型给出一致、可靠的结果,清晰的文档很重要。记录模型开发和验证的关键内容,能让模型更容易接受评估、得到解释,也更容易为其辩护。

常见问题

开发和验证信用评分模型时,数据应如何划分?

使用较早时期的数据开发模型,并留出最近一段还款结果已充分成熟的时期进行时间外验证。来自同一时期的申请应放在一起,并检查验证期是否涵盖相关季节或经济状况。随机划分可用于模型开发,但不能替代对后续申请的测试,因为随机划分可能掩盖随时间发生的变化。

定期监控信用评分时应纳入哪些指标?

应在授信策略实际采用的评分阈值上,跟踪区分度、校准度和实际结果。AUC 可以反映模型对申请人的排序能力,按分数段统计的实际违约率则能说明预测风险是否符合实际情况。还应记录各阈值下的审批率,以及优质和不良结果的数量。只看准确率或 F1 值,可能看不出误批和误拒的成本。

如何选择并记录信用评分阈值?

根据风险偏好和产品经济性设定阈值,再比较不同合理阈值下的预期损失和审批量。记录结果定义、观察期、假设,以及选择该阈值时考虑的取舍。还要检查阈值附近的模型表现是否变化,因为分数上的细微差异可能导致策略突然改变,而证据未必支持这种调整。

多久应复核一次信用评分模型的表现和文档?

可以先从每月复核监控结果开始,之后至少每年进行一次更全面的验证。如果业务组合、数据、产品或模型发生重大变化,应提前验证。把还款结果的成熟时间考虑在内,再判断模型表现是否恶化。团队有时会把申请人构成变化误认为模型衰减,因此要同时比较人群变化和模型表现变化。

将这些审核规则纳入决策流

制定信贷、反欺诈或催收规则,并用于实际决策。