逾期治愈率在第 2 桶下降,贷款由哪个版本审批?

催收负责人带来一个指标:过去两个月,逾期第 2 桶的治愈率下降了。这段时间贷款规模也在增长,于是有人提出,最近是不是批准了风险更高的客户。

有这种可能。这个指标至少有八种变动原因。放贷业务需要逐一核查,而不是只看符合原有判断的那个:

  • 决策逻辑发生了变化,批准这些贷款时采用的标准不同
  • 催收团队人手不足,或有经验的催收人员离职
  • 外呼话术变了,同一批借款人因此得到不同处理
  • 外呼系统变了,接通本人率也随之下降
  • 新增营销渠道带来了不同类型的借款人
  • 定价调整,影响了接受贷款方案的人群
  • 宏观环境发生变化
  • 指标定义变了,本月报表中的“治愈”含义与之前不同

其中大多数原因需要先做分析,才能得出结论。接通率需要通过对照分析来核查,催收人员经验的影响需要按队列分析,宏观环境则存在不同判断。

有一个原因不需要这样做。决策逻辑有没有变化,可以明确回答是或否,现有日志里已经有能确认答案的记录。先查这一项,不是因为策略最可能是原因,而是因为只有这一项能在无需设计分析的情况下先排除。

本文讨论如何妥善排除这一项原因,关键是要把问题问得比“有没有改动”更具体:现在处于 2 桶的贷款,当时究竟由哪套决策逻辑批准?这套逻辑和当前运行的逻辑是否不同?

为什么只看资产组合指标找不到答案

巴塞尔委员会关于预期信用损失的指引明确指出了这种风险:风险敞口“不得以某种方式分组,以致部分单项风险敞口信用风险的上升被整体资产组合信用风险的变化掩盖”(BCBS d350,A33)。资产组合层面的治愈率正是这类汇总指标。多种原因会同时影响它,而且按一套策略批准的贷款会与按另一套策略批准的贷款合并计算。

同一份文件还将放款批次列为分组维度,其他维度包括逾期状态、贷款价值比、产品类型和地区,并要求记录分组方法并获得批准。按放款时间划分批次是常见做法,因为放款日期可以反映当时生效的授信策略。

这只是一个替代指标。同一个上午获批的两笔申请,如果中间发布了新版本,审批依据可能不同。按放款月份划分的批次也可能包含多个版本。准确的问题不是“这笔贷款何时入账”,而是“当时是哪套规则批准的”。

监管指引要求保留的记录

EBA 关于贷款发放与监测的指引对记录内容有明确要求:

数据基础设施应足够详细、粒度充分,能够记录每笔贷款的具体信息,尤其是贷款发放时实际采用的授信标准。

EBA/GL/2020/06,第 61 段

注意这句话的重点:贷款发放时实际采用的标准。不是当前的策略文件,也不是对策略原本意图的描述,而是实际运行过的标准。

许多放贷机构会保存策略文件的版本历史和模型部署变更日志,再手动还原某个日期实际生效的策略组合。还原过程往往会影响核查结论的可信度。

发布版本是什么

在 Decisimo 中,发布决策流时会生成一个发布版本,其中包含决策流作出决策所需内容的完整编译快照。它不是指向当前规则集的链接。构建过程会遍历决策流,并将其中每个对象的完整定义写入快照:

  • 规则集,包括规则、条件、动作、映射和聚合
  • 决策表,逐个单元格记录,包括运算符和结果向量
  • 评分卡,包括预测变量、权重,以及用于划分各预测变量的分箱
  • 决策树,逐个节点记录
  • 函数、模型和外部数据源,包括方法、请求头和 OAuth 配置
  • 子决策流,递归纳入

执行顺序也会统一写入快照。分支和评分卡分箱都会在编译时排序,因为“命中第一条即生效”的顺序本身就是决策逻辑。同一组规则,顺序不同,逻辑也不同。

运行时,决策引擎只执行已保存的内容,不执行其他内容。作出决策时,它不会读取设计阶段的表格。正因如此,保留历史版本才有意义:今天修改评分卡,不会改变某项决策去年3月的结果,因为去年3月的决策运行时使用的是一份至今仍保留的快照。

决策记录如何对应到决策逻辑

每次执行都会在您自己的日志数据库中写入一行记录,其中包含生成该记录的部署标识。字段名是 engine_request_id,存放的是 wf_release_deployment_id。同一行还保存完整请求和响应,字段名分别是 input_json 和 output_json。

之后通过关联查询找到对应记录:

log row.engine_request_id
   → wf_release_deployment.wf_release_deployment_id
      → .content              the exact logic that executed
      → .workflow_release_id
         → workflow_release   .name, .notes, .user_id, .dtime_inserted

这样,对于任何能够定位的决策,都能查到作出该决策的逻辑、对应的发布版本、发布人和发布时间。

排查时可以按这个方法操作:筛出逾期第 2 桶的贷款,通过 engine_request_id 关联到最初的决策记录,再按发布版本分组。如果这些贷款集中在最近一次表现正常的队列之后发布的版本上,就比较这两个版本,查看改动内容。

如果这些贷款没有集中在某个版本上,这也是一个有用的结论:进入逾期第 2 桶的贷款,与上季度正常治愈的队列由同一套逻辑批准,变化发生在决策之后。接下来可以查催收人手、处理路径、接通率或获客渠道构成。这些判断都能先用现有记录得出,无需马上设计分析。明确的否定结论,比存在争议的肯定结论更有价值。

还有两点需要注意。决策响应正文不会返回发布版本标识,因此需要在日志中通过 request_id 关联。发布版本通过 ID 和自动生成的名称识别,名称带有发布时间,例如 credit_scoring_2608201430,而不是语义化版本号。

将这些审核规则纳入决策流

制定信贷、反欺诈或催收规则,并用于实际决策。

比较两个发布版本

拿到两个发布版本 ID 后,就可以比较具体改动。比较结果会逐项展示决策流,并标出新增、删除、修改或未变的内容,同时展开有改动的部分。

对于评分卡,展开的内容足以支持这类排查。系统按预测变量的标识匹配,而不是按位置匹配,因此重命名的预测变量不会被误报为删除一项、再新增一项。每个预测变量都会显示修改前后的权重,每个分箱都会显示修改前后的运算符和边界。

这样可以区分两类在资产组合报表中看起来相似、实际影响却不同的改动:

  • 权重发生变化。评分仍针对同一批申请人,只是某个预测变量对总分的影响发生了变化。
  • 分箱发生变化。分箱边界移动,原本得分方式相同的一部分申请人现在会得到不同结果。人群划分方式变了。

调整权重通常会让整体评分分布略有变化。调整分群通常会大幅改变某个分段,导致该客群的表现偏离相邻客群,几个月后就会体现为治愈率持续波动。

实验在决策流中的位置

在 Decisimo 中,冠军/挑战者测试通过决策流中的分支实现:按随机值拆分申请,挑战者逻辑和冠军逻辑分别放在两个分支上。

这一位置关系到前面的核查。拆分逻辑是决策流中的一个环节,不是放在流之外的配置,因此会包含在发布版本快照中。比较版本时,可以看到挑战者分支何时出现、按什么边界拆分,以及分支使用的评分卡。如果冠军/挑战者测试放在独立配置层,决策流的版本差异就可能显示没有变化,但实际已有十分之一的申请由另一套逻辑评分。

有一项限制需要提前考虑,默认设置无法满足这一需求。某笔申请走了冠军组还是挑战者组,只有事先做好记录才能查到。可以由调用方在请求载荷中传入分组值,这个值会写入日志的 input_json,之后可按该值分组分析。也可以由调用方设置 record_steps 标记,返回实际执行的步骤清单。这两种方式默认都未启用。如果正在开展实验,打算几个月后按客群分析结果,请把分组值放入请求载荷。

这份记录无法说明什么

这份记录用于还原决策情况,并非防篡改账本。版本和部署都可以删除,删除时外键会被设为 null,因此删除部署后,日志中的历史引用会失去指向。如果记录需要保留多年,不要删除历史决策所引用的部署。

发布版本还会固定规则集、决策表、函数、评分卡和决策树所编译的具体实体版本,但不包括模型、外部数据源、OCR 服务或子决策流。对于这些内容,快照中包含实际执行的内嵌定义,但没有指向其设计时版本的链接。

版本检查只会发出警告,不会阻止发布。有 lint 警告的版本仍可发布。审批流程是在版本创建后关联,不会阻止版本创建。

接下来怎么做

以下四项按预期收益排序。

用请求标识关联决策日志和贷款台账,并在数据仓库中保留 engine_request_id。很多团队会漏掉这一步,没有它,后续分析就无法开展。只需增加一列。

先按版本分析表现恶化情况,再按月份分析。放款批次只是策略的替代指标,版本标识对应实际策略。两者结论不一致时,应以版本为准。

先运行策略检查,并记下结果,无论答案是什么。列表中的这一项会得出是或否,两种结果都有用:一个能告诉您该回滚什么,另一个能让催收和营销团队继续沟通,不必再为疑虑所困。

将冠军/挑战者测试的分组值放入请求数据。事后无法拆分结果的测试,只得到一个数字,算不上结论。

这些工作不需要数据科学团队。只要作出决策时使用的内容仍然保留原样,并且决策记录能指向这份内容即可。

常见问题

如何确认逾期第 2 桶的贷款由哪个版本审批?

用请求标识将每笔贷款关联到决策日志中对应的决策,再按版本对贷款分组。在数据仓库中保留这个标识,之后分析贷款组合时才能继续关联。如果缺少该标识,就无法可靠地判断这些决策由哪个版本作出,放款日期只能作为替代指标。

分析治愈率下降时,应该按放款批次还是版本分组?

要判断决策逻辑是否发生变化,应优先按版本分析,同时保留放款批次作为交叉核对。同一放款批次可能包含由不同版本批准的贷款,因此策略变化可能被掩盖。如果不同版本的治愈率有差异,而不同放款批次之间没有差异,应先调查各版本,再判断整体客群的情况。

两个版本的治愈率不同时,应该检查哪些内容?

对比两个版本,检查决策逻辑中发生变化的部分。对于评分卡,检查预测因子的权重和分箱边界。权重变化会改变某个预测因子对评分的影响,边界变化则会改变申请人被分到哪个区间。也要检查其他发生变化的决策逻辑,因为原因可能不止评分卡一项。

启动冠军/挑战者测试前,应该记录什么?

将分组值放入请求数据,并保留在决策日志中,这样之后就能确认每个申请走了哪个分支。也可以从实际执行的任务列表中查到分组信息,但默认不会记录这份列表。如果两处记录都没有,虽然能得到测试结果,却无法可靠地判断结果对应哪个分支。

如何保留历史决策与对应版本之间的关联?

只要还需要调查关联到这些版本的决策,就应保留相应版本和部署。删除部署后,决策日志中可能不再有指向该版本的有效关联,即使日志记录仍然存在。应根据贷款记录可能需要接受审查的期限制定保留期限,并将版本保留纳入其中。

将这些审核规则纳入决策流

制定信贷、反欺诈或催收规则,并用于实际决策。