追踪模型与决策
从外部看,自动决策似乎很简单:请求进入系统,系统返回决策结果。
在生产环境中,决策系统会先评估数百项条件和规则,并处理数据转换,之后才返回结果。没有适当的决策轨迹,就没人能回答一个基本问题:
系统为什么会得出这个决策?
银行、金融科技公司和保险公司每天都会面对这个问题。监管机构会问,风控团队会问,客户也会问。
要回答这个问题,需要记录整个决策流中的决策轨迹。
本文介绍实际工作中的追踪是什么,以及它如何应用于自动决策逻辑的不同环节。
决策轨迹记录什么
决策轨迹记录决策在系统中经过的完整路径。
记录内容包括:
- 评估时使用的输入数据
- 评估过的规则及其结果
- 中间计算结果
- 外部 API 的响应
- 最终决策结果
每个环节都会进入审计记录。
有了完整的决策轨迹,团队几个月后仍能还原一项决策,并准确查看当时逻辑的执行情况。
在受监管行业,这项工作不可省略。GDPR 和 DORA 等法规要求,对影响客户的自动决策提供解释。
第 1 阶段:评估输入数据
自动决策从输入数据开始。
输入数据例如:
- 贷款申请资料
- 银行账户交易历史
- 身份核验结果
- 征信机构返回的数据
- 内部风险评分
运行业务规则前,系统会检查数据质量和结构。
常见检查包括:
- 字段缺失
- 格式无效
- 数值不一致
- 数据过期
决策轨迹应记录:
- 收到的原始输入
- 执行过的数据转换
- 校验结果
输入:月收入 = 4,200
来源:申请表
校验:通过
转换:转为整数
没有这部分记录,团队就无法判断决策出错是因为输入数据有问题,还是规则逻辑有问题。
第 2 阶段:执行决策逻辑
输入数据通过校验后,系统开始执行决策逻辑。
决策逻辑通常包括:
- 决策树
- 决策表
- 规则集
- 条件逻辑
- 评分计算
审批逻辑中可能会有这类规则:
如果 信用评分 < 580
则 拒绝申请
如果 债务收入比 > 45%
则 转人工审核
决策轨迹记录:
- 评估过的每条规则
- 规则的评估结果
- 执行顺序
规则:信用评分检查
条件:信用评分 < 580
结果:不成立
规则:债务收入比检查
条件:债务收入比 > 45%
结果:成立
结果:人工审核
这份决策轨迹会准确说明决策是如何得出的。
第 3 阶段:外部数据和 API 编排
现代决策流很少只依赖内部数据。
决策流通常会调用外部服务,例如:
- 征信机构
- 欺诈检测系统
- 银行账户聚合 API
- 身份核验服务商
每次调用都会影响决策流。
调用顺序示例:
- 获取银行交易历史
- 计算收入稳定性
- 运行欺诈检测
- 更新风险评分
完整的决策轨迹应记录:
- 调用的 API 接口
- 请求参数
- 响应数据
- 评估结果
API 调用:交易分析服务
分析交易笔数:540
检测到的月收入:4,180
收入稳定性评分:0.87
如果外部服务故障或返回意外数据,决策轨迹会显示故障发生的具体位置。
第 4 阶段:衍生指标和模型输出
许多决策系统会先计算衍生指标,再作出最终决策。
例如:
- 债务收入比
- 交易波动情况
- 企业账户收入趋势
- 欺诈风险评分
- 财务承受能力评分
计算这些指标时,通常会组合多项输入。
债务收入比
= 每月各项应付款总额 / 经核实的收入
= 1,950 / 4,180
= 46.6%
决策轨迹应包括:
- 使用的公式
- 中间值
- 最终指标结果
风控团队据此可以核对计算结果是否符合预期。
第 5 阶段:最终决策和结果
评估规则、数据和衍生指标后,系统会返回决策结果。
常见结果包括:
- approve
- reject
- manual review
- request additional information
决策轨迹记录:
- 最终决策
- 触发决策的规则或条件
- 使用的规则集版本
决策:manual_review
触发规则:债务收入比检查
规则集版本:v3.14
时间戳:2026-03-09T10:32:14
版本记录很重要。决策逻辑会随时间变化,决策轨迹必须关联当时生效的准确规则版本。
第 6 阶段:决策后的分析
决策作出后,追踪工作仍会继续。
机构会分析决策轨迹,以改进业务表现和风险模型。
决策分布
例如,可以分析这些问题:
- 有多少比例的申请进入人工审核?
- 哪些规则拒绝的申请最多?
规则效果
团队会分析哪些规则最常触发,以及触发后是否产生了正确结果。
规则:收入不稳定标记
触发比例:22% 的案件
人工审核结果:81% 拒绝
模型监控
如果决策逻辑使用模型输出,决策轨迹有助于发现模型漂移。
可关注的信号包括:
- 风险评分分布发生变化
- 欺诈标记异常增加
- 通过率突然上升
缺少决策轨迹数据时,很难判断这些变化的原因。
为什么要记录决策轨迹
许多系统能给出决策结果,能解释结果的却不多。
记录决策轨迹能为日常运营带来三项实际价值。
1. 应对审计要求
监管机构经常要求提供证据,证明决策遵循了书面规则。决策轨迹可以提供这类记录。
2. 缩短问题排查时间
决策结果看起来不对时,团队可以查看决策轨迹,确认触发了哪条规则、哪些数据促成了这一结果。
3. 谨慎调整规则
通过决策轨迹历史,团队可以比较规则调整前后的决策结果。
确定性决策与黑箱模型
许多机构会在决策流中使用机器学习模型。这些模型往往像黑箱一样,难以解释。
确定性的决策逻辑能解释最终决策。模型可以提供信号,最终结果则由规则决定。
如果 欺诈模型评分 > 0.82
且 交易频率 > 阈值
则 拒绝支付
模型产生信号,决策逻辑对信号作出判断,决策轨迹记录这两个环节。
决策系统的运营要求
自动决策要在生产环境中运行,需要具备四项特性:
- 结果具有确定性
- 记录决策轨迹
- 能够解释决策
- 管理版本
缺少这些特性,自动决策就难以获得信任。
总结
自动化提高了决策量。如今,银行和金融科技公司每月会运行数百万次自动评估。
缺少适当的决策轨迹,这些决策就会变得难以看清。
记录决策轨迹后,团队可以还原任一决策的完整执行路径,并在几个月后解释当时的结果。
这就是自动决策与可供审计的决策系统之间的区别。
常见问题
外部数据服务商故障或返回意外响应时,应记录哪些内容?
在您控制的调用记录中,记录服务商、请求时间、响应状态,以及可获取的响应版本或 Schema 版本。在决策逻辑中设定备用处理方式,例如要求补充信息,或将申请转交人工审核。缺失值不得默认按零处理,也不要沿用过期数据,因为这两种做法都可能改变决策结果。
如何判断决策变化是由异常模型评分还是策略规则引起的?
针对受影响的决策,比较模型输出、策略读取的值、规则结果和策略版本。使用相同输入重放同一版本,判断结果变化来自模型输出还是决策逻辑。将评分作为输入,任何使用该评分的规则发生变更,都应由策略负责人审核并批准。
发布策略变更后应检查哪些决策率?
比较发布前后的审批通过率、拒绝率和人工审核率,再按产品或申请人群体拆分,查看重要变化。先排查临近阈值的变化。修改策略前,检查输入数据质量和外部服务提供方的响应。小样本可能导致比率波动较大,应结合申请量设定复核阈值,关注持续变化,不要对每次波动都作出调整。