用另类数据做出更好的决策

“垃圾进,垃圾出。说得更贴切些:荒谬之树由错误浇灌,枝头悬着灾难的南瓜。”

《The Gone-Away World》里的一句话,也适用于决策。

改善决策

决策过程中使用的数据是否真实、完整,决定了决策质量,也会影响决策结果。数据来源分为 2 类:一手数据和二手数据。

一手数据来自客户或用户在数据流中填写的信息和回答的问题。二手数据则来自替代数据供应商和数据经纪商。如果向客户收集的数据较少,就需要从二手数据来源或数据经纪商处收集更多数据,或补充现有数据。

用于数据补充的信息包括电话号码、电子邮件地址和实际地址等传统个人标识信息,也包括设备信息、浏览器数据和 IP 地址等技术数据。

 

辅助登录式数据采集

数据经纪商会通过 API 请求或“辅助登录式数据采集”等方式获取数据。API 请求的流程很直接:发送请求,再从响应中接收数据。辅助登录式数据采集则会带来更多数据质量和完整性方面的问题。

辅助登录式数据采集的方式多种多样,从开放银行 API 标准到账户数据抓取都有。账户数据抓取通常发生在用户向某个网站提供登录凭证后。数据供应商会在后台登录账户并抓取数据,经过清理后,再发送给用户提供凭证的企业。有些网站会阻止抓取,这种情况下就无法采集数据。

一个人拿着长柄工具在迷宫中摸索,表现辅助登录式数据采集的复杂性

 

将这些审核规则纳入决策流

制定信贷、反欺诈或催收规则,并用于实际决策。

替代数据来源的难点

替代数据的采集和处理方式可能导致数据不完整。数据质量可能存疑,完整性也可能不足以支撑使用。有时,整个服务都会无法使用,例如被抓取的网站阻止了数据采集。

传统上,替代数据用于营销中的客户细分和客户画像,也用于训练预测型信用评分模型、补充用户画像和核验用户身份。它还可以减少欺诈和数据滥用。

替代数据来源主要有 2 个难点:合法性和服务中断。信息归客户所有,但被抓取的平台往往反对这种做法。它们会主动阻止数据抓取,有时还会将其称为数据“盗窃”。

另一个难点是服务中断,可能引发“服务不可用”等技术错误。即使响应看起来成功,返回的数据也可能不完整:有些值缺失,部分数据无法获取。响应时间有时也会超过业务流程允许的范围,导致无法成功收集所需数据。

使用替代数据时,可以考虑以下做法和控制措施:

  • 预留数据异常的处理方案。
  • 设计决策流,使数据缺失时仍能执行。
  • 使用多个数据来源时,并行调用以缩短执行时间。
  • 根据业务判断,缓存那些在确定的时段内不会发生变化的数据。有时可以向数据来源方询问数据更新频率。
  • 训练预测模型、对变量分类时,应区分“无响应”“无数据”和“空值”。它们的业务含义不同,预测能力也可能不同。若把它们合并为“空值”,可能会丢失有用的预测信号。

使用替代数据来源,不一定会损害决策过程的质量或决策结果。采取适当的控制措施,可以避免“垃圾进,垃圾出”的情况。

常见问题

授信决策该使用 API,还是辅助登录式数据采集?

如果供应商的 API 能提供所需字段,且法务和采购团队已审查相关条款,优先使用供应商 API。辅助登录抓取的运营风险较高,因为网站可能阻止访问,返回的数据也可能不完整。只有在采集方式、客户授权和凭证处理都符合要求,且已有备用方案时,才考虑使用。两种方式都无法保证数据完整或适用。

两个替代数据来源的数据不一致时,决策流该如何处理?

发布前,应根据来源的权威性、时效性和覆盖范围,为每个字段设定来源优先级。如果数值差异超出设定的容许范围,应记录冲突,并按明确的策略处理,例如采用权威性更高的来源,或将重要案件交由人工复核。不同来源的数据如果衡量的内容不同,不要直接取平均值,也不要让响应先后顺序决定采用哪个值。

将这些审核规则纳入决策流

制定信贷、反欺诈或催收规则,并用于实际决策。