决策工程师:职责、技能与自动化决策

评分模型可能纳入一个本不该使用的属性,只因为它与结果高度相关,看起来也很漂亮。但这个属性背后没有可调整的因素。情况一变,它就可能失效,而且您不知道什么时候会发生。

决策工程师要先看结果,再了解具体情境,找出情境中哪些因素会影响结果。之后才看数据,并判断能否通过情境认知、情境理解和情境逻辑实现自动决策。前提是先弄清楚实际情境。

决策工程师和数据科学家有什么区别?

优秀的决策工程师会先了解情境,再理解情境,最后梳理情境逻辑。他们会追问数据从哪里来、在业务中代表什么,以及它能预测哪些未来行为。

数据科学家可以根据采集到的数据建立统计表现不错的模型,但模型未必能说明数据的来源,也未必能解释数据在业务中的含义。在信贷业务中,有人可能会说模型能预测哪些人表现好或表现差。仔细检查数据的采集方式和属性含义后,可能会发现这些属性根本不足以支持这种预测。决策工程师会先理清这些关系,再决定是否采用模型。

三个层次分别说明数据的来源、业务含义,以及它能预测哪些未来行为。
三个层次分别追问数据从哪里来、代表什么,以及能预测哪些未来行为。

决策工程师如何与产品团队合作?

优秀的决策工程师经常和整个产品团队沟通,一起梳理情境认知、情境理解和情境逻辑。他们会了解团队如何采集数据、数据代表什么,以及客户的实际情况。遇到边缘情况时,也会考虑这类情况会呈现出怎样的数据。

他们会测试决策模型,将结果与预期对照,检验对情境的判断是否成立。必要时再调整和完善模型。

决策工程师如何连接审批和催收?

他们可能会去找催收团队,了解那些联系不上的客户有哪些共同特征。找到客户后,哪些数据能改善催收效果?

这些问题可能会把他们带回审批环节。一群客户在评分中表现不错,催收时却可能根本联系不上。决策工程师会寻找申请时就能获取的数据,争取提前识别这群客户。

例如,申请资料中可能出现一个刚启用的新手机号。这个号码可能没有关联其他人,也没有关联 WhatsApp 或 Telegram。决策工程师会分析这些信息与申请资料之间的关系,以及它们如何影响后续催收结果。

这种思路会把整个流程串起来。决策工程师沿着事件的因果关系分析,设计决策,让业务结果达到预期。这也是传统数据分析师与决策工程师的区别。

流程从申请、放款开始,接着催收时找不到客户。决策工程师向催收团队了解情况,再回到申请环节检查手机号:是否为新号码、是否没有关联任何人,以及号码是否没有关联 WhatsApp 或 Telegram
决策工程师把催收中发现的问题带回申请环节,在放款前寻找这类客户,例如检查是否使用了新手机号。

放贷机构只靠数据科学或 AI 会有什么问题?

放贷机构可以分析系统中已有的数据,也可以使用现有的技术能力,还可以把数据交给 LLM 来生成模型。但模型即使在技术上表现不错,也可能与现实情况毫无关系。

要找到数据与现实的联系,需要有人持续观察产品、反复追问、和产品团队沟通,并思考如何采集更多数据。这项工作需要了解实际情境,也要推演如果某件事属实,数据会呈现什么样子。

如果希望改变某个结果,就应该找到能影响它的因素。接下来要找出哪些数据能反映这个因素,并确定如何采集。如果没有直接数据,代理数据也可以作为来源,只要它与实际业务数据有合理的相关性。

将这些审核规则纳入决策流

制定信贷、反欺诈或催收规则,并用于实际决策。

决策工程师如何判断一个人是否真的住在某个地址?

可以询问某人是否住在某个地址,对方也可能提供电费账单作为地址证明。这只能说明他与该地址有关联,不能证明他本人确实住在那里。

可以查看与该地址相关的活动。有没有外卖送到那里?有没有包裹送到那里?这些活动可能表明,有人在该地址停留的时间足够长,足以在那里接收外卖或包裹。

这些属于判断某人是否居住在某地的代理数据。它们可能不是提供给银行或雇主的官方资料,但能反映现实中的情况。决策工程师会先判断哪些数据能说明某人确实住在这个地址,再考虑如何采集。

电费账单提供地址信息,外卖和包裹配送记录则反映该地址的活动。
外卖和包裹配送记录可以作为判断某人是否住在该地址的代理数据。

技术变化后,决策工程师需要哪些技能?

LLM、Claude 和 OpenAI ChatGPT 能大幅加快数据分析。但仍然需要有人了解产品、深入调查产品,并判断数据在现实中意味着什么。这部分思考仍然最重要。

改进来自持续探索、提出问题并理解答案。这需要系统思维,也需要和他人沟通的能力。技术排在这些工作之后。

过去,决策工程师需要掌握统计技能,会用 R,后来还要会 Python,并像数据科学家一样整理数据。现在不再需要这些硬技能。重要的是清楚判断情境中的影响因素、它们如何改变最终结果,以及决策如何改善结果。核心工作是深入审视假设和推断,检验它们是否符合现实,并设计有效的测试。

  • 追问产品和数据:使用技术前,先深入了解产品,并弄清数据在现实中的含义。
  • 系统思维:理解影响因素如何改变结果,以及决策如何结合具体情境改善结果。
  • 清晰思考:同时分析相互冲突的假设,不轻易认定某一种说法就是对的。
  • 跨团队沟通:清楚解释技术概念,让非技术岗位的相关人员听懂并采取行动。
  • 情境认知:了解决策在哪些环节运行、影响哪些人,以及哪些业务背景会影响模型的适用性。
  • 解决问题:与不同团队合作,把业务问题转化为明确的决策逻辑。
  • 介绍决策模型:清楚说明模型、假设和结果,帮助团队正确实施。
  • AI 和机器学习:理解核心原理,知道何时将其用于决策模型。

招聘决策工程师时要看什么?

优秀的决策工程师会不断用现实情况检验模型。顾问、产品经理或市场人员可能会把某个方案包装得很好看,让它显得成立。决策工程师则会继续追问:如果判断错了,情况会是什么样?如果判断正确,又会是什么样?

这在评分模型中很重要。有些属性相关性很高,看起来很有用,但并不对应能解释信用行为或还款行为的可操作因素。条件变化后,这些属性可能不再有效,但无法预知这种情况何时发生。决策工程师会寻找相关性背后的作用因素,并检验这种关联是否成立。

优秀的统计学家可能会说自己很有把握,因为统计结果显示模型有效。决策工程师则能说明哪些数据与影响因素有关、影响因素变化后会发生什么,以及数据如何反映实际情况。

面试时如何测试决策工程师候选人?

给候选人一道题,数据中包含一组很强、很清晰的相关性,但不要告诉他们这组相关性是虚假的。问题要出在数据的生成方式上。比如数据泄漏:结果发生后才填写的“曾联系催收”标记,却能完美预测违约。也可能是流程留下的偏差:某个中介凌晨 2 点批量提交申请,导致夜间提交的申请违约率更高。

只想给出漂亮答案的人,会顺着这组明显的相关性作答。优秀的决策工程师会指出,他们不明白这组相关性为什么这么强,因为它在现实中说不通。面试官还应加入一组真实且有合理机制的相关性,看看候选人能否区分两者,而不是对所有相关性都心存怀疑。

有些人只想证明自己完成了任务,即使数据中并没有真实的相关性。面试的目的,是让候选人说明他们如何分析问题,以及能否找到数据背后的影响因素。

夜间提交的申请违约率更高。一位候选人展示这一明显规律,另一位询问字段是如何生成的。原因是某个渠道商会在夜间批量提交申请。
这项测试能看出候选人是只展示明显规律,还是会追问数据是如何产生的。

关于决策工程师的常见问题

如何成为决策工程师?

先学会把假设和推断与现实联系起来,再通过测试检验这些联系。您需要清楚判断情境中的影响因素、它们如何改变结果,以及决策如何改善结果。

决策工程师需要会编程吗?

过去,决策工程师需要掌握统计技能,会用 R,后来还要会 Python,并像数据科学家一样整理数据。现在不再需要这些硬技能,因为技术工作应放在理解产品、数据和结果背后的影响因素之后。

决策工程师每天做什么?

决策工程师会和产品团队沟通,了解数据在现实中的含义,并深入分析边缘情况。他们会根据预期测试决策模型,按需调整模型,也会考虑如何采集更多数据。

什么样的人适合做决策工程师?

优秀的决策工程师会持续用现实情况检验模型,并追问模型出错时会是什么样。他们会寻找相关性背后的影响因素,检验这种联系是否成立,并清楚解释模型,让其他人据此采取行动。

将这些审核规则纳入决策流

制定信贷、反欺诈或催收规则,并用于实际决策。