Demonstrações de motores de decisão: comprar ou desenvolver

Na reunião em que as demonstrações são agendadas, um engenheiro diz que as regras de crédito se resumem a alguns ifs e que a TI poderia desenvolver o motor em um sprint. No mês que vem, os fornecedores vão apresentar seus sistemas, enquanto o engenheiro espera uma resposta a uma proposta que parece ter um escopo bem menor. Você precisa saber o que observar antes de começar a primeira apresentação de tela.

Veja quem pode alterar e publicar a política

Comece a demonstração do motor de decisão com uma alteração de limite. No exemplo da Decisimo, a equipe de risco altera a política, executa testes e uma análise de impacto e, em seguida, publica a mudança. Uma release pode exigir uma sequência de aprovações, e a implantação em um endpoint só acontece depois da aprovação.

Pergunte se um analista de risco pode alterar e publicar um limite sem depender de um desenvolvedor ou abrir um chamado. Pergunte também quais aprovações são necessárias para a release. O objetivo é entender quem pode alterar a política e como a instituição controla sua publicação.

Revise as mudanças antes de salvá-las

Peça para ver o diff antes de salvar e, depois, compare duas releases. O exemplo de leasing da Decisimo mostra linhas adicionadas e alteradas, incluindo uma mudança no valor da entrada.

Uma regra que retorna uma decisão é apenas parte da avaliação. A mudança também precisa ser revisada por alguém da equipe de crédito. Quando uma alteração de limite depende de um desenvolvedor e de código de crédito gerado, ninguém da equipe de crédito revisa o que foi produzido. O diff permite que a pessoa responsável veja o que mudou.

Reexecute a lógica proposta com decisões anteriores

Pergunte ao fornecedor se ele consegue reexecutar as decisões do último trimestre com a lógica proposta e listar quais delas mudam. A demonstração de champion e challenger da Decisimo apresenta os resultados da análise de impacto.

MedidaResultado da demonstração
Decisões reexecutadas1,001
De approve para decline30

Ao cruzar as decisões com os resultados observados, a demonstração também apresentou as taxas de maus pagadores de cada grupo de resultados. Assim, a equipe pode avaliar as decisões alteradas com base nos resultados observados, em vez de considerar apenas o número de decisões reexecutadas.

Explique uma decisão com base na versão registrada

Escolha uma decisão tomada oito meses atrás. Pergunte qual versão da política foi executada, quais dados de entrada foram usados e qual regra se aplicou. O histórico de commits registra mudanças no código. Para entender uma decisão específica, a instituição precisa saber qual versão, quais dados de entrada e qual regra foram usados.

No exemplo da Decisimo, cada decisão registra as revisões executadas e a origem dos dados de entrada, inclusive quando um valor não foi encontrado. A cópia da release preserva a lógica usada em decisões antigas, mesmo que a política seja alterada depois.

Leve essas verificações para um fluxo de decisão

Crie regras para crédito, fraude ou cobrança e aplique-as a decisões em produção.

Confira onde os resultados ficam e como a execução funciona

Pergunte onde os resultados são armazenados, como a lógica pode ser exportada e onde a execução pode ocorrer. No exemplo da Decisimo, os resultados podem ser gravados em uma tabela no Postgres ou Supabase da própria instituição, e a lógica pode ser exportada como arquivo Markdown. A execução pode ocorrer em endpoints regionais em tempo real ou em lote por FTP, S3 e GCS.

Se a instituição deixar de usar o fornecedor, os resultados continuarão no Postgres ou Supabase dela, e será possível exportar a lógica de decisão em um arquivo Markdown.

Compare os preços para o mesmo volume de decisões

Descubra quais decisões entram na cobrança e compare o preço do volume atual com o preço de três vezes esse volume. Os preços da Decisimo são calculados com base nas decisões executadas em produção. Cada registro de um lote conta como uma decisão, e o número de regras, fontes ou modelos usados não altera essa contagem.

MedidaVolumePreço
Plano mensal Standard50,000 incluídasA partir de €500
Decisões adicionaisCada decisão acima do volume incluído€0.01 cada
Plano Standard com 50,000 decisões por mês50,000 decisões€500
Plano Standard com 150,000 decisões por mês150,000 decisões€1,500

A comparação de preços só é útil quando as duas propostas usam a mesma definição de decisão. Confira o critério de cobrança, além do valor total.

Avalie a proposta interna com os mesmos critérios

Desenvolver o motor de regras é a parte barata. Peça à equipe de engenharia que mostre uma mudança de ponto de corte, do pedido à release, explique como um revisor de crédito analisa o diff e reproduza a mudança proposta sobre decisões passadas. Depois, peça que explique uma decisão antiga com base na versão registrada e nos dados de entrada. O trabalho continua depois que a primeira regra entra em operação: uma API de bureau pode mudar e um modelo pode precisar ser substituído. Por isso, pergunte como cada mudança é revisada e reproduzida. O mecanismo que avalia as regras é apenas uma parte da proposta.

Use os mesmos critérios em todas as demonstrações

Compare os fornecedores e a proposta interna com estes critérios.

  1. Peça ao fornecedor que um analista de risco altere um limite e publique a mudança sem depender de um desenvolvedor ou abrir um chamado. Pergunte quais aprovações são necessárias para a release.
  2. Peça para ver o diff antes de salvar e, depois, compare duas releases.
  3. Peça para reexecutar as decisões do último trimestre com a lógica proposta e listar quais delas mudam.
  4. Escolha uma decisão tomada oito meses atrás e pergunte qual versão a determinou, quais dados de entrada foram usados e qual regra se aplicou.
  5. Pergunte onde os resultados são armazenados, como a lógica pode ser exportada e onde a execução pode ocorrer.
  6. Confirme o que entra na cobrança e compare o volume atual com três vezes esse volume.
  7. Peça à equipe interna que demonstre o mesmo processo de alteração, revisão, reexecução e registro de decisões, inclusive o que acontece quando uma API de bureau muda ou um modelo é substituído.

Perguntas frequentes

O que avaliar em uma demonstração de motor de decisão?

Confira quem pode alterar e publicar um limite, se uma pessoa revisora consegue ver o diff antes de salvar, se a lógica proposta pode ser reexecutada, se uma decisão antiga pode ser explicada com base na versão usada, onde ficam os resultados e a lógica e como o preço muda com o volume. Peça ao fornecedor que demonstre cada critério.

A instituição deve desenvolver um motor de decisão ou contratar um fornecedor?

Desenvolver o motor de regras é a parte barata. O código de crédito gerado não passa pela revisão de alguém da equipe de crédito, e alguém ainda precisa mantê-lo quando uma API de bureau muda ou um modelo precisa ser substituído. Peça à equipe interna e aos fornecedores que demonstrem os mesmos requisitos.

Por que o histórico do Git não basta para explicar uma decisão de crédito?

O histórico do Git registra mudanças no código. Para explicar uma decisão específica, a instituição também precisa saber qual versão da política foi usada, quais dados de entrada foram considerados e qual regra se aplicou. Pergunte como o sistema registra essas informações para cada decisão.

Como comparar o preço de um motor de decisão quando o volume aumenta?

Pergunte o que entra na cobrança e compare o preço para o volume atual com o preço para três vezes esse volume. Use a mesma definição de decisão nas duas propostas e confira como são contados os registros processados em lote.

Leve essas verificações para um fluxo de decisão

Crie regras para crédito, fraude ou cobrança e aplique-as a decisões em produção.