Engenheiro de decisão: função, competências e impacto na tomada de decisão automatizada
Um modelo de score pode incluir uma variável que não deveria estar ali porque tem alta correlação e parece fazer sentido. Mas não há uma alavanca por trás dela. Quando algo muda, ela deixa de funcionar, e você não sabe quando isso vai acontecer.
O engenheiro de decisão estrutura a decisão olhando primeiro para o resultado, depois para a situação e, por fim, para as alavancas dessa situação que levam ao resultado. Só então busca os dados e verifica se é possível automatizar a decisão com base na consciência, na compreensão e na lógica situacionais. É preciso conhecer a situação.
Qual é a diferença entre um engenheiro de decisão e um cientista de dados?
Um bom engenheiro de decisão desenvolve a consciência situacional, depois a compreensão situacional e, por fim, a lógica situacional. Ele analisa de onde vêm os dados, o que representam para o negócio e o que podem prever sobre comportamentos futuros.
Um cientista de dados pode usar dados coletados para criar um modelo estatístico robusto. Mas o modelo pode não ter relação com a origem dos dados nem com o que eles representam para o negócio. Em crédito, alguém pode dizer que consegue prever quem será bom ou mau pagador. Ao analisar como os dados foram coletados e o que as variáveis representam, pode ficar claro que elas não permitem fazer essa previsão. O engenheiro de decisão estabelece essas conexões antes de confiar no modelo.
Como o engenheiro de decisão trabalha com a equipe de produto?
Um bom engenheiro de decisões costuma conversar com toda a equipe de produto. Trabalha com a equipe para aprimorar a percepção da situação, a compreensão do contexto e a lógica aplicada a cada situação. Pergunta como a equipe coleta os dados, o que eles representam e que perfil têm os clientes. Em casos atípicos, avalia como seriam os dados.
Para validar a consciência situacional, ele testa os modelos de decisão e compara os resultados com o que era esperado. Depois, ajusta e aprimora os modelos conforme necessário.
Como o engenheiro de decisão conecta a concessão de crédito à cobrança?
Ele pode conversar com a equipe de cobrança para entender os padrões entre os clientes que ela não consegue localizar. Também pergunta quais dados poderiam ajudar a cobrança quando a equipe consegue encontrar um cliente.
Essa análise pode levar o engenheiro de volta à concessão de crédito. Um grupo de clientes pode ter um bom score, mas ser impossível de localizar depois, na cobrança. O engenheiro de decisão procura dados disponíveis no momento da solicitação que permitiriam identificar esse grupo antes.
Por exemplo, a solicitação pode indicar um número de telefone recém-criado. Esse número pode não estar associado a mais ninguém. Também pode não ter vínculo com o WhatsApp nem com o Telegram. O engenheiro de decisão analisa como esses detalhes se relacionam com o resultado posterior da cobrança.
Essa forma de pensar conecta o processo inteiro. Ela acompanha a cadeia causal dos acontecimentos e orienta a decisão para que os resultados sejam alcançados da melhor forma. Essa é a diferença entre um analista de dados tradicional e um engenheiro de decisão.
O que pode dar errado quando a instituição de crédito conta apenas com ciência de dados ou IA?
Uma instituição de crédito pode analisar os dados que já tem nos sistemas e usar os recursos técnicos disponíveis. Também pode inserir os dados em um LLM e obter um modelo. Mesmo que o modelo seja tecnicamente capaz, ele pode não ter relação com a realidade.
Para encontrar essa relação, alguém precisa investigar, acompanhar de perto o produto, conversar com a equipe de produto e pensar em como coletar mais dados. Esse trabalho envolve desenvolver a consciência situacional e imaginar como seriam os dados se algo fosse verdade.
Se um resultado deve mudar, precisa haver uma alavanca. O trabalho consiste em encontrar os dados que apontam para ela e definir como coletá-los. Se não houver dados primários, dados proxy podem oferecer uma fonte com correlação razoável com os dados observados na prática.
Como o engenheiro de decisão verifica se alguém realmente mora em um endereço?
Você pode perguntar a alguém se mora em determinado endereço. A pessoa pode apresentar uma conta de luz como comprovante de endereço. Isso mostra que ela tem vínculo com o endereço, mas não comprova que realmente mora ali.
Você pode observar atividades relacionadas ao endereço. A pessoa recebe comida ou encomendas ali? Essas atividades podem indicar que ela passa tempo suficiente no local para ter um motivo para receber entregas naquele endereço.
Esses são dados proxy para identificar se alguém mora em determinado lugar. Talvez não sejam os dados oficiais informados a um banco ou empregador, mas podem indicar o que acontece na realidade. O engenheiro de decisão pergunta quais dados podem mostrar que alguém realmente mora naquele endereço e, em seguida, avalia como coletá-los.
Quais competências um engenheiro de decisão precisa à medida que a tecnologia muda?
LLMs, Claude e OpenAI ChatGPT permitem analisar dados muito mais rápido. Ainda é preciso pensar sobre o produto, investigá-lo e perguntar o que os dados significam na realidade. Esse continua sendo o trabalho mais importante.
O aprimoramento vem de investigar, fazer perguntas e entender as respostas. Isso exige visão sistêmica e capacidade de se comunicar com outras pessoas. A tecnologia vem depois desse trabalho.
Antes, um engenheiro de decisão precisava saber estatística, usar R e depois Python, além de organizar dados como um cientista de dados. Essas habilidades técnicas já não são necessárias. O essencial é pensar com clareza sobre as alavancas de uma situação, como elas moldam o resultado final e como a tomada de decisão pode melhorá-lo. O trabalho mais importante é investigar as ideias: conectar suposições e hipóteses à realidade e fazer bons testes.
- Questionar o produto e os dados: Investigue o produto e entenda o que os dados representam na prática antes de usar tecnologia.
- Visão sistêmica: Entenda como diferentes fatores influenciam os resultados e como as decisões podem melhorá-los em cada contexto.
- Clareza de pensamento: Considere hipóteses conflitantes, explore cada uma e evite se apegar a uma única ideia.
- Comunicação entre equipes: Explique conceitos técnicos com clareza para que pessoas de outras áreas possam entendê-los e agir.
- Compreensão do contexto: Entenda onde as decisões são executadas, quem elas afetam e qual é o contexto operacional para manter os modelos relevantes.
- Resolução de problemas: Transforme problemas de negócio em uma lógica de decisão clara, trabalhando em conjunto com outras equipes.
- Apresentação de modelos de decisão: Apresente modelos, premissas e resultados com clareza para que as equipes possam implementá-los corretamente.
- IA e aprendizado de máquina: Entenda os princípios básicos e quando aplicá-los a modelos de decisão.
O que avaliar ao contratar um engenheiro de decisão?
Um bom engenheiro de decisão testa o modelo continuamente contra a realidade. Um consultor, gerente de produto ou profissional de marketing pode tentar apresentar algo que parece bom e fazer parecer que é verdade. O engenheiro de decisão continua perguntando como seria se estivesse errado e como seria se estivesse certo.
Isso é importante nos modelos de score. Algumas variáveis têm alta correlação e parecem úteis, mas não estão ligadas a uma alavanca que explique o comportamento de crédito ou de pagamento. Elas podem deixar de funcionar quando as condições mudam, e você não sabe quando isso vai acontecer. Um bom engenheiro de decisão procura a alavanca por trás da correlação e testa se essa relação se confirma.
Um bom estatístico pode dizer que tem bastante certeza porque os dados estatísticos mostram que o modelo funciona. O engenheiro de decisão consegue mostrar o que está ligado à alavanca, o que acontece quando ela muda e como os dados se relacionam com o fenômeno.
Como avaliar um candidato a engenheiro de decisão em uma entrevista?
Apresente ao candidato um problema com uma correlação forte e clara nos dados, mas não conte que ela é falsa. A causa deve estar na forma como os dados foram produzidos. Um exemplo é o vazamento de informação, como um indicador de “contatado pela cobrança” preenchido depois do resultado que prevê inadimplência com perfeição. Outro exemplo é um efeito do processo, como solicitações feitas à noite que apresentam mais inadimplência porque um dos correspondentes envia seu lote às 2h.
Alguém que queira dar uma resposta convincente vai destacar a correlação. Um bom engenheiro de decisão dirá que não entende como ela pode ser tão forte, porque não faz sentido na realidade. O entrevistador também deve incluir uma correlação verdadeira, com um mecanismo plausível. Assim, dá para avaliar se o candidato distingue as duas, em vez de duvidar de tudo.
Há pessoas que querem mostrar que fizeram o trabalho mesmo quando não existe uma correlação real. O objetivo é deixar o candidato explicar como pensa sobre o problema e avaliar se consegue encontrar a alavanca por trás dos dados.
Perguntas frequentes sobre o engenheiro de decisão
Como se tornar um engenheiro de decisão?
Comece aprendendo a conectar suposições e hipóteses à realidade e, em seguida, teste essas relações. É preciso pensar com clareza sobre as alavancas de uma situação, como elas moldam o resultado e como a tomada de decisão pode melhorá-lo.
Um engenheiro de decisão precisa saber programar?
Antes, engenheiros de decisão precisavam ter conhecimentos de estatística, usar R e depois Python, além de organizar dados como cientistas de dados. Essas habilidades técnicas já não são necessárias, porque a tecnologia vem depois de entender o produto, os dados e as alavancas por trás do resultado.
O que um engenheiro de decisão faz no dia a dia?
O engenheiro de decisão conversa com a equipe de produto, pergunta o que os dados significam na realidade e investiga situações atípicas. Testa os modelos de decisão em relação às expectativas, ajusta-os conforme necessário e pensa em como coletar mais dados.
O que faz de alguém um bom engenheiro de decisão?
Um bom engenheiro de decisão testa o modelo continuamente contra a realidade e pergunta como seria se ele estivesse errado. Procura a alavanca por trás de uma correlação, verifica se essa relação se confirma e explica o modelo com clareza para que outras pessoas possam agir.
