Taxa de cura caiu na faixa 2. Qual release originou os empréstimos?
O gestor de cobrança traz um número: a taxa de cura na segunda faixa de atraso caiu nos últimos dois meses. A carteira cresceu nesse período, então alguém na sala diz que vocês aprovaram operações de pior qualidade.
Pode ser. Há pelo menos oito motivos para esse número mudar. Analisar crédito exige verificar todos eles, não só aquele que confirma o que você já suspeitava:
- a lógica de decisão mudou, então esses empréstimos foram aprovados com critérios diferentes
- a equipe de cobrança está desfalcada ou perdeu agentes experientes
- o roteiro de atendimento mudou, então os mesmos clientes recebem um tratamento diferente
- o discador mudou e, com ele, caiu a taxa de contato com a pessoa certa
- um novo canal de marketing está trazendo clientes diferentes
- os preços mudaram, alterando quem aceita uma oferta
- o cenário macroeconômico mudou para todos
- a definição mudou, e “cura” significa outra coisa no relatório deste mês
A maioria desses fatores exige uma análise antes de chegar a uma resposta. Taxas de contato pedem uma comparação controlada. O efeito do tempo de casa dos agentes exige uma análise por coorte. O cenário macroeconômico é assunto para debate.
Um deles não. Saber se a lógica de decisão mudou permite uma resposta de sim ou não, e o registro que resolve a questão já está no seu próprio log. Por isso, essa verificação vem primeiro. Não porque a política seja a causa mais provável, mas porque é o único fator que você pode descartar sem precisar desenhar uma análise.
Este artigo mostra como fazer essa verificação. A pergunta precisa ser mais precisa do que “mudamos alguma coisa?”. Para os empréstimos que estão agora na faixa 2, qual lógica de decisão realmente os aprovou? Ela é diferente da lógica em uso hoje?
Por que a visão da carteira não mostra a causa
A orientação de Basileia sobre perdas de crédito esperadas é clara quanto a esse risco. As exposições “não devem ser agrupadas de forma que um aumento no risco de crédito de algumas exposições individuais possa ficar oculto por mudanças no risco de crédito da carteira como um todo” (BCBS d350, A33). A taxa de cura da carteira inteira é justamente esse tipo de agrupamento. Ela muda por vários motivos ao mesmo tempo, e a média mistura uma coorte aprovada sob uma política com outra aprovada sob uma política diferente.
O mesmo documento inclui a safra entre as características usadas para agrupar exposições, junto com a situação das parcelas, o LTV, o tipo de produto e a localização. Também exige que a metodologia de agrupamento seja documentada e aprovada. A safra é uma referência comum porque a data de originação indica, de forma aproximada, qual política estava em vigor naquele momento.
Mas é apenas uma aproximação. Duas propostas aprovadas na mesma manhã podem ter sido avaliadas por lógicas diferentes se uma release entrou em produção entre elas. Uma faixa de safra que cobre um mês pode reunir várias releases. A pergunta precisa ser “o que aprovou esta operação?”, não “quando ela foi contratada?”.
O que as diretrizes já pedem que você registre
As diretrizes da EBA sobre concessão e monitoramento de crédito são específicas quanto aos registros:
A infraestrutura de dados deve ser detalhada e suficientemente granular para registrar informações específicas de cada empréstimo, em particular os critérios de concessão de crédito realmente aplicados no momento da originação.
EBA/GL/2020/06, parágrafo 61
Leia com atenção: os critérios realmente aplicados no momento da originação. Não o documento de política atual. Não uma descrição do que a política deveria fazer. Os critérios que foram executados.
A maioria dos credores mantém um histórico de versões do documento de políticas e um registro das alterações nas implantações de modelos. Depois, reconstrói manualmente qual combinação estava em vigor em determinada data. É nessa reconstrução que a confiança se perde.
O que é uma release
No Decisimo, publicar um fluxo de decisão gera uma release: uma única versão compilada de tudo que o fluxo precisa para tomar uma decisão. Ela não aponta para os conjuntos de regras atuais. A compilação percorre o fluxo e inclui a definição completa de cada elemento usado:
- conjuntos de regras, com regras, condições, ações, mapeamentos e agregações
- tabelas de decisão, célula por célula, incluindo operadores e vetores de resultado
- scorecards, com preditores, pesos e faixas que segmentam cada preditor
- árvores de decisão, nó por nó
- funções, modelos e fontes de dados externas, incluindo método, cabeçalhos e configuração de OAuth
- subfluxos, de forma recursiva
A ordem de avaliação também fica definida na release. As ramificações do fluxo e as faixas do scorecard são ordenadas durante a compilação. Como vence a primeira regra correspondente, a ordem também faz parte da lógica de decisão: as mesmas regras em outra ordem são regras diferentes.
Em tempo de execução, o mecanismo executa apenas o conteúdo armazenado na release. Ele não consulta as tabelas de desenho para tomar a decisão. É isso que torna o histórico confiável: uma alteração no scorecard feita hoje não muda o resultado de uma decisão de março passado, que foi tomada com base em uma release preservada.
Como ligar uma decisão à lógica que a tomou
Cada execução grava uma linha no seu próprio banco de dados de logs, com o identificador do deployment que a gerou. O campo é engine_request_id e contém o valor de wf_release_deployment_id. A linha também traz a requisição e a resposta completas em input_json e output_json.
O caminho entre esses registros é uma junção:
linha do log.engine_request_id
→ wf_release_deployment.wf_release_deployment_id
→ .content a lógica exata que foi executada
→ .workflow_release_id
→ workflow_release .name, .notes, .user_id, .dtime_inserted
Assim, para qualquer decisão que você consiga identificar, é possível saber qual lógica a produziu, de qual release ela veio, quem publicou essa release e quando.
Assim, a etapa de eliminação fica mecânica. Pegue os empréstimos da faixa 2, relacione cada um à decisão que o originou pelo engine_request_id e agrupe os resultados. Se eles se concentrarem em uma release posterior à última coorte com bons resultados, compare as duas releases e veja o que mudou.
Se não houver concentração em uma release, isso também é um resultado, e mais útil do que parece. Significa que os empréstimos que chegaram à faixa 2 foram aprovados pela mesma lógica que aprovou a coorte cuja taxa de cura estava normal no trimestre passado. Portanto, a mudança aconteceu depois da decisão. A investigação deve olhar para a capacidade da equipe de cobrança, o tratamento dado aos clientes, as taxas de contato ou o perfil de aquisição. Você chega a esses caminhos com registros que já tem, antes de desenhar um estudo. Uma resposta negativa e definitiva vale mais do que uma resposta positiva sujeita a discussão.
Dois pontos práticos. O identificador do release não é retornado no corpo da resposta da decisão, então a associação fica no log e é feita pelo campo request_id. Além disso, os releases são identificados pelo ID e por um nome gerado com o horário de publicação, no formato credit_scoring_2608201430, e não por um número de versão semântica.
Como comparar duas releases
Com os IDs de duas releases em mãos, comparar as versões é justamente o objetivo. A comparação mostra o fluxo de decisão etapa por etapa, marca cada elemento como adicionado, removido, alterado ou inalterado e expande os elementos alterados.
Para um scorecard, esse detalhamento permite analisar o que importa para o diagnóstico. Os preditores são comparados pela identidade, não pela posição, então um preditor renomeado não aparece como uma exclusão e uma adição. A comparação mostra o peso de cada preditor antes e depois. Também mostra o operador e os limites de cada faixa nas duas versões.
Assim, você distingue duas mudanças que parecem iguais em um relatório da carteira, mas têm efeitos bem diferentes:
- O peso mudou. Os mesmos solicitantes de empréstimo estão sendo avaliados, mas a contribuição de uma variável preditora para a pontuação total mudou.
- A segmentação mudou. O limite de uma faixa mudou, então um grupo de solicitantes de empréstimo que antes recebia uma determinada pontuação agora recebe outra. A população está sendo segmentada de outra forma.
Uma mudança de peso costuma deslocar um pouco toda a distribuição de score. Já uma mudança de segmentação costuma deslocar bastante uma faixa e produzir uma coorte com comportamento diferente do das faixas vizinhas. Meses depois, isso aparece como uma taxa de cura instável.
Onde fica o experimento
No Decisimo, o teste champion/challenger é uma bifurcação no fluxo de decisão, com a divisão baseada em um valor aleatório. A lógica challenger fica em uma ramificação e a champion, na outra.
Esse posicionamento é importante para toda a análise. Como a divisão faz parte do fluxo, e não de uma configuração separada, o experimento fica dentro da release. Ao comparar releases, você vê a nova ramificação challenger, o limite usado na divisão e o scorecard por trás dela. Em uma plataforma que mantivesse o teste champion/challenger em uma camada de configuração separada, a comparação do fluxo pareceria inalterada, mesmo que um décimo das propostas estivesse sendo avaliado por outra lógica.
Há uma limitação que você precisa considerar: o padrão não resolve esse caso. Só é possível recuperar se uma determinada proposta seguiu o ramo champion ou challenger se você tiver preparado essa informação. O chamador pode enviar o valor da divisão no payload da requisição. Nesse caso, ele fica registrado em input_json no seu log e você pode agrupá-lo depois. Outra opção é o chamador definir a flag record_steps, que retorna a lista das etapas executadas. Nenhuma das opções vem ativada por padrão. Se você estiver rodando um experimento e quiser analisar os resultados por safra meses depois, inclua o valor da divisão no payload.
O que esse registro não oferece
O registro ajuda a reconstruir o histórico, mas não é um log inviolável. É possível excluir releases e implantações, e as chaves estrangeiras são definidas como nulas quando um registro é excluído. Assim, excluir uma implantação faz com que as referências históricas no seu log deixem de apontar para algo. Se sua obrigação de retenção se estende por anos, não exclua implantações referenciadas por decisões históricas.
A compilação da release também registra a revisão exata usada para conjuntos de regras, tabelas de decisão, funções, scorecards e árvores de decisão. Isso não acontece com modelos, fontes de dados externas, serviços de OCR ou subfluxos. Nesses casos, a release contém a definição que foi executada, mas não aponta para a revisão de desenho de que ela veio.
As verificações da release também avisam, mas não bloqueiam a publicação. Uma release com alertas de lint pode ser publicada. Os processos de aprovação são associados à release depois que ela existe, em vez de impedir sua criação.
O que fazer com essas informações
Quatro ações, em ordem de retorno.
Associe seu log de decisões à sua carteira de empréstimos pelo identificador da requisição e mantenha o campo engine_request_id no seu data warehouse. Esse é o ponto que costuma passar despercebido. Sem ele, não dá para fazer as análises seguintes. Basta uma coluna.
Analise a deterioração por release antes de analisar por mês. A safra é uma aproximação da política em vigor. O identificador da release mostra qual política foi usada. Se os dois indicarem coisas diferentes, considere a release.
Faça primeiro a checagem da política e registre a resposta, seja ela qual for. É o único critério da lista cuja resposta é sim ou não, e as duas respostas são úteis: uma indica o que precisa ser revertido. A outra permite que as conversas entre cobrança e marketing prossigam, sem deixar suspeitas no ar.
Inclua o valor usado na divisão champion/challenger nos dados da solicitação. Um experimento que você não consegue analisar por grupo depois produz um número, não uma conclusão.
Você não precisa de uma equipe de ciência de dados para fazer isso. Precisa que a lógica que tomou a decisão continue disponível na versão que estava em uso naquele momento, e que a decisão aponte para ela.
Perguntas frequentes
Como identifico a release que aprovou os empréstimos da faixa 2?
Ligue cada empréstimo à decisão que o originou no seu log de decisões, usando o identificador da solicitação. Depois, agrupe os empréstimos por release. Mantenha esse identificador no seu ambiente de dados para poder fazer análises futuras da carteira. Se ele não estiver disponível, não dá para determinar com segurança qual release tomou as decisões. A data da contratação serve apenas como aproximação.
Devo analisar a queda da taxa de cura por safra ou por release?
Use a release como recorte principal para verificar se a lógica de decisão mudou e mantenha a safra como uma referência complementar. Uma mesma safra pode incluir empréstimos aprovados em releases diferentes, o que pode ocultar uma mudança de política. Se as taxas de cura diferirem por release, mas não por safra, investigue as releases antes de tirar conclusões sobre a coorte mais ampla.
O que devo verificar quando duas releases têm taxas de cura diferentes?
Compare as releases e examine os elementos alterados da lógica de decisão. Em um scorecard, verifique os pesos dos preditores e os limites das faixas. A mudança de peso altera a contribuição de um preditor. A mudança de limite altera quais clientes ficam em cada faixa. Examine também as mudanças nos outros elementos, porque o scorecard pode não ser a única causa.
O que devo registrar antes de iniciar um teste champion/challenger?
Inclua o valor usado na divisão nos dados da solicitação e mantenha-o no log de decisões para identificar depois qual ramificação cada proposta seguiu. Também pode ser possível recuperar essa informação pela lista de tarefas executadas, mas esse registro não vem ativado por padrão. Se nenhum dos registros estiver disponível, você pode ter os resultados do teste sem conseguir atribuí-los com segurança a uma ramificação.
Como mantenho a ligação entre decisões históricas e suas releases?
Mantenha a release e sua implantação disponíveis enquanto precisar investigar as decisões que fazem referência a elas. Excluir uma implantação pode deixar o log de decisões sem uma ligação utilizável com a release, mesmo que a linha do log continue lá. Defina o prazo de retenção de acordo com o período em que seus registros de crédito podem ser revisados e inclua a preservação das releases nessa política.