Como o data warehouse ajuda a decidir se você deve refazer o scorecard

Na reunião mensal do comitê de risco, quem lidera a área de risco de crédito está com o relatório de resultados aberto. O Gini do score aplicado às aprovações do trimestre passado caiu, e alguém propõe refazer o modelo. Você tem a política, as regras e o score à sua frente. O relatório foi montado cruzando as inadimplências deste mês com as tabelas atuais de empréstimos e clientes. Assim, a métrica de desempenho e as informações usadas para interpretá-la vêm de momentos diferentes do processo de crédito. Antes de concordar em refazer o modelo, o que você está medindo de fato: um modelo pior ou um relatório baseado em informações que não estavam disponíveis no momento da decisão?

Use os dados disponíveis na época da decisão

Um Gini menor pode indicar pior desempenho do score, uma mudança no perfil da carteira ou uma diferença entre os dados usados na decisão e os usados na análise. O conjunto de dados Default of Credit Card Clients reúne 30.000 titulares de cartão em Taiwan, em 2005. O score foi ajustado apenas com informações conhecidas no fim de junho e avaliado em relação às inadimplências de outubro. Depois, o mesmo score, sem alterações, foi aplicado aos registros dos mesmos clientes no fim de setembro.

Dados de junho: Gini do score de 0,387, 54,3% dos clientes sinalizados inadimpliram e 28,2% dos inadimplentes foram identificados. Registro de setembro: Gini do score de 0,484, 69,4% dos clientes sinalizados inadimpliram e 32,5% dos inadimplentes foram identificados.
Resultados do score e da regra com dados da época da decisão e registros posteriores

Com os registros posteriores, o score pareceu melhor e a regra pareceu identificar mais inadimplentes. Os clientes, o score e a regra não mudaram. Só mudaram as informações usadas na análise. Esses resultados mostram como o momento dos dados pode afetar uma medição em um conjunto público de dados de cartão de crédito e em um score. Para definir expectativas para a carteira, é preciso analisar os dados de cada instituição.

Cruzar as inadimplências com os registros atuais de empréstimos e clientes parece razoável, já que esses dados estão disponíveis. Mas, nesse caso, o relatório avalia uma decisão passada usando informações que chegaram depois. O modelo acaba parecendo melhor do que era quando foi usado pela instituição. O coeficiente de Gini precisa ser analisado com base nas informações que a decisão realmente considerou.

Separe o desempenho do score do perfil da carteira

Mesmo com os dados corretos da época da decisão, um Gini menor para a carteira pode indicar pior desempenho do score ou uma mudança no perfil dos clientes. O score ordena alguns segmentos pior do que outros. Por isso, uma mudança no perfil da carteira pode reduzir o Gini agregado.

No mesmo teste, o score ordenou pior os clientes mais jovens e aqueles com limites de crédito mais altos do que outros grupos. Quando aumentou a participação de clientes com limites maiores, o Gini agregado caiu, embora a taxa de inadimplência da carteira também tenha diminuído.

Clientes: limite maiorGiniTaxa de inadimplência
52%0.38722.1%
68%0.37620.1%
76%0.36619.1%
84%0.35318.1%

O score não mudou. A carteira ficou mais segura, mas o indicador agregado caiu porque aumentou a participação de um segmento que o score ordena pior. O Gini da carteira reflete tanto o desempenho do score quanto o perfil dos clientes que entram na carteira. Antes de propor uma reconstrução, analise os dois fatores.

Relacione cada decisão aos resultados posteriores

A política define o que a instituição pretende fazer. Para saber se as regras funcionaram, relacione cada resultado à decisão que o gerou e use as informações disponíveis naquele momento.

Registre cada decisão com seus dados de entrada, score, regra e versão da estratégia. Preserve cada fonte como foi recebida e mantenha versões datadas quando os registros de clientes ou empréstimos mudarem. Os snapshots da decisão e dos eventos permitem analisar o que era conhecido naquele momento, em vez de usar um registro corrigido posteriormente.

Os contatos de cobrança, as promessas de pagamento e os resultados dos pagamentos também fazem parte desse histórico. Eles ajudam a relacionar a decisão ao que aconteceu com a conta, como explica esta análise de ferramentas e canais de comunicação para cobrança.

Um data warehouse reúne registros das fontes e resultados para análise. Esse histórico ajuda a equipe de risco a avaliar se a mudança nos resultados veio da decisão, de informações posteriores ou de uma mudança no perfil dos clientes.

Leve essas verificações para um fluxo de decisão

Crie regras para crédito, fraude ou cobrança e aplique-as a decisões em produção.

Preserve o histórico das decisões nas camadas do data warehouse

As camadas mantêm a decisão, cada versão posterior do registro e o resultado, preservando como cada informação estava em determinado momento.

Fontes, landing, vault, data marts e camada externa de disponibilização. Os fechamentos mensais são conferidos, aprovados, publicados e congelados. Cada decisão volta como fonte, junto com os dados que consultou.
Camadas do data warehouse de crédito, dos registros de origem às decisões em produção

Os dados das fontes chegam primeiro à área de landing, onde ficam como foram recebidos. No vault, os hubs mantêm cada chave de negócio desde o primeiro registro, os links conectam essas chaves e os satélites guardam cada versão. Assim, cada valor recebido continua disponível com a data de carregamento. Os data marts seguem o modelo dimensional de Kimball: cada tabela de fatos define seu grão e não mistura grãos. Dimensões conformadas permitem combinar fatos de tabelas diferentes em um único relatório. O vault preserva o histórico, e os data marts dimensionais construídos a partir dele trabalham em conjunto. Uma camada externa de disponibilização pode publicar valores fixos para decisões em produção enquanto as tabelas analíticas são reconstruídas.

Mantenha cada fato em um único grão. Uma linha de decisão registra o que aconteceu em uma decisão. Uma linha de empréstimo no fechamento mensal mostra a situação da conta naquela data. Uma linha de safra agrupa empréstimos pelo período de originação. Comparar uma safra nos mesmos meses de vida do empréstimo é o que torna significativa a análise de safras.

Feche cada snapshot mensal somente depois de conferir se os saldos avançam corretamente, se os registros das contas permanecem contínuos entre os fechamentos e se as moedas estão consistentes. Aprove, publique e congele o fechamento antes de usar os números oficiais. Um arquivo corrigido passa a ser uma nova carga. Se um registro de fechamento mensal publicado estiver errado, reapresente os números e processe os fechamentos posteriores em ordem, aprovando cada um. O histórico continua disponível.

Use registros consistentes para decidir se é hora de reconstruir o score

Use os registros adequados a cada medida. Compare a inadimplência na primeira parcela e os dias em atraso com os dados disponíveis no momento da decisão e as observações de resultado pertinentes. Consulte as provisões nos snapshots de fechamento mensal. Meça as taxas de cura em um período definido e compare as safras após o mesmo número de meses desde a concessão. Para calcular provisões, a IFRS 9 começa com a provisão para perdas esperadas nos próximos 12 meses e passa a considerar as perdas ao longo de toda a vida do crédito quando o risco de crédito aumenta significativamente desde a concessão do empréstimo. Por isso, o credor precisa manter o registro do risco de crédito observado na originação. Grandes bancos também estão sujeitos aos princípios do Comitê de Basileia para agregação de dados de risco, que incluem precisão e tempestividade, mas esses princípios não vinculam todos os credores.

Analise o Gini e as taxas de acionamento das regras por segmento e confira se a composição da carteira mudou. O monitoramento do scorecard só é útil quando mantém essas diferenças visíveis, em vez de tratar um único indicador da carteira como diagnóstico. Se os resultados com dados disponíveis no momento da decisão ainda apontarem desempenho inferior em segmentos comparáveis, reproduza a estratégia atual e a proposta com decisões passadas. Um teste champion challenger permite que a equipe avalie quais decisões mudariam e compare essas decisões com os resultados observados.

Reconstrua o score quando os dados da época da decisão, analisados por segmento, ainda indicarem pior desempenho e a reaplicação da estratégia apoiar a mudança. Se a variação refletir uma mudança no perfil da carteira, use essa informação para revisar a política ou o ponto de corte do segmento afetado, em vez de reconstruir o score. O comitê precisa de uma justificativa para a mudança, apoiada em mais do que um indicador menor.

  1. Registre cada decisão junto dos dados de entrada consultados, do score, da regra acionada e da versão da estratégia vigente naquele momento.
  2. Mantenha cada fonte exatamente como foi recebida. Quando um registro de cliente ou empréstimo mudar, acrescente uma versão datada e preserve a anterior.
  3. A cada fechamento do mês, confira se os saldos partem dos valores do mês anterior, se nenhuma conta desaparece e reaparece entre fechamentos e se as moedas são compatíveis. Aprove, publique e congele o snapshot. Registre correções como novas cargas e reapresente um período publicado, refazendo os fechamentos posteriores em ordem e aprovando cada um.
  4. Monte data marts separados, com uma linha por decisão, observação de resultado, empréstimo no fechamento do mês e safra de originação. Use as mesmas definições de cliente, produto e segmento em todos eles.
  5. Use os dados disponíveis no momento da decisão e os registros pertinentes congelados no fechamento do mês como referência para comparar os resultados, mantendo a análise vinculada ao histórico.
  6. Compare o Gini e a taxa de acionamento das regras por segmento e confira se o mix da carteira mudou. Reexecute a estratégia atual e a proposta sobre decisões passadas, examine quais decisões mudam e compare os resultados observados.
  7. Consulte as provisões nos snapshots de fechamento do mês, as taxas de cura em períodos de medição definidos e as safras no mesmo número de meses desde a originação. Só reconstrua o modelo quando o desempenho inferior persistir em segmentos comparáveis e a reexecução justificar a mudança. Se a variação for explicada pelo mix da carteira, revise a política ou o ponto de corte do segmento afetado e teste essa alteração.

Na visão deste profissional, a IA já faz boa parte das análises que antes eram feitas por cientistas de dados, e com mais rapidez. Isso torna o data warehouse ainda mais necessário, pois é a camada que a IA consulta. Essa estrutura precisa ser bem construída por razões regulatórias e para mostrar como os dados se relacionam com os resultados.

Perguntas sobre data warehouse no crédito

Para que serve um data warehouse no crédito?

Ele relaciona os dados da instituição e os resultados registrados às decisões que os geraram, e organiza esse histórico para análise. Mantenha os registros de decisões e resultados conectados para que a equipe de risco avalie a estratégia com base no que aconteceu depois.

Por que uma instituição de crédito precisa de snapshots?

Snapshots preservam o que era válido na época de uma decisão, de um evento ou do fechamento mensal, mesmo depois que os registros operacionais mudam. Use o snapshot correspondente à decisão ou ao resultado analisado.

Qual é a diferença entre um data vault e um data mart de Kimball?

Um data vault preserva as chaves de negócio, as relações entre elas e as versões sucessivas dos dados descritivos. Um data mart dimensional organiza fatos em grãos definidos para análise. Cada um tem uma função, e os dois podem ser usados em conjunto.

Como saber se uma regra de crédito está funcionando?

Registre a regra e a versão da estratégia em cada decisão e compare os resultados com as informações disponíveis naquele momento. Analise as taxas de acionamento por segmento e use registros de resultados consistentes.

Por que o Gini do nosso scorecard caiu?

O score pode ter perdido desempenho, o perfil dos segmentos da carteira pode ter mudado ou a análise pode estar usando informações que chegaram depois da decisão. Compare os resultados por segmento com dados da época da decisão e confira o perfil da carteira antes de decidir o que mudar.

Quais indicadores de crédito precisam de snapshots de fechamento mensal?

As provisões devem ser analisadas com base nos snapshots de fechamento mensal. A inadimplência na primeira parcela e os dias em atraso devem ser relacionados aos registros de resultados correspondentes, as taxas de cura a um período de medição definido e as safras aos mesmos meses de vida do empréstimo.

A IA torna o data warehouse menos necessário?

Na avaliação de um profissional da área, a IA torna o data warehouse ainda mais necessário. Hoje, a IA faz boa parte das análises antes feitas por cientistas de dados, e com mais rapidez. O data warehouse é a camada consultada pela IA e precisa ser bem construído por razões regulatórias e para mostrar como os dados se relacionam com os resultados.

Leve essas verificações para um fluxo de decisão

Crie regras para crédito, fraude ou cobrança e aplique-as a decisões em produção.