Quantos maus pagadores um modelo de crédito precisa?

Você está prestes a criar um scorecard ou atualizar o que está em produção. Alguém sugeriu reconstruí-lo. A carteira tem algumas centenas de maus pagadores. O novo modelo indica 5%, e esse número será usado na precificação e na provisão.

Antes de começar, responda a duas perguntas: há um motivo para reconstruir o scorecard e você tem maus pagadores suficientes para o plano? Muitas vezes, os dados disponíveis não sustentam a criação de um novo scorecard. Trezentos maus pagadores são um ponto de partida para fazer as contas, não um número mínimo.

Por que a quantidade de maus pagadores importa

Os 5% indicados pelo modelo não são exatos. Com 300 maus pagadores na amostra, a taxa real pode ficar entre cerca de 4,5% e 5,5%, antes mesmo de o modelo envelhecer.

Essa diferença afeta diretamente o resultado financeiro. Em um exemplo de carteira com € 50 milhões em crédito concedido ao longo de um ano e perda de 75% em cada empréstimo inadimplente, uma taxa de 4,5% ou 5,5%, em vez dos 5% indicados pelo modelo, representa cerca de € 187.500 por ano para mais ou para menos. Se o volume dobrar, o valor dessa diferença também dobra.

O modelo também pode errar de forma mais grave quando a complexidade da construção supera o que a quantidade de maus pagadores permite. Ele estima clientes seguros como ainda mais seguros e clientes arriscados como ainda mais arriscados. A carteira aprovada tem perdas acima do previsto, e bons solicitantes acabam recusados. Em um exemplo, uma faixa que o modelo classifica como 2% tem uma taxa real de cerca de 3%.

A deterioração depois que o modelo entra em produção se soma a essa incerteza inicial. Quanto mais dinheiro e volume dependem do modelo, mais importante é saber até que ponto você pode confiar nas taxas de maus pagadores que ele estima.

O que significa ter dados suficientes

A quantidade de maus pagadores impõe dois limites. Ela limita o que o modelo consegue aprender, porque cada variável e cada faixa testada na construção são estimadas com base nos mesmos maus pagadores. Acima de certo ponto, o ajuste passa a aprender o ruído daquela amostra.

Essa quantidade também limita a precisão da taxa de maus pagadores estimada, tanto para a carteira inteira quanto para cada faixa usada na precificação. Estatísticos chamam o primeiro limite de orçamento de graus de liberdade. O Gini esperado é o que mais determina o tamanho desse orçamento. Nas próximas seções, os dois limites são apresentados em números.

300 maus pagadores são suficientes?

Depende do Gini esperado e do modelo que você pretende construir. Com uma taxa de maus pagadores de 5%, 300 maus pagadores sustentam cerca de 9 graus de liberdade com Gini de 0,3, 28 com 0,5 e 63 com 0,7. A taxa de maus pagadores quase não altera esse orçamento. O Gini é o que faz diferença.

Gini esperadoGraus de liberdade
0.3Cerca de 9
0.5Cerca de 28
0.7Cerca de 63

Quanto mais fraco o modelo, mais maus pagadores são necessários para cada grau de liberdade. Para 30 graus de liberdade e uma taxa de maus pagadores de 2%, são necessários cerca de 130 maus pagadores com Gini de 0,7 e cerca de 930 com Gini de 0,3. Com taxa de 5% e Gini de 0,5, 30 graus de liberdade exigem cerca de 320 maus pagadores.

O orçamento é calculado com base nos critérios de tamanho mínimo de amostra de Riley e colaboradores, que limitam a retração esperada do modelo a 10% ou menos. A calculadora de tamanho de amostra para modelos faz a conta com os seus dados de maus pagadores, taxa de maus pagadores e Gini.

O que consome o orçamento

Todos os parâmetros candidatos contam, antes da seleção. O coeficiente de uma variável conta. Dividir uma variável em cinco faixas consome quatro graus de liberdade. Uma variável WoE também conta pelas faixas, porque elas foram ajustadas com base nos mesmos maus pagadores. Essa é a convenção usada pela ferramenta. Uma spline consome um grau a menos que o número de nós.

Especificação28 graus disponíveis
Variáveis contínuas28
Três bins14 variáveis
Quatro bins9 variáveis
Cinco bins7 variáveis
Seis bins5 variáveis
MARS, sem interações14 termos
MARS, com interações11 termos

A seleção de variáveis também consome o orçamento. Quarenta variáveis candidatas divididas em cinco faixas usam 160 graus de liberdade antes da seleção, enquanto 300 maus pagadores com Gini de 0,5 sustentam 28. Mesmo as variáveis que não ficam no modelo consomem capacidade durante a construção.

Um scorecard planejado diante de 300 maus pagadores

Considere um plano de exemplo com 20 variáveis candidatas divididas em cinco faixas. Ele consome 80 graus de liberdade. Com taxa de maus pagadores de 5% e Gini de 0,5, o plano exige cerca de 854 maus pagadores, ou 554 a mais do que os 300 disponíveis.

PlanoGraus de liberdadeMaus pagadores necessáriosMeses
20 variáveis em cinco faixas8085420.5

Com 2.000 empréstimos por mês e uma janela de 12 meses para observar os resultados, são necessários 20,5 meses para conhecer esses resultados. A decisão é prática: reduzir o plano, esperar os resultados ou fazer uma mudança menor no scorecard atual.

Leve essas verificações para um fluxo de decisão

Crie regras para crédito, fraude ou cobrança e aplique-as a decisões em produção.

Quando os dados não sustentam o plano

Quando o plano exige mais do que os dados permitem, as contas restringem as opções. Mas não decidem por você.

  • Manter o scorecard atual e recalibrá-lo. Reestimar o intercepto e a inclinação consome 2 graus de liberdade e exige cerca de 22 maus pagadores com Gini de 0,5.
  • Construir um scorecard menor, dentro do orçamento disponível.
  • Esperar pelos resultados necessários para o modelo planejado.
  • Testar qualquer modelo novo com dados de solicitações anteriores, comparando-o com o atual antes de substituí-lo, usando o teste champion-challenger.

Além de maus pagadores suficientes, é preciso ter um motivo para reconstruir o scorecard. “Já faz um tempo” ou “ouvimos dizer que deveríamos” não são motivos por si só. As contas mostram o que os dados sustentam. A decisão continua sendo sua.

O intervalo da taxa de maus pagadores

A quantidade de maus pagadores determina a precisão da taxa estimada, qualquer que seja a força do modelo. Com uma taxa de 5%, os intervalos de 95% são:

Maus pagadoresFaixa para 5%
1004.04% to 5.96%
3004.45% to 5.55%
1,0004.70% to 5.30%
3,0004.83% to 5.17%

Uma faixa do scorecard tem menos maus pagadores do que a carteira inteira, por isso seu intervalo é mais amplo. Em uma faixa de exemplo com 30 maus pagadores e taxa de 12%, o intervalo vai de 7,97% a 16,03%. Uma faixa de baixo risco com 15 maus pagadores e taxa de 1,5% tem um intervalo de 0,75% a 2,25%.

Essa é a incerteza que existe no dia em que o modelo é construído. A deterioração vem depois. Veja como acompanhar o modelo em monitoramento de scorecards.

Quando o modelo excede o orçamento

Exceder o orçamento deixa as previsões extremas demais para novos dados. A inclinação de calibração esperada é o fator de retração. Ela aproxima cada diferença prevista de log-odds da média.

No exemplo com Gini de 0,3, 300 maus pagadores e taxa média de 5%, consumir 80 graus de liberdade resulta em um fator de retração esperado de 0,51. Uma previsão de 2% passa a corresponder a cerca de 3,1%.

Graus de liberdadeSPrevê 2%: realPrevê 10%: realPrevê 20%: real
90.902.19%9.4%17.7%
280.752.52%8.4%14.5%
800.513.13%7.2%10.5%

São valores esperados com base nas premissas dos critérios, não resultados observados. A carteira aprovada é mais arriscada do que o modelo indica, as perdas ficam acima do previsto e bons solicitantes são recusados.

Antes de aprovar o modelo

  1. Explique por que você pretende reconstruir o scorecard.
  2. Conte todos os parâmetros candidatos que serão testados, incluindo faixas e seleção de variáveis.
  3. Compare essa quantidade com o orçamento para o Gini esperado usando a ferramenta de tamanho de amostra.
  4. Conte os maus pagadores em cada faixa usada na precificação ou no corte.
  5. Considere o intervalo na precificação e na provisão, não apenas a estimativa pontual.
  6. Faça a validação e os testes out-of-time de sempre, seguindo a abordagem descrita em documentação de um modelo de credit scoring.

A validação e os testes out-of-time avaliam o modelo com dados que não foram usados no ajuste. Eles não aumentam a amostra nem acrescentam maus pagadores ao orçamento.

Perguntas frequentes

300 maus pagadores são suficientes para um scorecard?

Não existe um número mínimo que sirva para todos os casos. Com uma taxa de maus pagadores de 5%, 300 maus pagadores sustentam cerca de 9 graus de liberdade com Gini de 0,3, 28 com 0,5 e 63 com 0,7. O resultado depende do Gini esperado e do modelo planejado.

Uma variável WoE conta como um grau de liberdade?

A representação final no modelo pode mostrar um único coeficiente, mas as faixas foram ajustadas com base nos mesmos maus pagadores. Por isso, a ferramenta conta as faixas, usando um grau de liberdade a menos do que o número de faixas.

De quantos dados a mais o gradient boosting precisa?

O único estudo de simulação encontrou que florestas aleatórias, máquinas de vetor de suporte e redes neurais precisaram de mais de dez vezes os eventos por variável da regressão logística. O gradient boosting não foi incluído no estudo, então dez vezes é um piso baseado nele, não uma regra.

A validação out-of-time compensa uma amostra pequena?

Não. Ela testa o desempenho com dados que não foram usados no ajuste do modelo, respondendo a outra pergunta. Não acrescenta maus pagadores à amostra de desenvolvimento nem aumenta o orçamento de graus de liberdade.

Leve essas verificações para um fluxo de decisão

Crie regras para crédito, fraude ou cobrança e aplique-as a decisões em produção.