Por que as características do produto elevam seu scorecard

O scorecard passou na validação. Veja o que ele aprendeu.

Você desenvolveu ou comprou um scorecard com base na carteira aprovada da sua instituição. A AUC da validação parece convincente e o trabalho de modelagem parece concluído. Mas, antes de confiar nas principais características, separe-as em dois grupos: informações sobre o tomador e informações sobre o empréstimo que sua instituição escolheu oferecer.

A diferença é marcante. Ela aparece no arquivo público de aprovações de empréstimos do programa SBA sete-a da Small Business Administration dos EUA usado nesta análise: no conjunto de 112.000 empréstimos da amostra, as características dos tomadores fizeram as taxas de baixa para prejuízo variarem cerca de duas vezes. Por setor, a variação foi de 2,29% a 5,14%; entre os empregos mantidos, de 2,15% a 4,19%.

As características do empréstimo fizeram o mesmo resultado variar vinte e quatro vezes. Em empréstimos com prazo de até 42 meses, a taxa de baixa para prejuízo na carteira completa foi de 14,94%. Nos empréstimos com prazo superior a 120 meses, foi de 0,62%. A faixa de prazo mais longa tinha 1.270 empréstimos e nenhuma baixa para prejuízo.

A parte dos empréstimos nesta carteira varia vinte e quatro vezes, de 0,62% a 14,94%. A parte dos tomadores varia cerca de duas vezes.
A parte dos empréstimos nesta carteira varia vinte e quatro vezes, de 0,62% a 14,94%. A parte dos tomadores varia cerca de duas vezes.

Esse é o primeiro alerta. O tomador não é o mesmo que o empréstimo. Prazo, percentual de garantia, garantia real, valor aprovado, programa e taxa de juros descrevem o que o credor decidiu oferecer, a que preço e dentro de qual programa. Não são informações puras sobre o tomador. É preciso interpretar o percentual de garantia com cuidado: neste arquivo, ele é um parâmetro de um programa de empréstimos do governo dos Estados Unidos, não uma decisão de preço de um credor comercial. Na sua carteira, as colunas equivalentes são prazo, garantia real, valor aprovado, programa e taxa de juros definidos na precificação e no desenho dos seus produtos. O credor define a taxa de juros, em parte, com base no risco. Por isso, essa é a coluna mais circular do arquivo.

A primeira execução mediu as escolhas do credor

Os dados vieram do arquivo público de aprovações do programa SBA sete-a. Ele reúne aprovações entre 2010 e 2016. Foram excluídos os empréstimos cancelados e outras 200 linhas sem data do primeiro desembolso, sem prazo ou com valor de aprovação igual a zero. Em seguida, foram selecionadas 4.000 aprovações por trimestre, para que todas as safras tivessem o mesmo peso. A divisão por período resultou em 78.400 linhas para treinamento e 33.600 para validação.

O resultado analisado foi a baixa para prejuízo ocorrida até 60 meses após o primeiro desembolso. A taxa de baixa para prejuízo da carteira foi de 3,90%. No treinamento, ficou em 3,79% e, na validação, em 4,16%.

A primeira execução produziu uma AUC de 0,8443 no treinamento e 0,8608 fora da amostra. A principal característica era uma quantidade criada a partir da taxa de juros, do percentual de garantia e do prazo em meses. Ela não tinha uma unidade de medida significativa. A quantidade combinava três decisões do credor e apresentava o resultado como risco.

O achado mais forte foi um limite aplicado a essa quantidade. No treinamento, 28.560 empréstimos acima do limite tiveram uma taxa de baixa para prejuízo de 9,50%, contra 3,79% na carteira. O valor de informação no treinamento foi 1,708, e o ganho fora da amostra foi 3,20. Os nove principais achados tinham a mesma estrutura: proporções calculadas a partir das próprias condições do empréstimo. Nenhum identificava o tomador.

O modelo não foi mal ajustado. O ajuste foi feito corretamente, mas com um alvo inadequado. O motivo estava no desenho do empréstimo. Ele realmente previa o resultado porque refletia decisões que o credor já havia tomado.

Excluir as condições do produto não resolveu o problema

A primeira restrição foi simples: cada quantidade derivada precisava incluir pelo menos uma característica do tomador. Isso não impediu a criação das proporções. Na execução seguinte, elas ainda eram calculadas com base no percentual de garantia, nos empregos mantidos, no valor aprovado e no prazo. A AUC de validação subiu para 0,8524. O principal achado ainda teve um ganho de 3,13 fora da amostra.

Uma característica do tomador foi incluída. Mas nada mudou: as mesmas condições do empréstimo continuaram determinando o resultado e no centro do achado.

Uma nova execução reduziu a dissimulação. A AUC de validação caiu para 0,6405 e o ganho do principal achado caiu para 1,78. Mesmo assim, três das oito quantidades derivadas ainda incluíam uma condição do produto no cálculo. A decisão sobre o produto não desapareceu. Apenas mudou de disfarce.

Leve essas verificações para um fluxo de decisão

Crie regras para crédito, fraude ou cobrança e aplique-as a decisões em produção.

A execução corrigida pareceu pior porque foi mais honesta

A execução corrigida usou duas regras. Primeiro, uma quantidade derivada precisava separar melhor os resultados do que a estrutura que usava apenas as condições do produto. Uma condição do produto podia aparecer como prestação em uma proporção de capacidade de pagamento ou como divisor. Não podia entrar como uma parcela independente da soma.

Essa diferença importa. A relação entre a prestação e a renda representa algo que uma política de crédito pode de fato avaliar. Já combinar taxa, percentual de garantia e prazo em uma proporção inventada apenas mistura escolhas do próprio credor.

Com a mesma carteira e o mesmo resultado, a execução corrigida produziu uma AUC de 0,6407 no treinamento e 0,6277 fora da amostra. O principal achado teve um ganho de 1,19 fora da amostra. O scorecard manteve seis características: duas quantidades derivadas, setor, forma jurídica, divisão censitária e condição de franquia.

As duas variáveis derivadas que permaneceram ainda continham termos do produto: uma usava empregos mantidos, prazo, percentual de garantia e valor, e a outra usava empregos mantidos, prazo, valor e taxa de juros. O empréstimo continuou no modelo. A correção removeu combinações de condições do produto que, por si só, se passavam por risco do tomador.

A regra corrigida ainda está em código em desenvolvimento, não é uma alteração liberada. Ela está sendo testada com o arquivo público. O teste executou quatro testes e 168 verificações, todas aprovadas, em 1 minuto e 48 segundos. Foram verificados a ausência de condições de produto ou canal nos achados e o bloqueio de quantidades calculadas apenas com condições do produto.

O sinal existe. Deixe-o visível para o comitê.

Nas linhas de validação, em que todas as comparações mantiveram a taxa de aprovação em 80%, o scorecard honesto ainda encontrou uma separação útil. Aprovar todos resultou em uma taxa de maus pagadores de 4,16%. Um ponto de corte para o scorecard honesto resultou em 3,45%. Com um ponto de corte próprio para cada faixa de prazo, a taxa foi de 2,59%.

O scorecard que dissimulava as condições do produto resultou em 1,50% com um único ponto de corte. O resultado foi melhor. Isso aconteceu porque o scorecard usou continuamente os números do produto e escondeu a grade de produtos dentro de uma pontuação.

A mesma pontuação e a mesma taxa de aprovação de 80%. Um ponto de corte próprio para cada faixa de prazo reduz a taxa de maus pagadores de 3,45% para 2,59%.
A mesma pontuação e a mesma taxa de aprovação de 80%. Um ponto de corte próprio para cada faixa de prazo reduz a taxa de maus pagadores de 3,45% para 2,59%.

A distinção surgiu de uma análise separada, feita manualmente, com uma amostra extraída de forma independente. Um script externo à plataforma calculou o resultado. Ordenadas pela taxa de prejuízo por inadimplência na amostra de treinamento, as faixas de prazo tiveram taxa de maus pagadores de 2,43% na validação entre os empréstimos aprovados. A combinação de prazo, garantia e taxa resultou em 1,73%. Incluir o valor piorou o resultado, que passou a 1,83%, porque a grade ficou com poucos empréstimos por célula.

As versões baseadas apenas no tomador tiveram resultados mais fracos. O setor, sozinho, resultou em uma taxa de maus pagadores de 3,79% entre os empréstimos aprovados. Ao incluir tempo de atividade da empresa, forma jurídica, empregos mantidos e condição de franquia, os resultados ficaram entre 3,53% e 3,70%. A taxa-base de validação da amostra independente foi de 4,00%.

Apenas faixas, sem pontuação, com a mesma taxa de aprovação. Cálculo feito por um script com o arquivo público, fora da plataforma.
Apenas faixas, sem pontuação, com a mesma taxa de aprovação. Cálculo feito por um script com o arquivo público, fora da plataforma.

Vale a pena manter esse sinal. A questão é onde ele deve entrar. No score, pode parecer um dado sobre o tomador. No ponto de corte, passa a ser uma decisão sobre o produto, que o comitê de crédito pode ver, precificar e anular.

O que avaliar no seu scorecard

Veja as cinco principais características do seu scorecard. Para cada uma, pergunte quem a define.

  • A equipe de precificação define essa característica?
  • A equipe de produto escolhe essa característica?
  • A equipe de crédito determina essa característica como parte da oferta?
  • Olhe além do nome. É uma característica do tomador ou uma consequência do empréstimo que você ofereceu?

As taxas exatas variam de acordo com a amostra. Em seleções independentes com a mesma estrutura, a taxa da carteira variou de 3,71% a 3,83%, e os menores segmentos oscilaram mais. Mas a tendência se manteve. Nesta carteira pública, as condições dos empréstimos separaram muito mais os resultados do que as características dos tomadores.

A principal característica do seu scorecard pode refletir uma decisão da sua própria instituição. A resposta não é excluir um sinal real. Identifique-o e tire-o da pontuação do tomador. Coloque-o em um ponto de corte ou na política de produto, onde seu significado fique visível.

Perguntas frequentes

Como avaliar as principais características antes de mudar um scorecard?

Volte aos dados de origem de cada uma das cinco principais características e pergunte quem as define. Separe as informações sobre o tomador das condições escolhidas pelas equipes de precificação, produto ou crédito. Depois, teste o scorecard sem combinações que usem apenas condições do produto. Uma característica que inclui um dado do tomador não é automaticamente um sinal sobre ele. Veja o que ela representa e se acrescenta poder de separação além das próprias condições da oferta.

Quando uma condição do produto pode permanecer em uma característica derivada do scorecard?

Mantenha uma condição do produto em uma característica derivada quando a relação tiver um significado claro para o crédito, como a prestação em relação à renda. Teste se ela agrega valor além das condições do produto consideradas isoladamente. Avalie essa relação em safras posteriores e nos segmentos de empréstimo relevantes. Se uma combinação de condições definidas pelo credor prevê baixas para prejuízo, mas não tem uma interpretação clara sobre o tomador, trate-a como política de produto, não como risco do tomador.

Onde colocar condições do empréstimo que preveem o resultado, mas não devem determinar a pontuação do tomador?

Teste condições do empréstimo, como prazo, valor e taxa de juros, em pontos de corte ou na política de produto. Assim, o comitê pode ver quais decisões elas influenciam. Compare as taxas de maus pagadores com a mesma taxa de aprovação e confira o número de empréstimos e de baixas para prejuízo em cada segmento. Pontos de corte muito detalhados podem parecer atraentes quando há poucos empréstimos em cada grupo. Se os resultados forem instáveis, use faixas mais amplas ou regras mais simples.

Leve essas verificações para um fluxo de decisão

Crie regras para crédito, fraude ou cobrança e aplique-as a decisões em produção.