Inferência de rejeitados: teste cada regra antes de substituí-la
Fizemos um teste semelhante ao que um credor faria com dois conjuntos de dados públicos e resultados conhecidos: um de cartão de crédito e as solicitações públicas de crédito HELOC da FICO. Começamos por um procedimento familiar: aplicamos uma regra de recusa e desenvolvemos o scorecard com as solicitações aprovadas por ela. Nos dados de cartão, a regra recusava quem estava com o pagamento do mês anterior atrasado. Na análise das variáveis, o campo que registrava esse atraso apresentou valor da informação de 0,02, abaixo do ponto de corte usual e, portanto, fácil de excluir. O resultado não parecia fora do comum. Parecia uma etapa rotineira de revisão em uma planilha de desenvolvimento de modelos. Mas, se a sua política já tomou uma decisão com base nesse campo, o baixo valor da informação revela algo sobre o risco de crédito ou sobre a seleção dos candidatos?
O que os métodos estimaram para o grupo recusado
Comparamos o scorecard desenvolvido com contas aprovadas com métodos comuns de inferência de rejeitados. Cada método parte desse scorecard, faz uma suposição sobre as contas recusadas e usa os resultados inferidos para desenvolver outro scorecard. Inferência de rejeitados é uma estimativa da qualidade de crédito de candidatos recusados quando não há dados sobre o desempenho deles. A tabela mostra o que cada abordagem estimou para esse grupo, em comparação com a taxa real de maus pagadores em cada conjunto de dados.
| Método | Dados de cartão | Dados HELOC |
|---|---|---|
| Taxa real de maus pagadores | 50.4% | 72.4% |
| Todos os resultados conhecidos | 50.5% | 72.5% |
| Apenas aprovados | 18.9% | 71.6% |
| Fuzzy augmentation | 20.3% | 71.8% |
| Hard cutoff | 80.7% | 90.1% |
| Parceling | 29.1% | 90.8% |
O fuzzy augmentation inclui cada conta recusada duas vezes, atribuindo a ela um peso de bom pagador e outro de mau pagador, de acordo com a probabilidade estimada pelo primeiro scorecard. Depois, usa essas estimativas em um novo scorecard. O hard cutoff classifica cada conta recusada como bom ou mau pagador, conforme o risco estimado em comparação com a conta aprovada mediana. O parceling divide as contas recusadas em faixas de score e estima os maus pagadores em uma proporção maior, com base nas contas aprovadas de cada faixa. São suposições aplicadas às contas recusadas, não resultados observados.
Nos dados de cartão, nenhum método chegou perto da taxa real de maus pagadores. Nos dados HELOC, o scorecard desenvolvido apenas com aprovados já estava próximo do resultado real, e os métodos que o ajustaram elevaram demais a estimativa. O resultado depende do que a regra de recusa ocultou, não da escolha de um modelo mais elaborado.
A regra de recusa ocultou o padrão de risco do campo
Com as contas aprovadas, o scorecard de cartão não conseguiu aprender a relação entre atrasos nos pagamentos e maus resultados, porque a regra de recusa já havia excluído as contas com esses atrasos. O gráfico de valor da informação compara esse campo em todas as contas e apenas nas contas aprovadas.
Considerando todas as contas, a situação de pagamento no mês anterior era o campo mais forte. Entre as contas aprovadas, seu valor da informação ficou no ponto de corte usual para exclusão. Isso reflete a seleção, não a ausência de relação entre o campo e o risco.
Entre as contas aprovadas, esse campo indicava, na maioria dos casos, que o cartão não havia sido usado, que a fatura fora paga integralmente ou que havia saldo financiado. As taxas de maus pagadores não mostravam uma tendência clara. As contas com pagamentos atrasados, que concentravam o padrão de risco, estavam no grupo recusado. O scorecard desenvolvido apenas com aprovados não tinha exemplos desses valores para aprender. Uma regressão logística simples chegou a indicar que atrasos maiores representavam menos risco nos dados aprovados, o oposto do que mostravam os resultados de todas as contas.
Por isso, os métodos de inferência não acertaram nos dados de cartão. Todos partem de um scorecard desenvolvido com uma população na qual a regra de recusa já eliminou a relação que o score precisa estimar.
Um grupo de teste aleatório mede os recusados
Os dados apenas de aprovados não resolvem o problema de seleção. Para medir o grupo recusado, aprove aleatoriamente uma parte dos candidatos que cada regra de recusa rejeitaria, identifique esses empréstimos como grupo de teste e aguarde os resultados. Faça isso separadamente para cada regra, pois cada uma seleciona um grupo diferente.
A tabela mostra a precisão da medição da taxa de maus pagadores no grupo de cartão, com diferentes tamanhos de grupo de teste.
| Parcela aprovada | Empréstimos | Intervalo medido |
|---|---|---|
| 2% | about 80 | 41% to 60% |
| 5% | about 200 | 45% to 56% |
| 10% | about 400 | 46% to 54% |
Em várias amostragens aleatórias das contas de cartão recusadas, um grupo de teste com cerca de duzentos empréstimos mediu a taxa de maus pagadores em um intervalo de aproximadamente onze pontos percentuais na maioria das amostragens. Um grupo menor resultou em um intervalo mais amplo, e um maior, em um intervalo mais estreito. O tamanho adequado depende do grupo que você precisa medir. Use a calculadora de champion challenger para dimensionar o teste para a sua decisão. Consulte também o guia sobre quanto tempo o teste precisa durar.
Mantenha o grupo de teste separado para medir os resultados. No nosso teste, incluir um grupo pequeno apenas no desenvolvimento do scorecard não fez a estimativa do scorecard WoE corresponder à taxa real. Um modelo pode usar os resultados do grupo de teste no desenvolvimento e ainda assim não medir a taxa de maus pagadores do grupo. Os resultados observados nesse grupo são a evidência.
Compare a estimativa com o intervalo medido pelo grupo de teste
Quando o grupo de teste tiver resultados, compare a taxa de maus pagadores medida com a estimativa do scorecard para o mesmo grupo recusado. A figura compara cada estimativa com o intervalo medido pelo grupo de teste aleatório.
Nos dados de cartão, a taxa estimada pelo scorecard ficou bem abaixo do intervalo medido pelo grupo de teste. Nos dados HELOC, a estimativa ficou dentro do intervalo. O primeiro scorecard não conseguia precificar o grupo de cartão, enquanto o scorecard desenvolvido apenas com aprovados já estava próximo do resultado para o grupo HELOC. Essa comparação diferencia os dois casos.
A recalibração ajusta a média, não a ordenação
Se a estimativa do scorecard não corresponder à taxa medida pelo grupo de teste, você pode recalibrar o score para aquele grupo recusado. Calcule o score dos empréstimos do grupo de teste e ajuste o nível do score até que a estimativa média corresponda à taxa de maus pagadores medida. Isso altera o nível, mas não a ordenação dos candidatos dentro do grupo.
A tabela compara as estimativas do scorecard antes e depois da recalibração com a taxa real de maus pagadores no nosso experimento.
| Conjunto de dados | Antes | Depois | Real |
|---|---|---|---|
| Dados de cartão, cerca de 210 empréstimos | 18.9% | 50.6% | 50.4% |
| Dados HELOC, cerca de 66 empréstimos | 71.6% | 70.7% | 72.4% |
Nos dois conjuntos de dados, a recalibração aproximou a estimativa média da taxa real. Mas acertar a média do grupo não mostra se o score consegue distinguir os melhores riscos dos piores dentro dele. Corrigir a média, por si só, não justifica substituir a regra de recusa pelo score.
Use o Gini do grupo de teste para decidir se a regra pode ser retirada
Consulte o Gini do score no grupo de teste para avaliar se ele consegue ordenar os riscos dentro do grupo recusado. A tabela mostra o intervalo dos valores de Gini em diferentes grupos de teste aleatórios.
| Conjunto de dados | Grupo de teste | Intervalo de Gini |
|---|---|---|
| Dados de cartão | 5%, cerca de 200 empréstimos | -0.16 to 0.11 |
| Dados de cartão | 10%, cerca de 400 empréstimos | -0.12 to 0.06 |
| Dados HELOC | 5%, cerca de 66 empréstimos | 0.18 to 0.65 |
| Dados HELOC | 10%, cerca de 130 empréstimos | 0.26 to 0.58 |
Nos dados de cartão, o Gini do score ficou perto de zero mesmo com um grupo de teste maior. O score não conseguia ordenar os bons e maus pagadores dentro do grupo recusado, então a recalibração não o tornou um substituto para a regra. Nos dados HELOC, o Gini ficou acima de zero, indicando que o score conseguia ordenar o grupo recusado. Com o nível recalibrado, um ponto de corte poderia substituir a regra.
Antes de alterar a regra do HELOC, faça um backtest da release proposta com base em decisões anteriores de produção e analise as solicitações que a mudança aprovaria ou recusaria pela primeira vez. Use a calculadora de swap set para avaliar quais solicitações mudariam de lado.
Como fazer inferência de rejeitados na sua carteira
Na análise das variáveis dos dados de cartão, não decida manter ou excluir uma variável apenas com base no valor de informação calculado entre os aprovados quando a regra de recusa excluiu justamente os valores que mostram sua relação com o risco.
Siga este procedimento para cada regra de recusa:
- Liste as regras de recusa que precisam ser avaliadas.
- Para cada regra, aprove uma pequena amostra de teste aleatória por meio de uma divisão aleatória no fluxo de decisão. Identifique os empréstimos da amostra e acompanhe seus resultados.
- Quando os resultados estiverem disponíveis, compare a taxa de maus pagadores medida na amostra com a previsão do score para esse grupo.
- Recalibre o nível do score.
- Analise o Gini do score na amostra. Se estiver perto de zero, mantenha a regra de recusa, pois o score não consegue ordenar o risco dentro do grupo. Se estiver claramente acima de zero, faça um backtest da mudança proposta e avalie as contas que seriam aprovadas pela primeira vez antes de deixar um ponto de corte substituir a regra.
Quando outros campos registrarem o mesmo histórico, comece pelo scorecard desenvolvido apenas com aprovados. Os métodos de inferência de rejeitados ajustam essa estimativa com base nas próprias suposições.
Perguntas frequentes sobre inferência de rejeitados
Qual método de inferência de rejeitados funciona melhor?
No nosso teste, os métodos ficaram longe da taxa real de maus pagadores no grupo de cartão. Nos dados HELOC, o scorecard desenvolvido apenas com aprovados já estava próximo do resultado real, e os métodos que o ajustaram elevaram demais a estimativa.
Por que um campo forte apresenta baixo valor da informação em empréstimos aprovados?
A regra de recusa excluiu os valores que continham o padrão de risco. Entre as contas de cartão aprovadas, o campo apresentava pouca variação na taxa de maus pagadores, embora fosse bastante preditivo quando todas as contas eram consideradas.
O fuzzy augmentation corrige o viés?
Não no nosso teste. O método inclui as contas recusadas com base nas probabilidades estimadas pelo primeiro scorecard e usa essas estimativas em um novo scorecard.
Quantos candidatos recusados um grupo de teste precisa ter?
Em sorteios repetidos entre as contas de cartão recusadas, uma amostra de teste de cinco por cento, com cerca de duzentos empréstimos, ficou entre 45% e 56% de taxa de maus pagadores em 90% dos sorteios. O tamanho necessário depende do grupo analisado.
O gradient boosting evita esse problema?
Não. Nos dados de cartão, ele estimou uma taxa de maus pagadores de 29.4% para o grupo recusado, contra a taxa real de 50.4%.