Como verificar viés no score de crédito antes de uma release

Fizemos esta verificação com uma base pública de dados de cartão de crédito, e o padrão observado veio dessas contas. Deixamos sexo, idade, estado civil e escolaridade fora do scorecard e, depois, comparamos as taxas de aprovação por grupo no ponto de corte. Todas as razões ficaram próximas de um. Se você responde pelo score, pode parecer tentador considerar isso suficiente e seguir em frente.

Mas não paramos nas aprovações. Ao dividir as mesmas contas em faixas de score, vimos que clientes mais jovens tinham taxas de maus pagadores menores em todas elas. A comparação das aprovações por grupo pode parecer equilibrada, mesmo quando o risco difere dentro das faixas. Considere as taxas de maus pagadores por faixa junto com os resultados no ponto de corte.

A aprovação parecida é só a primeira verificação

As características protegidas devem entrar na validação, não no ajuste do score. Na nossa base pública de cartões de crédito, mantivemos sexo, idade, estado civil e escolaridade fora do scorecard e reservados para a validação. Uma característica pode ajudar você a verificar se há viés nas decisões algorítmicas e viés nos dados, mas deve continuar fora do score.

No ponto de corte, a razão da taxa de aprovação de cada grupo ficou próxima de um.

GrupoParticipaçãoÍndice de aprovação
Menos de 3032%0.95
Mulheres60%1.04
Casados46%0.99
Pós-graduação35%1.09
60 ou mais1%0.90

É um primeiro resultado útil, mas não permite concluir como o score classifica o risco. Como as taxas de aprovação são fáceis de comparar e parecem tranquilizadoras quando estão próximas, algumas equipes param por aí. Mas o ponto de corte transforma uma classificação em aprovações e recusas, e um grupo ainda pode ter uma taxa de maus pagadores diferente da de outros clientes com o mesmo score.

Compare as taxas de maus pagadores dentro de cada faixa de score

A taxa de maus pagadores dentro de cada faixa mostra se os resultados são parecidos entre grupos com scores na mesma faixa. Dividimos as contas em cinco faixas de score e comparamos, em cada faixa, a taxa de maus pagadores de cada grupo com a dos demais. Uma diferença negativa significa que o grupo teve menos inadimplência que os demais na mesma faixa, então o score o classificou como mais arriscado do que os resultados observados indicam. Uma diferença positiva significa que o score classificou o grupo como menos arriscado do que os resultados observados indicam.

Os clientes com menos de 30 anos tiveram menos inadimplência que os demais em todas as faixas. Na faixa intermediária, a taxa de maus pagadores foi de 13,5%, contra 15,9% entre os demais. O score também os aprovou com um pouco menos de frequência. Assim, o score recusa alguns clientes com menos de 30 anos que pagam melhor do que ele prevê.

Uma diferença que se mantém nas cinco divisões aleatórias da base é mais informativa do que um resultado de uma única divisão. Para os quatro primeiros grupos, a variação entre as divisões ficou abaixo de um ponto percentual. O resultado para pessoas com 60 anos ou mais variou demais para ser interpretado, então não inclua essa diferença nas suas conclusões.

Compare as taxas de maus pagadores por faixa em várias divisões da base, inclusive quando a razão de aprovação está próxima de um ou o resultado de uma faixa varia muito.

Investigue o campo por trás de uma diferença persistente

Uma diferença persistente indica o que investigar, mas não aponta qual campo deve ser removido. Entre os campos do score, o limite de crédito foi o que mais variou em relação à idade abaixo de 30 anos. O limite é o valor que o emissor decidiu conceder a cada cliente, e a mediana para os menores de 30 anos foi cerca de metade da dos demais. O score interpretou um limite baixo como sinal de risco.

É assim que um campo preditivo pode levar para o score uma decisão anterior do próprio credor. O campo também registra o que o emissor já havia decidido sobre o cliente.

Na base analisada, nenhum campo explicou as diferenças observadas entre mulheres ou entre clientes casados. É tentador tentar encontrar uma explicação, porque uma diferença sem causa identificada é mais difícil de tratar. Mantenha-a visível e só atribua uma causa quando houver evidências.

Para cada grupo com uma diferença persistente, identifique o campo mais associado a ele e verifique se esse campo registra uma decisão anterior do credor.

Leve essas verificações para um fluxo de decisão

Crie regras para crédito, fraude ou cobrança e aplique-as a decisões em produção.

Depois de alterar um campo, verifique todos os grupos

Uma alteração que reduz a diferença para um grupo precisa ser verificada novamente para todos os grupos. Substituímos o limite de crédito pela taxa de utilização, calculada dividindo a última fatura pelo limite. A taxa de utilização mantém a informação sobre o quanto o cliente está comprometido e deixa de refletir o valor que o emissor decidiu conceder.

Os valores nas duas colunas são a diferença média, em pontos percentuais, nas cinco faixas de score.

GrupoCom limiteCom utilização
Menos de 30-1.5-0.5
Mulheres-1.9-1.9
Casados+2.8+2.3
Pós-graduação-0.5-1.3
60 ou mais+4.6+4.0

Depois da alteração, a diferença para os menores de 30 anos diminuiu, mas a diferença para o grupo de pós-graduação aumentou. O resultado para mulheres permaneceu igual, e a diferença para os clientes casados diminuiu um pouco. O limite também tinha relação com a escolaridade, então removê-lo mudou o resultado do score para o grupo de pós-graduação.

O Gini praticamente não mudou, e a taxa de maus pagadores da carteira aprovada permaneceu em 13,1%. O score manteve seu poder preditivo geral, mas os erros se distribuíram de outra forma entre os grupos.

A comparação por faixa importa porque uma diferença média pode esconder o que acontece nos intervalos de score em que o ponto de corte é aplicado.

Comparação por faixa de score entre clientes com menos de 30 anos e os demais: a diferença na mesma faixa cai de -1,5 para -0,5 ponto
Taxa de maus pagadores por faixa de score: clientes com menos de 30 anos e os demais (dados de cartão de crédito da UCI)

Quando o score usava o limite, os clientes com menos de 30 anos tiveram menos inadimplência em todas as faixas. A alteração reduziu a diferença para esse grupo, mas não resolveu o resultado de todos os grupos. Repita a verificação por faixa para cada grupo depois de cada alteração.

Faça o backtest do score alterado antes da release

Um backtest mostra quais decisões anteriores seriam alteradas pelo score ajustado. Ele executa uma release com base nas decisões já tomadas e informa todas as mudanças, tanto nas aprovações quanto nas recusas, além dos resultados efetivos quando constam do histórico. Essas mudanças afetam quem entra na carteira, então os resultados anteriores ajudam você a avaliar as consequências antes de colocar o score em produção.

Antes da release, aplique o score alterado às decisões anteriores e avalie quais aprovações e recusas mudariam, incluindo os resultados observados quando disponíveis.

Faça a verificação completa do seu score

Se você responde por um score cujas razões de aprovação por grupo estão próximas de um, esta é a próxima verificação.

  1. Deixe as características protegidas fora do ajuste do score e mantenha dados separados disponíveis para a verificação.
  2. Calcule as razões de aprovação por grupo. Se todas estiverem próximas de um, continue a análise.
  3. Compare a taxa de maus pagadores de cada grupo com a dos demais dentro de cada faixa de score, usando mais de uma divisão da base.
  4. Para grupos com uma diferença persistente, identifique o campo mais associado a eles e verifique se esse campo registra uma decisão anterior do credor.
  5. Altere o campo, reconstrua o score e repita a verificação por faixa para todos os grupos.
  6. Faça o backtest do score alterado com decisões anteriores e avalie o que mudaria antes da release.

Perguntas frequentes sobre como verificar viés no score de crédito

Como verificar se há viés no score de crédito?

Deixe as características protegidas fora do ajuste do score, compare as razões de aprovação por grupo e, depois, compare a taxa de maus pagadores de cada grupo com a dos demais dentro de cada faixa de score, em várias divisões da base. Investigue os campos por trás das diferenças persistentes e repita as verificações por grupo depois de qualquer alteração.

Remover características protegidas do score é suficiente?

Não. O score pode deixar de usar características protegidas e ainda assim classificar mal um grupo por causa de outros campos. Verifique os resultados dentro das faixas de score e também as taxas de aprovação no ponto de corte.

Por que as taxas de aprovação podem ser parecidas mesmo quando o score erra para um grupo?

As taxas de aprovação resumem quem ficou acima do ponto de corte. Dentro de uma faixa de score, clientes com scores parecidos ainda podem ter taxas de maus pagadores diferentes. Essa diferença revela algo que a comparação no ponto de corte não mostra.

O que fazer quando não há um campo que explique a diferença?

Mantenha a diferença visível e não atribua uma causa nem altere um campo sem evidências. A verificação não estabelece um limite aceitável para essa diferença.

Como a alteração afetou a diferença para menores de 30 anos e o poder preditivo?

A diferença para clientes com menos de 30 anos caiu de menos 1,5 para menos 0,5 ponto percentual, mas não desapareceu. O Gini praticamente não mudou, e a taxa de maus pagadores da carteira aprovada permaneceu em 13,1%. A diferença para o grupo de pós-graduação aumentou, então verifique novamente todos os grupos.

Leve essas verificações para um fluxo de decisão

Crie regras para crédito, fraude ou cobrança e aplique-as a decisões em produção.