Documentação de modelos de score de crédito

Para uma instituição financeira, um modelo de score de crédito é uma ferramenta importante para avaliar a capacidade de crédito dos clientes. Para manter a precisão e a confiabilidade do modelo, você precisa de uma documentação clara e completa.

Objetivos da documentação do modelo para a gestão

  • Deixar o modelo transparente e fácil de entender para as partes interessadas.
  • Apresentar com clareza o desempenho e as limitações do modelo.
  • Descrever as premissas, os métodos e os resultados do modelo, incluindo possíveis fontes de viés ou erro.

Como documentar a seleção da amostra

O primeiro ponto é documentar os métodos de amostragem usados no desenvolvimento e na validação, além de qualquer validação com dados de períodos posteriores. Essas informações mostram como o modelo se comporta e se representa a população à qual será aplicado.

Métodos de amostragem para desenvolver um modelo preditivo

  1. Amostragem aleatória simples: método básico em que todos os integrantes da população têm a mesma chance de ser selecionados. É comum quando o objetivo é obter uma amostra representativa.
  2. Amostragem estratificada: divide a população em subgrupos com base em características específicas e, em seguida, seleciona uma amostra aleatória de cada grupo. É útil quando a amostra precisa refletir essas características.
  3. Amostragem por conglomerados: divide a população em grupos e seleciona uma amostra aleatória desses grupos. Todos os integrantes dos grupos selecionados são incluídos. É comum quando não é viável listar cada integrante da população.
  4. Amostragem sistemática: começa em um ponto aleatório e seleciona, a partir dele, cada n-ésimo integrante da população. É comum para formar uma amostra com intervalos regulares.
  5. Amostragem por conveniência: seleciona integrantes da população de acordo com a disponibilidade ou facilidade de acesso. Pode agilizar a coleta de dados, mas também introduzir viés se a amostra não for aleatória.

Como avaliar a estabilidade e o desempenho de um modelo preditivo

Em seguida, avalie a estabilidade do modelo, tanto em relação ao poder preditivo geral quanto à consistência mês a mês. Técnicas como a curva ROC ajudam a identificar possíveis problemas. Avalie também a estabilidade do valor da informação dos atributos usados no modelo para confirmar que eles geram resultados consistentes.

Métricas para avaliar o desempenho de um modelo preditivo

  1. Acurácia: mede a porcentagem de previsões corretas do modelo. É uma métrica comum para avaliar o desempenho preditivo.
  2. Precisão: mede a proporção de previsões positivas que estão corretas. Costuma ser analisada junto com a acurácia para dar uma visão mais completa do desempenho.
  3. Sensibilidade (recall): mede a proporção de casos positivos reais que o modelo identifica corretamente. É útil quando é importante identificar todos os casos positivos, mesmo que aumentem os falsos positivos.
  4. Escore F1: média ponderada entre precisão e sensibilidade. Costuma ser usado como uma única métrica de resumo.
  5. AUC-ROC: mede a capacidade do modelo de distinguir casos positivos de negativos. É calculada ao comparar a taxa de verdadeiros positivos com a taxa de falsos positivos em diferentes pontos de corte e costuma ser usada em modelos de classificação binária.
  6. Matriz de confusão: mostra o número de previsões de verdadeiros positivos, verdadeiros negativos, falsos positivos e falsos negativos. Ajuda a identificar em quais casos o modelo tem baixo desempenho.
  7. Perda logarítmica: mede a qualidade das probabilidades previstas pelo modelo para um resultado. Costuma ser usada em modelos que fornecem probabilidades, como os de classificação binária.

Leve essas verificações para um fluxo de decisão

Crie regras para crédito, fraude ou cobrança e aplique-as a decisões em produção.

Impacto da sazonalidade

Também é importante documentar os efeitos sazonais que possam afetar a amostra selecionada para o modelo. Esses efeitos podem alterar significativamente o desempenho. Por isso, registre-os e leve-os em conta na documentação.

Exemplos de efeitos sazonais que podem afetar um modelo preditivo

  1. Variações sazonais na demanda por produtos ou serviços, como a procura maior por seguro-viagem no verão
  2. Mudanças sazonais nas condições econômicas, como o aumento do desemprego no inverno
  3. Variações sazonais no clima, como uma probabilidade maior de desastres naturais em determinadas épocas do ano
  4. Mudanças sazonais no comportamento dos consumidores, como o aumento dos gastos no período de festas

Como avaliar e documentar vieses do modelo

Analise e documente também possíveis vieses do modelo. Se ele substituir um modelo existente, uma tabela cruzada das mudanças de faixa de classificação pode ajudar a avaliar o desempenho e a eficácia.

Cinco possíveis vieses em um modelo preditivo

  1. Viés de amostragem: ocorre quando a amostra usada para desenvolver o modelo não representa a população à qual ele será aplicado.
  2. Viés de seleção: ocorre quando a amostra usada no desenvolvimento do modelo não é selecionada aleatoriamente e pode ser influenciada por fatores como a disponibilidade dos dados ou as preferências de quem desenvolve o modelo.
  3. Viés de confirmação: ocorre quando quem desenvolve o modelo considera apenas os dados que confirmam crenças ou hipóteses existentes e ignora os que apontam em outra direção.
  4. Sobreajuste: ocorre quando o modelo é complexo demais e se ajusta excessivamente aos dados disponíveis, o que prejudica sua capacidade de generalização.
  5. Subajuste: ocorre quando o modelo é simples demais e treinado com poucos dados, o que reduz seu poder preditivo.

Conclusão

Uma documentação clara do modelo de score de crédito é importante para obter resultados consistentes e confiáveis. Ao registrar os principais aspectos do desenvolvimento e da validação, você facilita a avaliação, a explicação e a defesa do modelo.

Perguntas frequentes

Como dividir os dados para desenvolver e validar um modelo de score de crédito?

Use períodos mais antigos no desenvolvimento e reserve o período mais recente, com resultados de pagamento já suficientemente consolidados, para a validação temporal. Mantenha juntas as solicitações do mesmo período e verifique se a janela de validação inclui condições sazonais ou econômicas relevantes. Uma divisão aleatória pode ser útil durante o desenvolvimento, mas não substitui os testes com solicitações posteriores, pois pode ocultar mudanças ao longo do tempo.

Quais métricas incluir no monitoramento regular do score de crédito?

Acompanhe a discriminação, a calibração e os resultados nos pontos de corte usados pela sua política. A AUC mostra se o modelo ordena os solicitantes por risco, enquanto as taxas observadas de inadimplência por faixa de score indicam se o risco previsto corresponde à experiência. Registre também as taxas de aprovação e o número de bons pagadores e maus pagadores em cada ponto de corte. A acurácia ou o escore F1, considerados isoladamente, podem ocultar o custo de aprovações indevidas e recusas indevidas.

Como escolher e documentar o ponto de corte do score de crédito?

Defina o ponto de corte de acordo com seu apetite a risco e a economia do produto. Depois, compare as perdas esperadas e o volume de aprovações entre alternativas viáveis. Registre a definição do resultado, o período de observação, as premissas e os trade-offs que embasaram a escolha. Verifique se o desempenho muda perto do limite, pois uma pequena diferença no score pode provocar uma mudança brusca na política sem que os dados a justifiquem.

Com que frequência devemos revisar o desempenho e a documentação de um modelo de score de crédito?

Como ponto de partida, analise os resultados do monitoramento mensalmente e programe uma validação completa pelo menos uma vez por ano. Faça isso antes se houver mudanças significativas na carteira, nos dados, no produto ou no modelo. Aguarde tempo suficiente para que os resultados de pagamento amadureçam antes de considerar uma mudança como sinal de deterioração. As equipes muitas vezes confundem uma mudança no perfil dos solicitantes com a perda de desempenho do modelo. Por isso, compare as mudanças na população com as mudanças no desempenho.

Leve essas verificações para um fluxo de decisão

Crie regras para crédito, fraude ou cobrança e aplique-as a decisões em produção.