Score de crédit révisé : biais à vérifier avant déploiement

Nous avons réalisé ce contrôle sur un jeu de données public consacré aux cartes de crédit. Les résultats concernent ces comptes : le sexe, l’âge, la situation matrimoniale et le niveau d’études ont été exclus de la scorecard, puis les taux d’acceptation ont été comparés par groupe au seuil d’acceptation. Chaque ratio était proche de la parité. Si le score est le vôtre, il est tentant d’en rester là.

Le contrôle des taux d’acceptation ne suffit pas. Par tranche de score, les clients plus jeunes affichent un taux de mauvais payeurs inférieur dans chaque tranche. Les taux d’acceptation peuvent être similaires d’un groupe à l’autre, alors que le risque évalué diffère au sein des tranches. Les taux de mauvais payeurs par tranche complètent donc les résultats au seuil d’acceptation.

Le premier contrôle ne suffit pas

Les caractéristiques protégées servent au contrôle, pas à l’ajustement du score. Dans le jeu de données public sur les cartes de crédit, le sexe, l’âge, la situation matrimoniale et le niveau d’études ont été exclus de la scorecard et réservés à la validation. Une caractéristique peut aider à vérifier la présence d’un biais dans la prise de décision algorithmique et d’un biais lié aux données, tout en restant exclue du score.

Au seuil d’acceptation, le ratio de chaque groupe était proche de l’unité.

GroupePartRatio d’acceptation
Moins de 30 ans32%0.95
Femmes60%1.04
Personnes mariées46%0.99
Études supérieures35%1.09
60 ans et plus1%0.90

C’est un premier résultat utile, mais il ne suffit pas à conclure sur la façon dont le score évalue le risque. Les équipes peuvent s’en tenir à cette comparaison, car les taux d’acceptation sont faciles à comparer et leurs faibles écarts rassurent. Pourtant, le seuil transforme un classement en décisions d’acceptation et de refus. Un groupe peut encore afficher un taux de mauvais payeurs différent de celui des autres clients ayant le même score.

Comparer les taux de mauvais payeurs par tranche de score

Le taux de mauvais payeurs par tranche permet de vérifier si les groupes d’une même tranche de score présentent des résultats similaires. Les comptes ont été répartis en cinq tranches de score, puis le taux de mauvais payeurs de chaque groupe a été comparé à celui des autres comptes dans chaque tranche. Un écart négatif signifie que le groupe fait moins défaut que les autres dans la même tranche : le score l’évalue donc comme plus risqué que ne le suggèrent les résultats observés. Un écart positif signifie que le score évalue le groupe comme moins risqué que ne le suggèrent les résultats observés.

Les personnes de moins de 30 ans ont moins souvent fait défaut que les autres dans chaque tranche. Dans la tranche intermédiaire, leur taux de mauvais payeurs était de 13.5%, contre 15.9% pour les autres. Le score les acceptait aussi un peu moins souvent. Il refusait donc certains clients de moins de 30 ans qui remboursaient mieux que prévu.

Un écart qui se maintient sur les cinq découpages aléatoires est plus instructif qu’un résultat isolé. Pour les quatre premiers groupes, l’écart entre les résultats des découpages était inférieur à un point de pourcentage. Pour les personnes de 60 ans et plus, les résultats variaient trop d’un découpage à l’autre pour être interprétés. Il vaut mieux ne pas retenir cet écart dans les conclusions.

Comparez les taux de mauvais payeurs par tranche sur plusieurs découpages, y compris lorsque le ratio d’acceptation est proche de l’unité ou que le résultat d’une tranche est bruité.

Examiner le facteur à l’origine d’un écart persistant

Un écart persistant indique où chercher, pas quelle variable supprimer. Parmi les variables du score, la limite de crédit est celle qui varie le plus selon que les clients ont moins de 30 ans. Elle correspond au montant de crédit accordé par l’émetteur à chaque client. La limite médiane des moins de 30 ans était environ deux fois plus faible que celle des autres. Le score interprétait une limite basse comme un signe de risque.

Un facteur prédictif peut ainsi intégrer au score une décision antérieure du prêteur. La limite de crédit reflète déjà ce que l’émetteur avait décidé pour le client.

Dans ces données, aucun facteur n’expliquait les écarts observés pour les femmes et les personnes mariées. Il peut être tentant de chercher une explication à tout prix, car un écart dont la cause est inconnue est plus difficile à traiter. Gardez-le visible et ne lui attribuez une cause que si les éléments disponibles l’étayent.

Pour chaque groupe concerné par un écart persistant, repérez le facteur qui lui est le plus associé et vérifiez s’il reflète une décision antérieure du prêteur.

Intégrez ces contrôles à un flux de décision

Créez des règles de crédit, de fraude ou de recouvrement, puis appliquez-les aux décisions réelles.

Après un changement, contrôler à nouveau tous les groupes

La réduction de l’écart pour un groupe doit s’accompagner d’un nouveau contrôle pour tous les groupes. Nous avons remplacé la limite de crédit par le taux d’utilisation, calculé en divisant la dernière facture par la limite. Ce taux renseigne sur le niveau d’utilisation du crédit et ne reprend pas le montant accordé par l’émetteur.

Dans les deux colonnes, chaque valeur correspond à l’écart moyen sur les cinq tranches de score, en points de pourcentage.

GroupeLimite de créditTaux d’utilisation
Moins de 30 ans-1.5-0.5
Femmes-1.9-1.9
Mariés+2.8+2.3
Études supérieures-0.5-1.3
60 ans et plus+4.6+4.0

Après le changement, l’écart s’est réduit pour les moins de 30 ans, mais s’est creusé pour le groupe des études supérieures. Le résultat est resté identique pour les femmes, tandis que l’écart s’est légèrement réduit pour les personnes mariées. La limite de crédit était aussi associée au niveau d’études. La retirer a donc modifié l’évaluation des personnes ayant suivi des études supérieures.

Le Gini a très peu changé et le taux de mauvais payeurs du portefeuille accepté est resté à 13.1%. Le score a conservé son pouvoir prédictif global, mais les erreurs ne se répartissent plus de la même façon entre les groupes.

La comparaison par tranche est importante : un écart moyen peut masquer ce qui se passe dans les plages de score où s’applique le seuil d’acceptation.

Comparaison par tranche de score des moins de 30 ans et des autres : l’écart au sein d’une même tranche passe de -1.5 à -0.5 points
Taux de mauvais payeurs par tranche de score, moins de 30 ans et autres clients (données UCI sur les cartes de crédit)

Avec la limite de crédit, les moins de 30 ans faisaient moins souvent défaut dans chaque tranche. Le changement a réduit leur écart, mais n’a pas corrigé les résultats de tous les groupes. Après chaque changement, reprenez le contrôle par tranche pour tous les groupes.

Tester le score modifié sur l’historique avant son déploiement

Un backtest montre quelles décisions passées seraient modifiées par le score révisé. Il compare une version aux décisions déjà prises et indique les changements d’acceptation et de refus, ainsi que les résultats observés lorsque l’historique les contient. Ces changements déterminent quels clients entreraient dans le portefeuille. Les résultats passés permettent donc d’en évaluer les conséquences avant le déploiement du score.

Appliquez le score modifié aux décisions passées, puis examinez les acceptations et les refus qui auraient changé, ainsi que les résultats constatés lorsqu’ils sont disponibles, avant son déploiement.

Contrôler le score dans son ensemble

Si les ratios d’acceptation des groupes sont proches de l’unité pour un score dont vous avez la responsabilité, c’est le contrôle à effectuer ensuite.

  1. Exclure les caractéristiques protégées de l’ajustement du score et les conserver dans des données distinctes pour les contrôles.
  2. Calculer les ratios de taux d’acceptation par groupe. S’ils sont tous proches de l’unité, poursuivre l’analyse.
  3. Comparer le taux de mauvais payeurs de chaque groupe à celui des autres dans chaque tranche de score, sur plusieurs découpages.
  4. Pour un groupe dont l’écart persiste, repérer la variable qui lui est le plus liée et vérifier si elle reflète une décision antérieure du prêteur.
  5. Modifier cette variable, reconstruire le score et refaire le contrôle par tranche pour chaque groupe.
  6. Avant le déploiement, backtester le score modifié sur les décisions passées et examiner les décisions qui changeraient.

Questions fréquentes

Comment vérifier si un score de crédit présente un biais ?

Écartez les caractéristiques protégées de l’entraînement du score, comparez les ratios d’acceptation par groupe, puis comparez, pour chaque groupe, le taux de mauvais payeurs à celui des autres au sein de chaque tranche de score, sur plusieurs découpages. Examinez les facteurs associés aux écarts persistants et reprenez les contrôles par groupe après chaque changement.

Retirer les caractéristiques protégées du score suffit-il ?

Non. Même sans caractéristiques protégées, un score peut mal évaluer un groupe à partir d’autres facteurs. Examinez les résultats au sein des tranches de score, en plus des taux d’acceptation au seuil d’acceptation.

Pourquoi les taux d’acceptation peuvent-ils sembler égaux alors que le score évalue mal un groupe ?

Les taux d’acceptation indiquent quels clients dépassent le seuil d’acceptation. Au sein d’une même tranche de score, des clients dont les scores sont proches peuvent avoir des taux de mauvais payeurs différents. La comparaison au seuil ne révèle pas cet écart.

Que faire lorsqu’aucun facteur n’explique un écart ?

Gardez l’écart visible et ne lui attribuez pas de cause ni ne modifiez un facteur sans éléments à l’appui. Ce contrôle ne permet pas de définir un seuil d’écart acceptable.

Quel effet le changement a-t-il eu sur l’écart des moins de 30 ans et le pouvoir prédictif ?

L’écart des moins de 30 ans est passé de moins 1.5 à moins 0.5 point de pourcentage, mais il n’a pas disparu. Le Gini a très peu changé et le taux de mauvais payeurs du portefeuille accepté est resté à 13.1%. L’écart s’est toutefois creusé pour les personnes ayant suivi des études supérieures. Il faut donc contrôler à nouveau tous les groupes.

Intégrez ces contrôles à un flux de décision

Créez des règles de crédit, de fraude ou de recouvrement, puis appliquez-les aux décisions réelles.