Inférence des refus : tester chaque règle de refus

Nous avons mené un test inspiré des pratiques des prêteurs sur un jeu de données public de cartes de crédit et sur les demandes de crédit immobilier HELOC publiées par FICO. Dans les deux cas, les résultats étaient connus. Nous avons commencé par appliquer une règle de refus, puis construit le scorecard à partir des demandes acceptées, comme cela se fait en pratique. Dans les données de cartes, la règle refusait toute personne en retard sur le paiement du mois précédent. Lors de l’examen des variables, celle qui indiquait ce retard affichait une valeur informationnelle de 0,02, sous le seuil habituel et donc facile à écarter. Rien de spectaculaire : une vérification courante dans un fichier de développement de modèle. Mais si les critères d’octroi ont déjà écarté les demandes en fonction de cette variable, sa faible valeur informationnelle renseigne-t-elle sur le risque de crédit ou sur le biais de sélection ?

Ce que les méthodes prédisent pour le groupe refusé

Nous avons comparé le scorecard construit sur les comptes acceptés aux méthodes courantes d’inférence des refus. Chaque méthode part de ce scorecard, pose une hypothèse sur les comptes refusés, puis utilise les résultats estimés pour en construire un nouveau. L’inférence des refus consiste à estimer la solvabilité des demandeurs refusés lorsque leurs données de performance ne sont pas disponibles. Le tableau compare les prédictions de chaque méthode au taux réel de mauvais payeurs dans les deux jeux de données.

MéthodeDonnées de cartesDonnées HELOC
Taux réel de mauvais payeurs50.4%72.4%
Tous les résultats connus50.5%72.5%
Comptes acceptés uniquement18.9%71.6%
Augmentation floue20.3%71.8%
Seuil dur80.7%90.1%
Parceling29.1%90.8%

L’augmentation floue ajoute deux fois chaque compte refusé : une fois comme mauvais payeur, une fois comme bon payeur, avec une pondération fondée sur la probabilité estimée par le premier scorecard. Ces estimations servent ensuite à reconstruire le scorecard. Avec le seuil dur, chaque compte refusé est classé comme bon ou mauvais payeur selon que son risque estimé est supérieur ou inférieur au risque médian des comptes acceptés. Le parceling répartit les comptes refusés en tranches de score et leur attribue des résultats mauvais à un taux majoré, calculé à partir des comptes acceptés de chaque tranche. Il s’agit d’hypothèses appliquées aux dossiers refusés, pas de résultats observés.

Dans les données de cartes, aucune méthode ne s’approche du taux réel de mauvais payeurs. Pour HELOC, le scorecard construit uniquement sur les comptes acceptés était déjà proche du taux réel. Les méthodes qui l’ont modifié ont fait monter la prédiction trop haut. Le résultat dépend des informations masquées par la règle de refus, pas du degré de sophistication du modèle.

La règle de refus a masqué le lien entre la variable et le risque

À partir des comptes acceptés, le scorecard ne pouvait pas apprendre le lien entre les retards de paiement et les mauvais résultats : la règle de refus avait déjà écarté les comptes présentant ces retards. Le graphique compare la valeur informationnelle de cette variable pour l’ensemble des comptes et pour les seuls comptes acceptés.

Valeur informationnelle pour l’ensemble des comptes et les comptes acceptés : statut de paiement du mois précédent, 0,88 contre 0,02
Valeur informationnelle pour l’ensemble des comptes et pour les seuls comptes acceptés (données UCI sur les cartes de crédit)

Pour l’ensemble des comptes, le statut de paiement du mois précédent était la variable la plus prédictive. Parmi les comptes acceptés, sa valeur informationnelle se situait au seuil habituel d’exclusion. C’est un effet de sélection, pas la preuve que cette variable n’a aucun lien avec le risque.

Chez les comptes acceptés, cette variable indiquait principalement une carte inutilisée, un paiement intégral ou un paiement renouvelable. Leurs taux de mauvais payeurs ne suivaient pas de tendance nette. Les comptes en retard, qui portaient le signal de risque, se trouvaient dans le groupe refusé. Faute d’exemples correspondant à ces valeurs, le scorecard construit sur les seuls comptes acceptés ne pouvait pas les prendre en compte. Une régression logistique classique a même interprété un retard plus important comme un signe de moindre risque dans les données acceptées, contrairement à ce que montraient les résultats complets.

Voilà pourquoi les méthodes d’inférence des refus se trompent dans les données de cartes. Elles partent d’un scorecard entraîné sur une population dont la règle de refus a effacé le lien que le score doit estimer.

Un échantillon aléatoire mesure le risque du groupe refusé

Les données des seuls dossiers acceptés ne permettent pas de résoudre le problème de sélection. Pour mesurer le risque du groupe refusé, il faut accepter une part aléatoire des demandes que chaque règle de refus aurait écartées, identifier les prêts concernés comme faisant partie de l’échantillon test, puis attendre que leurs résultats soient connus. Cette mesure doit être réalisée séparément pour chaque règle, car chacune sélectionne un groupe différent.

Le tableau indique la précision de la mesure du taux de mauvais payeurs dans le groupe issu des données de cartes, selon la taille de l’échantillon test.

Part acceptéePrêtsIntervalle mesuré
2%environ 8041 % à 60 %
5%environ 20045 % à 56 %
10%environ 40046 % à 54 %

En répétant les tirages aléatoires parmi les comptes refusés, un échantillon d’environ deux cents prêts a mesuré le taux de mauvais payeurs dans une fourchette d’environ onze points de pourcentage dans la plupart des cas. Un échantillon plus petit élargit la fourchette, un plus grand la resserre. La taille adaptée dépend du groupe à mesurer. Utilisez le calculateur champion-challenger pour dimensionner le test. Le guide des stratégies de décision champion-challenger indique combien de temps le test doit durer.

Gardez l’échantillon à part pour mesurer le taux. Dans notre test, l’ajout d’un petit échantillon destiné uniquement à entraîner le scorecard n’a pas permis à la prédiction du scorecard WoE de correspondre au taux réel. Un modèle peut intégrer les résultats de l’échantillon à son entraînement sans pour autant mesurer correctement le taux de mauvais payeurs du groupe. Les résultats observés dans l’échantillon constituent la mesure.

Comparer la prédiction à la fourchette mesurée

Une fois les résultats de l’échantillon test disponibles, comparez le taux mesuré à la prédiction du scorecard pour le même groupe refusé. La figure confronte chaque prédiction à la fourchette obtenue avec un échantillon aléatoire.

Prédictions du scorecard et fourchettes mesurées dans l’échantillon test : cartes, 18,9 % contre 45 % à 56 % ; HELOC, 71,6 % dans la fourchette de 63 % à 81 %.
Taux de mauvais payeurs du groupe refusé : prédiction du scorecard et mesure par un échantillon test de 5 %

Dans les données de cartes, le taux prédit par le scorecard était bien inférieur à la fourchette mesurée dans l’échantillon test. Pour HELOC, la prédiction se situait dans la fourchette. Le premier scorecard ne permettait pas d’évaluer le risque du groupe issu des données de cartes, tandis que le scorecard construit sur les seuls comptes acceptés était déjà proche pour le groupe HELOC. C’est cette comparaison qui permet de distinguer les deux cas.

Intégrez ces contrôles à un flux de décision

Créez des règles de crédit, de fraude ou de recouvrement, puis appliquez-les aux décisions réelles.

La recalibration corrige le niveau, pas le classement

Si le taux prédit par le scorecard diffère du taux mesuré dans l’échantillon test, le score peut être recalibré pour le groupe refusé. Il faut attribuer un score aux prêts de l’échantillon, puis ajuster le niveau du score pour que le taux moyen prédit corresponde au taux de mauvais payeurs mesuré. Le niveau change, mais pas le classement des demandeurs au sein du groupe.

Le tableau compare les prédictions du scorecard avant et après recalibration au taux réel de mauvais payeurs observé dans notre expérimentation.

Jeu de donnéesAvantAprèsTaux réel
Données de cartes, environ 210 prêts18.9%50.6%50.4%
Données HELOC, environ 66 prêts71.6%70.7%72.4%

Dans les deux jeux de données, la recalibration a rapproché la prédiction moyenne du taux réel. Mais faire correspondre les moyennes ne dit pas si le score distingue les risques les plus faibles des plus élevés au sein du groupe. Une moyenne corrigée ne suffit pas à justifier le remplacement de la règle de refus par le score.

Mesurer le Gini dans l’échantillon pour décider du sort de la règle

Le Gini du score dans l’échantillon test indique s’il permet de classer les risques au sein du groupe refusé. Le tableau présente la fourchette des valeurs de Gini obtenues sur plusieurs échantillons aléatoires.

Jeu de donnéesÉchantillonFourchette de Gini
Données de cartes5%, environ 200 prêts-0.16 to 0.11
Données de cartes10%, environ 400 prêts-0.12 to 0.06
Données HELOC5%, environ 66 prêts0.18 to 0.65
Données HELOC10%, environ 130 prêts0.26 to 0.58

Dans les données de cartes, le Gini du score était proche de zéro, même avec un échantillon plus important. Le score ne permettait pas de classer les bons et les mauvais payeurs du groupe refusé. La recalibration n’en faisait donc pas un substitut à la règle. Pour HELOC, le Gini était supérieur à zéro : le score pouvait classer les demandeurs refusés. Après recalibration du niveau, un seuil d’acceptation pouvait remplacer la règle.

Avant de modifier la règle HELOC, testez la version proposée sur les décisions de production passées, puis examinez les demandes qu’elle accepterait ou refuserait en plus. Utilisez le calculateur swap set pour analyser les demandes qui changeraient de catégorie.

Mettre en place l’inférence des refus

Lors de la sélection des variables sur les données de cartes, ne conservez pas ou n’écartez pas une variable en vous fondant uniquement sur sa valeur informationnelle parmi les comptes acceptés si la règle de refus a écarté les valeurs qui révèlent son lien avec le risque.

Voici la démarche à suivre pour chaque règle de refus :

  1. Recensez les règles de refus à évaluer.
  2. Pour chaque règle, autorisez au hasard une petite part des demandes refusées, au moyen d’une branche aléatoire dans le flux de décision. Identifiez les prêts de l’échantillon test et suivez leurs résultats.
  3. Une fois les résultats connus, comparez le taux mesuré de mauvais payeurs dans l’échantillon à la prédiction du score pour ce groupe.
  4. Recalibrez le niveau du score.
  5. Mesurez le Gini du score sur l’échantillon. S’il est proche de zéro, maintenez la règle de refus, car le score ne permet pas de classer le risque au sein du groupe. S’il est nettement supérieur à zéro, backtestez le changement envisagé et les demandes qu’il accepterait en plus avant de remplacer la règle par un seuil d’acceptation.

Si d’autres variables consignent le même historique, partez du scorecard construit sur les seuls comptes acceptés. Les méthodes d’inférence des refus font évoluer cette estimation en fonction de leurs hypothèses.

Questions fréquentes sur l’inférence des refus

Quelle méthode d’inférence des refus fonctionne le mieux ?

Dans notre test, les méthodes étaient loin du taux réel de mauvais payeurs du groupe issu des données de cartes. Pour HELOC, le scorecard construit sur les seuls comptes acceptés était déjà proche du taux réel, et les méthodes qui l’ont ajusté ont fait monter la prédiction trop haut.

Pourquoi une variable très prédictive a-t-elle une faible valeur informationnelle sur les prêts acceptés ?

La règle de refus a écarté les valeurs qui portaient le signal de risque. Parmi les comptes de cartes acceptés, le taux de mauvais payeurs variait peu selon cette variable, alors qu’elle était très prédictive pour l’ensemble des comptes.

L’augmentation floue corrige-t-elle le biais ?

Pas dans notre test. Elle ajoute les dossiers refusés à partir des probabilités prédites par le premier scorecard, puis réinjecte ces prédictions dans un scorecard reconstruit.

Combien de demandes refusées faut-il inclure dans un échantillon test ?

Sur les tirages répétés parmi les comptes de carte refusés, un échantillon de cinq pour cent, soit environ deux cents prêts, situait le taux mesuré de mauvais payeurs entre 45 % et 56 % dans 90 % des tirages. La taille nécessaire dépend du groupe mesuré.

Le gradient boosting évite-t-il le problème ?

Non. Dans les données de cartes, il a prédit un taux de mauvais payeurs de 29,4 % pour le groupe refusé, contre un taux réel de 50,4 %.

Intégrez ces contrôles à un flux de décision

Créez des règles de crédit, de fraude ou de recouvrement, puis appliquez-les aux décisions réelles.