Combien de mauvais payeurs pour un modèle de crédit ?
Une scorecard est en cours de création ou doit être mise à jour. Quelqu’un recommande de la refaire. Le portefeuille compte quelques centaines de mauvais payeurs. Le nouveau modèle annonce 5 %, un chiffre qui servira à fixer le prix et la provision.
Avant de lancer les travaux, deux questions sont à trancher : faut-il reconstruire la scorecard, et le nombre de mauvais payeurs suffit-il pour le projet ? Les données sont souvent trop limitées pour construire une nouvelle scorecard. Trois cents mauvais payeurs servent de point de départ au calcul, pas de seuil de validation.
Pourquoi le nombre de mauvais payeurs compte
La valeur de 5 % donnée par le modèle n’est pas exacte. Avec 300 mauvais payeurs à l’appui, le taux sous-jacent de mauvais payeurs peut se situer entre 4,5 % et 5,5 % par construction, avant même que le modèle ait vieilli d’un jour.
Cette marge a un effet direct sur les montants. Dans un exemple de portefeuille avec 50 M€ de prêts accordés sur un an et 75 % de perte sur un prêt en défaut, un taux de 4,5 % ou de 5,5 % au lieu des 5 % annoncés représente environ 187 500 € par an dans un sens comme dans l’autre. Si le volume double, l’écart financier double aussi.
Le modèle peut aussi se tromper davantage si sa complexité dépasse ce que permettent les mauvais payeurs disponibles. Il sous-estime le risque des clients risqués et surestime la sécurité des bons profils. Le portefeuille accepté enregistre alors plus de pertes que prévu et des demandes solvables sont refusées. Dans un exemple, une tranche annoncée à 2 % présente en réalité un taux d’environ 3 %.
À cette incertitude de départ s’ajoute la dégradation du modèle après son déploiement. Plus les montants et les volumes engagés sont importants, plus il faut savoir dans quelle mesure se fier aux taux de mauvais payeurs estimés.
Que signifie « suffisant » ?
Le nombre de mauvais payeurs fixe deux limites. Il détermine la quantité d’information que le modèle peut apprendre, car chaque variable et chaque classe testées sont estimées à partir des mêmes mauvais payeurs. Au-delà d’un certain point, l’ajustement apprend le bruit propre à cet échantillon.
Il détermine aussi la précision du taux de mauvais payeurs estimé, pour l’ensemble du portefeuille comme pour chaque tranche tarifaire. Les statisticiens décrivent la première limite comme un budget de degrés de liberté. Le Gini attendu en détermine l’essentiel. Les sections suivantes chiffrent ces deux limites.
300 mauvais payeurs, est-ce suffisant ?
Tout dépend du Gini attendu et du modèle envisagé. Avec un taux de mauvais payeurs de 5 %, 300 mauvais payeurs représentent environ 9 degrés de liberté pour un Gini de 0.3, 28 pour un Gini de 0.5 et 63 pour un Gini de 0.7. Le taux de mauvais payeurs change peu ce budget. C’est le Gini qui le détermine.
| Gini attendu | Degrés de liberté |
|---|---|
| 0.3 | About 9 |
| 0.5 | About 28 |
| 0.7 | About 63 |
Plus le modèle est faible, plus il faut de mauvais payeurs pour chaque degré de liberté. Pour 30 degrés de liberté et un taux de mauvais payeurs de 2 %, il faut environ 130 mauvais payeurs avec un Gini de 0.7 et environ 930 avec un Gini de 0.3. Avec un taux de 5 % et un Gini de 0.5, 30 degrés de liberté en nécessitent environ 320.
Le budget est calculé à partir des critères de taille minimale d’échantillon de Riley et ses collègues. Ils limitent à 10 % ou moins la réduction attendue des coefficients du modèle. Le calculateur de taille d’échantillon effectue le calcul à partir du nombre de mauvais payeurs, du taux de mauvais payeurs et du Gini attendus.
Ce qui consomme le budget
Chaque paramètre candidat compte, avant même la sélection. Le coefficient d’une variable compte. Une variable répartie en cinq classes consomme quatre degrés de liberté. Pour une variable WoE, les classes comptent aussi, car elles ont été ajustées à partir des mêmes mauvais payeurs. C’est la convention retenue par l’outil. Une spline consomme un degré de liberté de moins que son nombre de nœuds.
| Spécification | Budget : 28 degrés |
|---|---|
| Variables continues | 28 |
| Trois classes | 14 variables |
| Quatre classes | 9 variables |
| Cinq classes | 7 variables |
| Six classes | 5 variables |
| MARS, sans interactions | 14 termes |
| MARS, avec interactions | 11 termes |
La sélection des variables consomme elle aussi du budget. Quarante variables candidates réparties en cinq classes utilisent 160 degrés de liberté avant la sélection, alors que 300 mauvais payeurs n’en représentent que 28 avec un Gini de 0.5. Les variables écartées ont tout de même consommé de la capacité pendant la construction du modèle.
Un projet de scorecard face à 300 mauvais payeurs
Prenons l’exemple d’un projet avec 20 variables candidates réparties en cinq classes. Il consomme 80 degrés de liberté. Avec un taux de mauvais payeurs de 5 % et un Gini de 0.5, il faut environ 854 mauvais payeurs, soit 554 de plus que les 300 disponibles.
| Projet | Degrés de liberté | Mauvais payeurs nécessaires | Mois |
|---|---|---|---|
| 20 variables at five bins | 80 | 854 | 20.5 |
Avec 2 000 prêts par mois et une période d’observation de 12 mois, il faut attendre 20,5 mois pour connaître les résultats. Le choix est alors concret : réduire le projet, attendre les résultats ou apporter une modification plus limitée à la scorecard actuelle.
Que faire si les données ne suffisent pas ?
Quand le projet dépasse ce que permettent les mauvais payeurs disponibles, les calculs réduisent le nombre d’options. Ils ne prennent pas la décision à votre place.
- Conserver la scorecard actuelle et la recalibrer. Réestimer son intercept et sa pente consomme 2 degrés de liberté et nécessite environ 22 mauvais payeurs avec un Gini de 0.5.
- Créer une scorecard moins complexe, adaptée au budget disponible.
- Attendre les résultats nécessaires au modèle envisagé.
- Comparer le nouveau modèle à l’actuel sur des demandes passées avant de le déployer, à l’aide du test champion-challenger.
Refaire une scorecard demande une raison, en plus d’un nombre suffisant de mauvais payeurs. « Cela fait longtemps » ou « on nous a dit de le faire » ne sont pas des raisons suffisantes. Les calculs indiquent ce que permettent les données. La décision vous revient.
L’intervalle autour du taux de mauvais payeurs
Le nombre de mauvais payeurs détermine la précision de l’estimation du taux, quelle que soit la performance du modèle. Pour un taux de 5 %, les intervalles à 95 % sont les suivants :
| Mauvais payeurs | Intervalle 5 % |
|---|---|
| 100 | 4.04% to 5.96% |
| 300 | 4.45% to 5.55% |
| 1,000 | 4.70% to 5.30% |
| 3,000 | 4.83% to 5.17% |
Une tranche de score compte moins de mauvais payeurs que l’ensemble du portefeuille, son intervalle est donc plus large. Dans un exemple, une tranche qui compte 30 mauvais payeurs sur la base d’un taux de 12 % a un intervalle de 7,97 % à 16,03 %. Pour une tranche à faible risque avec 15 mauvais payeurs et un taux de 1,5 %, l’intervalle va de 0,75 % à 2,25 %.
Cette incertitude existe dès la construction du modèle. Sa dégradation intervient ensuite. La réponse opérationnelle passe par le suivi des scorecards.
Quand le modèle dépasse le budget
Un modèle qui dépasse le budget produit des prédictions trop extrêmes sur de nouvelles données. La pente de calibration attendue correspond au facteur de réduction. Elle rapproche chaque différence de log-cotes prédite de la moyenne.
Dans l’exemple avec un Gini de 0.3, 300 mauvais payeurs et un taux moyen de 5 %, dépenser 80 degrés de liberté donne un facteur de réduction attendu de 0.51. Une prédiction de 2 % correspond alors à un taux réel d’environ 3,1 %.
| Degrés consommés | S | 2% runs at | 10% runs at | 20% runs at |
|---|---|---|---|---|
| 9 | 0.90 | 2.19% | 9.4% | 17.7% |
| 28 | 0.75 | 2.52% | 8.4% | 14.5% |
| 80 | 0.51 | 3.13% | 7.2% | 10.5% |
Ces valeurs sont des estimations fondées sur les hypothèses des critères, pas des résultats observés. La partie acceptée présente plus de risques que ne l’indique le modèle, les pertes dépassent les prévisions et des demandes solvables sont refusées.
Les vérifications avant validation
- Préciser pourquoi la scorecard doit être refaite.
- Compter tous les paramètres candidats, y compris les classes et les variables examinées lors de la sélection.
- Comparer ce total au budget correspondant au Gini attendu à l’aide de l’outil de calcul de taille d’échantillon.
- Compter les mauvais payeurs dans chaque tranche utilisée pour la tarification ou la décision.
- Tenir compte de l’intervalle dans le prix et la provision, et pas seulement de l’estimation centrale.
- Effectuer les validations et les tests temporels habituels, selon la méthode décrite dans l’article sur la documentation d’un modèle de score de crédit.
La validation et les tests temporels évaluent le modèle sur des données qui n’ont pas servi à l’ajuster. Ils n’augmentent ni la taille de l’échantillon ni le budget de mauvais payeurs.
Questions fréquentes
300 mauvais payeurs suffisent-ils pour une scorecard ?
Il n’existe pas de seuil universel. Avec un taux de mauvais payeurs de 5 %, 300 mauvais payeurs représentent environ 9 degrés de liberté pour un Gini de 0.3, 28 pour un Gini de 0.5 et 63 pour un Gini de 0.7. Le résultat dépend du Gini attendu et du modèle envisagé.
Une variable WoE compte-t-elle comme un seul degré de liberté ?
La représentation finale du modèle peut afficher un seul coefficient, mais les classes ont été ajustées à partir des mêmes mauvais payeurs. L’outil compte donc les classes, avec un degré de liberté de moins que le nombre de classes.
De combien de données supplémentaires le gradient boosting a-t-il besoin ?
La seule étude de ce type, une étude de simulation, a conclu que les forêts aléatoires, les machines à vecteurs de support et les réseaux de neurones nécessitaient plus de dix fois plus d’événements par variable que la régression logistique. Le boosting de gradient n’y était pas étudié. Le facteur dix est donc un plancher tiré de cette étude, pas une règle.
Les tests temporels compensent-ils un échantillon réduit ?
Non. Ils évaluent les performances sur des données qui n’ont pas servi à ajuster le modèle et répondent à une autre question. Ils n’ajoutent pas de mauvais payeurs à l’échantillon de développement et n’augmentent pas le budget de degrés de liberté.