Documenter un modèle de score de crédit

Pour un établissement financier, un modèle de scoring de crédit est un moyen important d’évaluer la solvabilité des clients. Pour préserver sa précision et sa fiabilité, il faut une documentation claire et complète.

Les objectifs de la documentation du modèle pour la direction

  • Présenter le modèle de façon transparente, pour que les parties prenantes le comprennent facilement.
  • Donner une vision claire des performances et des limites du modèle.
  • Décrire les hypothèses, les méthodes et les résultats du modèle, ainsi que les éventuelles sources de biais ou d’erreur.

Documenter le choix de l’échantillon

La première étape consiste à documenter les méthodes d’échantillonnage utilisées pour l’entraînement et la validation, ainsi que toute validation hors période réalisée. Ces informations montrent les performances du modèle et s’il est représentatif de la population à laquelle il est appliqué.

Les méthodes d’échantillonnage pour construire un modèle prédictif

  1. Échantillonnage aléatoire simple : chaque membre de la population a la même probabilité d’être sélectionné. Cette méthode est souvent utilisée pour obtenir un échantillon représentatif.
  2. Échantillonnage stratifié : la population est répartie en sous-groupes selon certaines caractéristiques, puis un échantillon aléatoire est tiré dans chaque sous-groupe. Cette méthode est utile lorsque l’échantillon doit refléter ces caractéristiques.
  3. Échantillonnage par grappes : la population est répartie en groupes, puis certains groupes sont sélectionnés au hasard. Tous leurs membres sont inclus. Cette méthode est souvent utilisée lorsqu’il est difficile de recenser chaque membre de la population.
  4. Échantillonnage systématique : la sélection commence à un point aléatoire, puis porte sur chaque n-ième membre de la population. Cette méthode permet souvent d’obtenir un échantillon réparti de façon régulière.
  5. Échantillonnage de convenance : les membres de la population sont sélectionnés selon leur disponibilité ou leur accessibilité. La collecte des données peut être plus rapide, mais cette méthode peut introduire un biais si l’échantillon n’est pas aléatoire.

Évaluer la stabilité et les performances d’un modèle prédictif

Il faut ensuite vérifier la stabilité du modèle, à la fois pour son pouvoir prédictif global et pour sa régularité d’un mois à l’autre. La courbe ROC, par exemple, permet de repérer d’éventuels problèmes. Il faut aussi examiner la stabilité de la valeur de l’information des variables utilisées dans le modèle pour vérifier que leurs résultats restent cohérents.

Les indicateurs de performance d’un modèle prédictif

  1. Exactitude : mesure la part des prédictions correctes du modèle. C’est un indicateur courant de performance prédictive.
  2. Précision : mesure la part des prédictions positives qui sont effectivement correctes. Elle est souvent associée à l’exactitude pour donner une vision plus complète des performances.
  3. Rappel : mesure la part des cas positifs réels correctement prédits par le modèle. Cet indicateur est utile lorsqu’il importe de repérer tous les cas positifs, même si les faux positifs augmentent.
  4. Score F1 : moyenne pondérée de la précision et du rappel. Il est souvent utilisé comme indicateur de synthèse.
  5. AUC-ROC : mesure la capacité du modèle à distinguer les cas positifs des cas négatifs. Elle se calcule en traçant le taux de vrais positifs par rapport au taux de faux positifs pour différents seuils. Elle est souvent utilisée pour les modèles de classification binaire.
  6. Matrice de confusion : présente le nombre de vrais positifs, de vrais négatifs, de faux positifs et de faux négatifs. Elle aide à repérer les cas où le modèle donne de mauvais résultats.
  7. Perte logarithmique : mesure la qualité des probabilités prédites par le modèle. Elle est souvent utilisée pour les modèles qui produisent des probabilités, comme les modèles de classification binaire.

Intégrez ces contrôles à un flux de décision

Créez des règles de crédit, de fraude ou de recouvrement, puis appliquez-les aux décisions réelles.

Prendre en compte la saisonnalité

La saisonnalité susceptible d’influencer l’échantillon retenu pour le modèle doit également être documentée. Ces effets peuvent modifier sensiblement les performances du modèle. Il faut donc les consigner et en tenir compte dans la documentation.

Exemples de facteurs saisonniers susceptibles d’influencer un modèle prédictif

  1. Variations saisonnières de la demande pour certains produits ou services, par exemple une demande accrue d’assurance voyage en été
  2. Variations saisonnières de la conjoncture économique, par exemple une hausse du chômage en hiver
  3. Variations saisonnières des conditions météorologiques, par exemple un risque accru de catastrophes naturelles à certaines périodes de l’année
  4. Variations saisonnières du comportement des consommateurs, par exemple des dépenses plus élevées pendant les fêtes de fin d’année

Évaluer et documenter les biais du modèle

Les biais potentiels du modèle doivent aussi être examinés et documentés. Si le modèle remplace un modèle existant, un tableau croisé des changements de classe peut aider à évaluer ses performances et son efficacité.

Cinq biais potentiels à prendre en compte dans un modèle prédictif

  1. Biais d’échantillonnage : il apparaît lorsque l’échantillon utilisé pour élaborer le modèle ne représente pas la population à laquelle celui-ci est destiné.
  2. Biais de sélection : il apparaît lorsque l’échantillon utilisé pour élaborer le modèle n’est pas sélectionné au hasard et peut être influencé par des facteurs comme la disponibilité des données ou les préférences de la personne qui conçoit le modèle.
  3. Biais de confirmation : il apparaît lorsque la personne qui conçoit le modèle ne retient que les données qui confortent ses convictions ou ses hypothèses et écarte celles qui les contredisent.
  4. Surapprentissage : le modèle est trop complexe et s’ajuste trop étroitement aux données disponibles, ce qui limite sa capacité à généraliser.
  5. Sous-apprentissage : le modèle est trop simple et entraîné sur un nombre insuffisant de données, ce qui réduit sa capacité prédictive.

Conclusion

Une documentation claire du modèle de score de crédit est importante pour obtenir des résultats cohérents et fiables. Documenter les principales étapes du développement et de la validation facilite l’évaluation, l’explication et la défense du modèle.

Questions fréquentes

Comment répartir les données pour développer et valider un modèle de score de crédit ?

Utilisez les périodes les plus anciennes pour le développement et réservez la période la plus récente, dont les remboursements ont suffisamment évolué, à la validation hors période. Gardez ensemble les demandes d’une même période et vérifiez que la fenêtre de validation couvre les conditions saisonnières ou économiques pertinentes. Un tirage aléatoire peut être utile pendant le développement du modèle, mais il ne remplace pas un test sur des demandes ultérieures, car il peut masquer les évolutions dans le temps.

Quels indicateurs suivre régulièrement pour un score de crédit ?

Suivez la discrimination, le calibrage et les résultats aux seuils réellement utilisés dans les règles d’octroi. L’AUC indique si le modèle classe les demandeurs, tandis que les taux de défaut observés par tranche de score montrent si le risque prédit correspond aux résultats constatés. Consignez aussi les taux d’acceptation et le nombre de résultats favorables et défavorables à chaque seuil. L’exactitude ou le score F1, pris isolément, peut masquer le coût des acceptations à tort et des refus à tort.

Comment choisir et documenter un seuil d’acceptation pour un score de crédit ?

Définissez le seuil en fonction de l’appétence au risque et de l’économie du produit, puis comparez les pertes attendues et le volume d’acceptations pour plusieurs options plausibles. Consignez la définition du résultat, la période d’observation, les hypothèses et les arbitrages qui justifient le seuil retenu. Vérifiez si les performances changent autour de la limite. Un faible écart de score peut sinon entraîner une forte variation des critères d’octroi, sans que les éléments disponibles la justifient.

À quelle fréquence examiner les performances et la documentation d’un modèle de score de crédit ?

Un suivi mensuel constitue un bon point de départ. Prévoyez ensuite une validation complète au moins une fois par an, ou plus tôt si le portefeuille, les données, le produit ou le modèle évolue sensiblement. Attendez que les résultats de remboursement soient suffisamment consolidés avant d’y voir un signe de dégradation. Il arrive que les équipes confondent une évolution du profil des demandeurs avec une baisse des performances du modèle. Il faut donc comparer les changements de population aux changements de performance.

Intégrez ces contrôles à un flux de décision

Créez des règles de crédit, de fraude ou de recouvrement, puis appliquez-les aux décisions réelles.