Entrepôt de données et suivi des scorecards en crédit

Lors de la réunion mensuelle du comité des risques, le responsable du risque de crédit examine le rapport de performance. Le Gini du score, calculé sur les crédits accordés au trimestre précédent, a baissé et quelqu’un propose de reconstruire le modèle. Les critères d’octroi, les règles et le score sont sous ses yeux. Le rapport rapproche les défauts observés ce mois-ci des tables actuelles des prêts et des clients. Le résultat de performance et les données qui l’accompagnent renvoient donc à des moments différents du processus de crédit. Avant d’accepter de reconstruire le modèle, que mesure-t-on réellement : un modèle moins performant ou un rapport fondé sur des données que la décision n’a jamais vues ?

Utiliser les données disponibles au moment de la décision

Un Gini plus faible peut refléter une baisse de performance du score, une évolution de la composition du portefeuille ou un décalage entre les données utilisées pour la décision et celles de l’analyse. Le jeu de données Default of Credit Card Clients porte sur 30 000 titulaires de cartes à Taïwan en 2005. Le score a été entraîné uniquement avec les informations connues à la fin du mois de juin, puis évalué au regard des défauts d’octobre. Le même score, inchangé, a ensuite été appliqué aux données des mêmes clients telles qu’elles étaient à la fin du mois de septembre.

Données de juin : Gini du score 0,387, 54,3 % des clients orientés vers un examen font défaut, 28,2 % des personnes en défaut repérées. Dossier de septembre : Gini du score 0,484, 69,4 % des clients orientés vers un examen font défaut, 32,5 % des personnes en défaut repérées.
Résultats du score et de la règle selon les données disponibles à la décision ou à une date ultérieure

Les données de septembre donnent l’impression que le score est plus performant et que la règle repère davantage de personnes en défaut. Pourtant, les clients, le score et la règle n’ont pas changé. Seules les informations utilisées pour l’analyse sont différentes. Ces résultats illustrent l’effet du calendrier sur une mesure, dans un jeu de données public sur les cartes de crédit et pour un seul score. Les conclusions sur un portefeuille doivent être établies à partir des données du prêteur concerné.

Rapprocher les défauts des données actuelles sur les prêts et les clients peut sembler logique, puisqu’elles sont disponibles. Mais le rapport évalue alors une décision passée à partir d’informations arrivées plus tard. Le modèle paraît ainsi plus performant qu’il ne l’était au moment où le prêteur l’a utilisé. Le coefficient de Gini doit être interprété au regard des informations effectivement disponibles lors de la décision.

Distinguer la performance du score de la composition du portefeuille

Même avec les bonnes données à la date de décision, un Gini de portefeuille en baisse peut traduire une détérioration du score ou une évolution de la composition du portefeuille. Le score classe moins bien certains segments que d’autres. Leur poids dans le portefeuille peut donc faire baisser le Gini global.

Dans le même test, le score classait moins bien les clients les plus jeunes et ceux dont les limites de crédit étaient plus élevées que les autres groupes. Quand la part des clients avec une limite élevée augmentait, le Gini global baissait, tout comme le taux de défaut du portefeuille.

Part limites élevéesGiniTaux de défaut
52%0.38722.1%
68%0.37620.1%
76%0.36619.1%
84%0.35318.1%

Le score est resté identique. Le portefeuille est devenu moins risqué, mais la mesure globale a baissé parce que la part d’un segment moins bien classé par le score a augmenté. Le Gini d’un portefeuille dépend à la fois de la performance du score et de la composition de la clientèle. Il faut examiner ces deux éléments avant d’envisager une refonte.

Relier chaque décision aux résultats qui en découlent

Les critères d’octroi définissent ce que le prêteur entend faire. Pour vérifier si les règles ont produit les résultats attendus, il faut relier chaque résultat à la décision correspondante et aux informations disponibles à ce moment-là.

Conservez pour chaque décision les données d’entrée, le score, la règle et la version de la stratégie appliquée. Gardez chaque source telle qu’elle a été reçue, puis conservez les différentes versions datées des données client ou prêt. Les instantanés pris à la décision ou lors d’un événement permettent à l’analyse de s’appuyer sur les informations connues à ce moment-là, plutôt que sur un dossier corrigé ultérieurement.

L’historique comprend aussi les contacts de recouvrement, les promesses de paiement et les paiements constatés. Ces éléments permettent de relier la décision à la suite donnée au dossier, comme l’explique cet article sur les outils et canaux de communication pour le recouvrement.

Un entrepôt de données rassemble les données sources et les résultats pour les analyser. Cet historique permet à l’équipe risque de déterminer si l’évolution des résultats vient de la décision, d’informations reçues plus tard ou d’une composition différente de la clientèle.

Intégrez ces contrôles à un flux de décision

Créez des règles de crédit, de fraude ou de recouvrement, puis appliquez-les aux décisions réelles.

Conserver l’historique des décisions dans les différentes couches de l’entrepôt

Les différentes couches conservent la décision, toutes les versions ultérieures des données et le résultat, chacun consultable tel qu’il était à la date concernée.

Sources, zone de dépôt, data vault, datamarts et zone de mise à disposition. Les clôtures mensuelles sont contrôlées, approuvées, publiées et figées. Chaque décision est ensuite renvoyée comme source avec les données qu’elle a utilisées.
Les couches d’un entrepôt de données de crédit, des sources aux décisions en temps réel

Les données sources arrivent d’abord dans une zone de dépôt, où elles sont conservées telles qu’elles ont été reçues. Dans le data vault, les hubs enregistrent chaque clé métier dès sa première apparition, les liens relient ces clés et les satellites conservent toutes les versions. Chaque valeur reçue reste ainsi consultable avec sa date de chargement. Les datamarts suivent la modélisation dimensionnelle de Kimball : le niveau de granularité de chaque table de faits est défini, et des granularités différentes ne sont pas mélangées. Des dimensions conformes permettent de combiner dans un même rapport des faits issus de tables différentes. Le data vault conserve l’historique, que les datamarts dimensionnels peuvent exploiter ensemble. Une zone de mise à disposition distincte peut publier des valeurs fixes pour les décisions en temps réel, pendant que les tables d’analyse sont reconstruites.

Chaque fait doit correspondre à un seul niveau de granularité. Une ligne de décision décrit ce qui s’est passé lors d’une décision. Une ligne de prêt en fin de mois indique la situation du compte à la clôture. Une ligne de cohorte regroupe les prêts selon leur période d’octroi. Comparer une cohorte au même nombre de mois depuis l’octroi permet de réaliser une analyse par génération pertinente.

Ne clôturez l’instantané de fin de mois qu’après avoir vérifié que les soldes se reportent correctement, que les comptes restent présents d’une clôture à l’autre et que les devises concordent. Avant d’utiliser les données officielles, approuvez, publiez et figez la clôture. Toute correction de fichier donne lieu à un nouveau chargement. Si une clôture mensuelle publiée est erronée, rectifiez-la, puis reprenez les clôtures suivantes dans l’ordre et approuvez-les une par une. L’historique reste consultable.

S’appuyer sur des données cohérentes avant de décider d’une refonte

Utilisez les données adaptées à chaque mesure. Analysez les défauts dès la première échéance et les jours de retard à partir des données disponibles au moment de la décision et des observations de résultat pertinentes. Consultez les provisions dans les instantanés de fin de mois. Mesurez les taux de régularisation sur une période définie et comparez les générations au même nombre de mois depuis l’octroi. Pour le calcul des provisions, IFRS 9 prévoit d’abord une provision fondée sur les pertes attendues à 12 mois. Elle porte ensuite sur les pertes attendues sur la durée de vie du prêt si le risque de crédit a fortement augmenté depuis sa comptabilisation. Le prêteur doit donc conserver le niveau de risque de crédit constaté à l’octroi. Les grandes banques sont également soumises aux principes du Comité de Bâle sur l’agrégation des données de risque, qui comprennent notamment l’exactitude et la rapidité de mise à disposition. Ces principes ne s’appliquent pas à tous les prêteurs.

Ventilez ensuite le Gini et les taux de détection des règles par segment, puis vérifiez si la composition du portefeuille a changé. Le suivi d’une scorecard n’est utile que s’il met ces écarts en évidence, au lieu de faire d’un chiffre global le diagnostic à lui seul. Si les données à la date de décision montrent toujours une baisse de performance dans des segments comparables, rejouez la stratégie actuelle et celle envisagée sur les décisions passées. Un test champion-challenger permet à l’équipe d’examiner les décisions qui changeraient et de les comparer aux résultats observés.

Il faut reconstruire le score lorsque l’analyse par segment, fondée sur les données disponibles à la date de décision, confirme qu’il reste moins performant et que le rejeu justifie une évolution de la stratégie. Si la baisse s’explique par un changement de composition du portefeuille, elle doit plutôt conduire à réexaminer les critères d’octroi ou le seuil d’acceptation du segment concerné qu’à reconstruire le score. Le comité doit disposer d’un motif étayé, pas seulement d’un chiffre en baisse.

  1. Enregistrer chaque décision avec les données utilisées, son score, la règle déclenchée et la version de la stratégie alors en vigueur.
  2. Conserver chaque source dans l’état où elle a été reçue. Lorsqu’une donnée client ou de prêt change, ajouter une version datée et garder la précédente.
  3. À chaque clôture mensuelle, vérifier que les soldes se reportent correctement, que les comptes restent présents d’une clôture à l’autre et que les devises concordent. Valider, publier et figer l’instantané. Consigner les corrections dans de nouveaux chargements. Si une clôture publiée comporte une erreur, la retraiter, puis reprendre les clôtures suivantes dans l’ordre et les valider une à une.
  4. Construire des datamarts distincts, avec une ligne par décision, observation de résultat, prêt à la clôture mensuelle et génération d’octroi. Utiliser les mêmes définitions des clients, des produits et des segments dans chacun d’eux.
  5. Pour analyser les résultats, prendre comme référence les données disponibles au moment de la décision et les données pertinentes des clôtures mensuelles figées. L’analyse reste ainsi liée aux données historiques.
  6. Comparer le Gini et les taux de détection des règles par segment, puis vérifier si la composition du portefeuille a changé. Rejouer la stratégie actuelle et celle envisagée sur les décisions passées, examiner les décisions qui changent et comparer leurs résultats observés.
  7. Lire les provisions dans les instantanés de clôture mensuelle, les taux de régularisation sur des périodes de mesure définies et les générations au même nombre de mois depuis l’octroi. Ne reconstruire le modèle de score que si la baisse des performances persiste dans des segments comparables et que le rejeu justifie le changement. Si l’évolution s’explique par la composition du portefeuille, réexaminer les critères d’octroi ou le seuil d’acceptation du segment concerné, puis tester ce changement.

Selon ce praticien, l’IA réalise aujourd’hui une grande partie des analyses auparavant confiées aux data scientists, et plus rapidement. L’entrepôt de données devient donc encore plus nécessaire, car l’IA s’appuie sur cette couche. Il doit être correctement construit pour des raisons réglementaires et pour montrer le lien entre les données et les résultats.

Questions fréquentes sur les entrepôts de données dans le crédit

À quoi sert un entrepôt de données dans le crédit ?

Il relie les données de l’entreprise et les résultats enregistrés aux décisions dont ils découlent, puis organise cet historique pour l’analyse. En reliant les données sur les décisions et leurs résultats, l’équipe risque peut évaluer la stratégie à la lumière de ce qui s’est passé ensuite.

Pourquoi un prêteur a-t-il besoin d’instantanés ?

Les instantanés conservent l’état des données au moment d’une décision, d’un événement ou d’une clôture mensuelle, même après leur modification dans les systèmes opérationnels. Pour l’analyse, utilisez l’instantané correspondant à la décision ou au résultat étudié.

Quelle différence entre un data vault et un datamart Kimball ?

Un data vault conserve les clés métier, leurs relations et les versions successives des données descriptives. Un datamart dimensionnel organise les faits selon des niveaux de granularité définis pour l’analyse. Ils répondent à des besoins différents et peuvent être utilisés ensemble.

Comment savoir si une règle de crédit fonctionne ?

Associez à chaque décision la version de la règle et de la stratégie appliquée, puis comparez les résultats aux informations disponibles à ce moment-là. Analysez les taux de détection par segment et utilisez des données de résultat cohérentes.

Pourquoi le Gini de notre scorecard a-t-il baissé ?

Le score a peut-être perdu en performance, la composition du portefeuille a pu évoluer ou l’analyse a pu utiliser des informations reçues après la décision. Comparez les résultats à la date de décision par segment et vérifiez la composition du portefeuille avant de décider quoi changer.

Quelles mesures de crédit nécessitent des instantanés de fin de mois ?

Les provisions doivent être consultées dans les instantanés de fin de mois. Les défauts dès la première échéance et les jours de retard doivent être reliés aux observations de résultat pertinentes, les taux de régularisation à une période de mesure définie et les générations au même nombre de mois depuis l’octroi.

L’IA rend-elle l’entrepôt de données moins nécessaire ?

Selon un praticien, l’IA rend l’entrepôt de données encore plus nécessaire. Elle réalise aujourd’hui une grande partie des analyses auparavant confiées aux data scientists, et plus rapidement. L’entrepôt est la couche sur laquelle l’IA s’appuie. Il doit être correctement construit pour des raisons réglementaires et pour montrer le lien entre les données et les résultats.

Intégrez ces contrôles à un flux de décision

Créez des règles de crédit, de fraude ou de recouvrement, puis appliquez-les aux décisions réelles.