Le taux de régularisation baisse dans la tranche 2. Quelle version a accordé ces prêts ?

Un responsable du recouvrement vous présente un chiffre. Le taux de régularisation de la deuxième tranche d’impayés a baissé au cours des deux derniers mois. Le portefeuille a grossi pendant cette période, alors quelqu’un dans la salle conclut que les prêts accordés sont de moins bonne qualité.

C’est possible. Au moins huit facteurs peuvent faire évoluer ce chiffre. Le travail consiste à les examiner tous, pas seulement celui qui confirme une idée préconçue :

  • la logique de décision a changé, et les prêts ont été accordés selon d’autres critères
  • le recouvrement manque de personnel ou a perdu des agents expérimentés
  • le script d’appel a changé, et les mêmes emprunteurs sont traités différemment
  • le composeur d’appels a changé, et le taux de contact avec le bon interlocuteur a baissé
  • un nouveau canal marketing attire un autre profil d’emprunteur
  • les tarifs ont évolué, ce qui change les personnes qui acceptent une offre
  • la situation macroéconomique a évolué pour tout le monde
  • la définition a changé, et le rapport de ce mois-ci donne un autre sens à « régularisation »

La plupart de ces facteurs doivent être étudiés avant qu’une réponse soit possible. Les taux de contact nécessitent une comparaison contrôlée. L’effet de l’ancienneté des agents demande une étude par cohorte. L’effet de la conjoncture, lui, fait débat.

Un seul facteur n’exige pas d’étude. La question de savoir si la logique de décision a changé appelle un oui ou un non, et le journal qui permet de trancher se trouve déjà dans votre propre base. C’est pourquoi cette vérification vient en premier : non pas parce que les critères d’octroi sont la cause la plus probable, mais parce que c’est le seul facteur qu’on peut écarter sans rien concevoir de nouveau.

Cet article explique comment l’écarter correctement, en répondant à une question plus précise que « avons-nous changé quelque chose ? ». Pour les prêts qui se trouvent aujourd’hui dans la tranche 2, quelle logique de décision les a réellement accordés, et est-elle différente de celle qui s’exécute aujourd’hui ?

Pourquoi les chiffres du portefeuille ne suffisent pas

Les recommandations de Bâle sur les pertes de crédit attendues sont claires sur le risque : les expositions « ne doivent pas être regroupées de telle manière qu’une hausse du risque de crédit de certaines expositions individuelles puisse être masquée par l’évolution du risque de crédit du portefeuille dans son ensemble » (BCBS d350, A33). Un taux de régularisation calculé sur tout le portefeuille correspond exactement à ce type de regroupement. Il évolue sous l’effet de plusieurs facteurs à la fois, et une cohorte accordée selon un ensemble de règles est mélangée à une cohorte accordée selon un autre.

Le même document cite la génération parmi les caractéristiques à prendre en compte pour le regroupement, avec le statut des échéances, le ratio prêt/valeur, le type de produit et la zone géographique. Il demande aussi que la méthode de regroupement soit documentée et approuvée. La génération est une référence courante, car la date d’octroi donne une indication des règles en vigueur à ce moment-là.

Cette indication reste approximative. Deux demandes approuvées le même matin peuvent relever de logiques différentes si une version a été déployée entre les deux. Une génération couvrant un mois peut en contenir plusieurs. La question précise n’est donc pas « à quelle date ce prêt a-t-il été enregistré ? », mais « qu’est-ce qui l’a accordé ? »

Les données que le régulateur demande déjà de conserver

Les lignes directrices de l’EBA sur l’octroi et le suivi des prêts précisent les données à conserver :

L’infrastructure de données devrait être détaillée et suffisamment granulaire pour recueillir des informations précises sur chaque prêt, en particulier les critères d’octroi effectivement appliqués au moment de l’octroi.

EBA/GL/2020/06, paragraphe 61

La formulation est précise : les critères effectivement appliqués au moment de l’octroi. Il ne s’agit ni du document qui décrit les critères actuels, ni d’une description de ce qu’ils étaient censés être. Il s’agit des critères qui ont été exécutés.

La plupart des prêteurs conservent l’historique des versions du document des politiques et procédures de crédit, ainsi qu’un journal des modifications apportées aux déploiements de modèles. Ils doivent ensuite reconstituer manuellement quelle combinaison était en vigueur à une date donnée. C’est à ce moment-là que la confiance s’érode.

Ce que contient une version déployée

Dans Decisimo, le déploiement d’un flux de décision crée une version : un instantané compilé qui rassemble tout ce dont le flux a besoin pour prendre une décision. Il ne s’agit pas d’un renvoi vers les ensembles de règles en vigueur. La compilation parcourt le flux et intègre la définition complète de chaque élément utilisé :

  • les ensembles de règles, avec leurs règles, conditions, actions, correspondances et agrégats
  • les tables de décision, cellule par cellule, avec les opérateurs et les vecteurs de résultats
  • les scorecards, avec leurs prédicteurs, leurs pondérations et les tranches qui segmentent chaque prédicteur
  • les arbres de décision, nœud par nœud
  • les fonctions, les modèles et les sources de données externes, avec la méthode, les en-têtes et la configuration OAuth
  • les sous-flux, de manière récursive

L’ordre d’évaluation est lui aussi normalisé dans l’instantané. Les branches de bifurcation et les tranches des scorecards sont triées au moment de la compilation. La priorité donnée à la première correspondance fait partie de la logique de décision : les mêmes règles présentées dans un ordre différent ne sont plus les mêmes règles.

À l’exécution, le moteur utilise uniquement le contenu enregistré dans la version. Il ne consulte pas les tables de conception pour prendre une décision. C’est ce qui rend l’historique utile : modifier une scorecard aujourd’hui ne peut pas changer une décision prise en mars dernier, car celle-ci reposait sur un instantané qui existe toujours.

Relier une décision à la logique qui l’a produite

Chaque exécution ajoute une ligne à la base de données de logs du prêteur, avec l’identifiant du déploiement correspondant. La colonne engine_request_id contient la valeur de wf_release_deployment_id. La requête et la réponse complètes figurent également dans input_json et output_json.

Le lien se fait ensuite par jointure :

log row.engine_request_id
   → wf_release_deployment.wf_release_deployment_id
      → .content              la logique exacte exécutée
      → .workflow_release_id
         → workflow_release   .name, .notes, .user_id, .dtime_inserted

Pour toute décision identifiable, on retrouve ainsi la logique qui l’a produite, la version dont elle provient, la personne qui a publié cette version et la date de publication.

L’identification des prêts concernés devient alors systématique. Prenez les prêts de la tranche 2, reliez-les aux décisions à l’origine de ces prêts à l’aide de engine_request_id, puis regroupez-les. S’ils se concentrent sur une version déployée après la dernière cohorte de référence validée, comparez les deux versions et examinez les changements.

S’ils ne se concentrent pas sur une version particulière, c’est aussi un résultat, plus utile qu’il n’y paraît. Les prêts arrivés dans la tranche 2 ont alors été accordés selon la même logique que la cohorte dont le taux de régularisation était normal au trimestre précédent. Le changement se situe donc après la décision. L’enquête peut alors porter sur la capacité de recouvrement, le parcours de traitement, les taux de contact ou les canaux d’acquisition. Les données déjà disponibles permettent de l’orienter avant même de concevoir une étude. Une réponse négative certaine vaut mieux qu’une réponse positive discutable.

Deux points pratiques. L’identifiant de la version ne figure pas dans le corps de la réponse de décision. Le lien se trouve donc dans les logs et s’effectue sur request_id. Les versions sont identifiées par leur ID et par un nom généré, horodaté à la publication, au format credit_scoring_2608201430, et non par un numéro de version sémantique.

Intégrez ces contrôles à un flux de décision

Créez des règles de crédit, de fraude ou de recouvrement, puis appliquez-les aux décisions réelles.

Comparer deux versions

Avec deux identifiants de version, la comparaison affiche le flux de décision étape par étape. Chaque élément est indiqué comme ajouté, supprimé, modifié ou inchangé, et les éléments modifiés sont automatiquement développés.

Pour une scorecard, le niveau de détail correspond à celui qu’exige cette analyse. Les prédicteurs sont rapprochés selon leur identité, pas leur position. Un prédicteur renommé n’apparaît donc pas comme une suppression suivie d’un ajout. La pondération de chaque prédicteur est indiquée avant et après le changement. Pour chaque tranche, l’opérateur et les limites sont aussi présentés avant et après.

On peut ainsi distinguer deux changements qui semblent identiques dans un rapport de portefeuille, mais qui ne le sont pas du tout :

  • Une pondération a changé. Les mêmes demandeurs sont évalués, mais la contribution d’un prédicteur au score total a évolué.
  • La segmentation a changé. La limite d’une tranche a bougé. Des demandeurs qui obtenaient auparavant un score donné en obtiennent maintenant un autre. Le découpage de la population a changé.

Une variation de pondération tend à déplacer légèrement l’ensemble de la distribution des scores. Un changement de segmentation tend à déplacer fortement une tranche. Une cohorte peut alors se comporter différemment de celles qui l’entourent, ce qui se traduit quelques mois plus tard par un taux de régularisation instable.

Où se trouve l’expérimentation

Dans Decisimo, le test champion/challenger prend la forme d’une bifurcation dans le flux de décision, selon une valeur aléatoire. La logique challenger se trouve sur une branche et la logique champion sur l’autre.

Ce positionnement compte pour toute l’analyse. La bifurcation est intégrée au flux de décision, et non stockée à côté dans une configuration séparée. Elle fait donc partie de l’instantané de la version. La comparaison des versions fait apparaître la branche challenger, la limite utilisée pour répartir les demandes et la scorecard qui s’y trouve. Avec une plateforme qui stockerait le test champion/challenger dans une couche de configuration distincte, la comparaison du flux pourrait sembler inchangée alors qu’un dixième des demandeurs serait évalué par une autre logique.

Une limite à anticiper : le paramétrage par défaut ne permet pas de retrouver la branche empruntée par une demande, champion ou challenger. Cette information n’est récupérable que si elle a été enregistrée. L’appelant peut fournir la valeur de répartition dans le corps de la requête. Elle est alors inscrite dans input_json dans les logs et peut servir à un regroupement ultérieur. Autre possibilité : l’appelant active le paramètre record_steps, qui renvoie la liste des étapes exécutées. Ces deux options sont désactivées par défaut. Pour analyser une expérimentation par cohorte plusieurs mois plus tard, il faut inclure la valeur de répartition dans le corps de la requête.

Ce que cet historique ne garantit pas

Il aide à reconstituer les décisions, mais ne constitue pas un registre infalsifiable. Les versions et les déploiements peuvent être supprimés. Dans ce cas, les clés étrangères sont mises à null, et les références historiques de votre journal ne pointent plus vers rien. Si les obligations de conservation s’étendent sur plusieurs années, ne supprimez pas les déploiements associés à des décisions historiques.

Lors de la compilation, la version conserve aussi la révision exacte utilisée pour les ensembles de règles, les tables de décision, les fonctions, les scorecards et les arbres de décision. Ce n’est pas le cas pour les modèles, les sources de données externes, les services OCR ou les sous-flux. Pour ces éléments, l’instantané contient la définition intégrée qui a été exécutée, mais pas de lien vers la révision de conception d’origine.

Les contrôles de version signalent les avertissements, mais ne bloquent pas le déploiement. Une version comportant des avertissements de lint peut être publiée. Les processus d’approbation sont associés à une version après sa création, et non utilisés pour en empêcher la création.

Les mesures à prendre

Quatre actions, classées selon leur utilité.

Reliez le journal des décisions au portefeuille de prêts à l’aide de l’identifiant de requête, et conservez engine_request_id dans l’entrepôt de données. Ce point est souvent oublié. Sans ce lien, impossible d’effectuer les analyses suivantes. Une seule colonne suffit.

Analysez la dégradation par version avant de l’analyser par mois. La génération donne une indication des règles en vigueur. L’identifiant de version donne la version exacte. En cas de désaccord entre les deux, fiez-vous à la version.

Vérifiez d’abord les critères d’octroi et consignez la réponse, quelle qu’elle soit. C’est le seul facteur de la liste qui appelle un oui ou un non, et les deux réponses sont utiles. L’une indique ce qu’il faut annuler. L’autre permet aux équipes de recouvrement et de marketing de poursuivre leurs échanges sans qu’un soupçon ne les pèse.

Ajoutez la valeur de répartition du test champion/challenger au contenu de la requête. Une expérimentation qu’on ne peut pas analyser par branche après coup produit un chiffre, pas une conclusion.

Aucune de ces actions ne nécessite une équipe de data science. Il faut que la logique de décision existe encore dans la forme qu’elle avait au moment de la décision, et que cette décision y fasse référence.

Questions fréquentes

Comment identifier la version qui a accordé les prêts de la tranche 2 ?

Reliez chaque prêt à la décision correspondante dans votre journal à l’aide de l’identifiant de requête, puis regroupez les prêts par version. Conservez cet identifiant dans votre entrepôt de données pour pouvoir réutiliser le lien dans vos analyses de portefeuille. S’il manque, il est impossible de déterminer de façon fiable quelle version a pris ces décisions. La date d’octroi ne donne qu’une indication.

Pour analyser la baisse du taux de régularisation, faut-il regrouper les prêts par génération ou par version ?

Utilisez la version comme critère principal pour vérifier si la logique de décision a changé, et gardez la génération comme point de comparaison. Une même génération peut regrouper des prêts accordés sous différentes versions et masquer ainsi un changement dans les règles. Si les taux de régularisation diffèrent selon la version, mais pas selon la génération, examinez les versions avant de tirer des conclusions sur la cohorte dans son ensemble.

Que vérifier lorsque deux versions affichent des taux de régularisation différents ?

Comparez les versions et examinez les éléments modifiés dans la logique de décision. Pour une scorecard, vérifiez les pondérations des prédicteurs et les limites des tranches. Une variation de pondération change la contribution d’un prédicteur. Une variation des limites modifie les demandeurs qui se retrouvent dans chaque tranche. Examinez aussi les autres changements, car la scorecard n’est pas nécessairement la seule cause.

Que faut-il enregistrer avant de lancer un test champion/challenger ?

Ajoutez la valeur de répartition aux données de la requête et conservez-la dans votre journal des décisions. Vous pourrez ainsi retrouver la branche suivie par chaque demande. La liste des tâches exécutées peut aussi permettre de retrouver cette information, mais son enregistrement n’est pas activé par défaut. Si aucune de ces données n’est disponible, vous aurez peut-être des résultats, mais pas de moyen fiable de les attribuer à une branche.

Comment conserver le lien entre les décisions historiques et les versions correspondantes ?

Conservez la version et son déploiement aussi longtemps que vous devez pouvoir examiner les décisions qui s’y réfèrent. La suppression d’un déploiement peut priver le journal de tout lien exploitable vers la version, même si la ligne du journal est toujours présente. Définissez la durée de conservation en fonction de la période pendant laquelle les dossiers de crédit peuvent devoir être examinés, et incluez la conservation des versions dans ces règles.

Intégrez ces contrôles à un flux de décision

Créez des règles de crédit, de fraude ou de recouvrement, puis appliquez-les aux décisions réelles.