Gestion des variables et des modèles : suivre leur stabilité

Dans le crédit, la lutte contre la fraude, l'assurance et l'entrée en relation, les équipes pensent souvent qu'un volume de données plus important produit de meilleurs modèles. C'est parfois vrai, mais pas toujours. Une variable prédictive peut sembler utile lors du développement, puis perdre sa valeur en production parce que sa distribution évolue, qu'une catégorie est trop peu représentée ou que la source de données se comporte différemment selon les segments, les canaux ou les périodes.

C'est là que la gestion des variables et des modèles prend toute son importance. La stabilité des modèles repose sur celle des variables. Si leur définition, leur regroupement et leur utilisation dans les règles de décision ne sont pas suivis, les décisions en production peuvent devenir instables. Le problème risque de passer inaperçu jusqu'à ce qu'il soit trop tard pour intervenir tôt.

Le problème ne concerne pas seulement la data science. L'instabilité des attributs se répercute sur les règles, les seuils de score, les files d'attente pour examen manuel, la tarification, les contrôles de fraude et les rapports de conformité. Un prédicteur peu fiable reste rarement isolé. Il affecte l'ensemble du flux de décision.

Pour les équipes qui élaborent une logique de décision déterministe et vérifiable, la stabilité n'est pas un simple avantage. C'est une exigence opérationnelle.

Pourquoi ajouter des variables peut dégrader un modèle

La tentation est grande d'intégrer au modèle tous les signaux disponibles. De nouvelles données de fournisseurs, des données comportementales, des contrôles d'identité, des informations sur les appareils, des schémas de transaction et des variables dérivées peuvent tous sembler prédictifs pendant le développement. Mais les performances prédictives sur un échantillon d'entraînement ne garantissent pas une utilité opérationnelle en production.

Une variable peut dégrader la qualité du modèle pour plusieurs raisons :

  • Elle est peu représentée. Certaines valeurs ou catégories sont trop rares pour permettre des estimations stables.
  • Elle est sensible aux changements dans la composition des dossiers acquis. Une évolution des canaux peut rapidement modifier sa distribution.
  • Elle dépend de la qualité de données externes. Les données de tiers peuvent évoluer, devenir indisponibles ou changer de signification.
  • Elle crée des variations dans certains segments. Une variable peut bien fonctionner dans l'ensemble, mais mal se comporter dans des sous-populations importantes.
  • Elle est difficile à expliquer et à encadrer. L'audit, la validation et la gestion des seuils deviennent alors plus complexes.

En pratique, un modèle fondé sur moins de variables prédictives, mais bien gérées, donne souvent de meilleurs résultats dans la durée qu'un modèle rempli de variables instables. C'est l'une des raisons pour lesquelles les scorecards et les variables regroupées restent courantes dans les secteurs réglementés. Elles peuvent apporter un gain à court terme légèrement inférieur, mais facilitent le contrôle et le suivi et stabilisent les règles de décision.

En quoi consiste la gestion des variables

La gestion des variables consiste à définir, documenter, tester, suivre et encadrer les variables prédictives utilisées dans les modèles et les flux de décision. Elle ne se limite pas à dresser une liste de variables dans un notebook.

Une bonne gestion des variables doit répondre à cinq questions :

  • Définition : Que mesure précisément la variable ?
  • Source : D'où vient sa valeur et comment est-elle calculée ?
  • Transformation : Est-elle brute, répartie en classes, plafonnée, normalisée ou combinée à d'autres champs ?
  • Couverture : À quelle fréquence est-elle renseignée et pour quelles populations ?
  • Stabilité : Son comportement prédictif reste-t-il cohérent dans le temps ?

Sans ce cadre, des dépendances passent inaperçues. Une variable prédictive est réutilisée dans des scorecards, des contrôles antifraude et des règles de tarification, mais personne ne remarque que sa distribution évolue. Lorsque le problème se manifeste dans les taux d'acceptation ou les pertes, sa cause est déjà répartie entre plusieurs flux de décision.

Lorsque les règles de décision combinent règles, scorecards et modèles, il devient encore plus important de pouvoir suivre les décisions. Pour savoir comment garder des règles compréhensibles en production, consultez Suivre les modèles et les décisions.

Le découpage en classes stabilise les variables prédictives

Le découpage en classes est parfois considéré comme dépassé par rapport aux variables continues brutes et à l'ingénierie automatisée des variables. Cette opinion néglige un point important : ce découpage n'est pas qu'une commodité pour la modélisation. C'est aussi un moyen de contrôle.

Découper une variable en classes ou la catégoriser la rend moins sensible au bruit et facilite l'observation, la validation et le suivi de son lien avec le résultat. Au lieu de réagir à chaque petite variation d'une valeur brute, le modèle évalue un ensemble maîtrisé de plages ou de groupes.

Cette méthode présente plusieurs avantages :

  • Elle atténue le bruit. De petites variations numériques ne provoquent pas de réactions instables du modèle.
  • Elle facilite l'interprétation. Les équipes peuvent examiner le comportement de chaque classe et en expliquer l'effet.
  • Elle favorise des relations monotones. C'est utile lorsque le risque doit évoluer dans un sens cohérent.
  • Elle limite le surapprentissage. Le modèle est moins susceptible de s'appuyer sur des tendances locales qui ne se maintiennent pas.
  • Elle facilite le suivi. Il est plus simple de suivre l'évolution des populations et des performances par classe que des milliers de valeurs brutes.

Par exemple, l'âge utilisé comme variable brute peut présenter des irrégularités locales liées à la composition de l'échantillon. Le regrouper en tranches pertinentes peut produire un signal plus stable. Le même principe s'applique au revenu, à l'ancienneté, au nombre de transactions ou au temps écoulé depuis un événement. Dans la lutte contre la fraude, les schémas rares liés aux appareils ou aux adresses e-mail peuvent aussi devoir être regroupés avant d'être utilisés dans les règles de décision en production.

Pour les équipes qui utilisent des scorecards ou des variables regroupées dans un environnement fondé sur des règles, Mettre en œuvre des scorecards dans un moteur de règles apporte des éléments complémentaires.

Le risque des catégories peu représentées

Le regroupement en classes améliore la stabilité, à condition que les classes soient pertinentes sur le plan statistique et opérationnel. Une catégorie avec très peu d'observations peut donner une fausse impression de pouvoir prédictif. Lors du développement, elle peut sembler distinguer nettement les résultats positifs et négatifs. En production, les mêmes résultats peuvent varier fortement, faute d'un volume suffisant et représentatif au départ.

C'est l'un des problèmes de stabilité les plus courants dans la gestion des modèles. Des classes peu fournies donnent des estimations instables. Des estimations instables entraînent des scores instables, qui influent ensuite sur les seuils d'acceptation, les règles d'orientation et les décisions en aval.

Voici les signes qui doivent alerter :

  • Des échantillons très réduits dans une ou plusieurs classes.
  • De fortes variations des performances entre le développement, la validation et les périodes récentes en production.
  • Un classement difficile à interpréter qui change d'une période à l'autre.
  • Une évolution marquée de la répartition des classes après un changement de canal, de règles ou de fournisseur.
  • De bonnes performances globales, mais des résultats faibles ou contradictoires dans des segments importants.

Lorsqu'une catégorie n'est pas suffisamment représentative, elle ne doit pas rester dans le modèle uniquement parce qu'elle améliore un indicateur de développement. Il peut être préférable de regrouper des catégories, de redécouper la variable, de plafonner les valeurs extrêmes ou de retirer entièrement la variable.

Ce choix ne va pas à l'encontre de la science des données. Il relève d'une bonne gouvernance des modèles.

La stabilité des modèles concerne la stratégie décisionnelle

De nombreuses équipes considèrent le suivi des modèles comme une discipline distincte de la gestion des règles. En exploitation, cette séparation tient rarement.

Le score d’un modèle n’est généralement qu’un élément d’un flux de décision plus large. Il alimente les critères d’octroi, la tarification fondée sur le risque, l’escalade des alertes de fraude, les déclencheurs d’examen manuel, les contrôles d’exposition et les règles de traitement des clients. Si le modèle devient instable, l’ensemble de la stratégie de décision l’est aussi.

La gestion des modèles doit donc être étroitement liée à celle des règles de décision. Les équipes doivent suivre les performances du modèle, mais aussi vérifier qu'il se comporte toujours comme prévu dans le cadre des règles appliquées.

Pour les équipes de crédit, cet enjeu prend de l'importance à mesure que l'activité se développe et que les couches de règles se multiplient. L'article Piloter les décisions de crédit quand l'activité prend de l'ampleur aborde aussi la maîtrise des changements.

Intégrez ces contrôles à un flux de décision

Créez des règles de crédit, de fraude ou de recouvrement, puis appliquez-les aux décisions réelles.

Quels indicateurs suivre pour évaluer la stabilité des variables et des modèles

Le suivi de la stabilité doit porter à la fois sur les variables et sur les modèles. Se limiter aux indicateurs globaux du modèle, c'est souvent réagir trop tard. Les variations peuvent alors déjà affecter les résultats en production.

Suivi des variables

  • Répartition de la population par classe ou catégorie au fil du temps
  • Taux de valeurs manquantes et recours aux valeurs par défaut ou de remplacement
  • Couverture par canal, produit, zone géographique ou segment de clientèle
  • Taux de résultat dans chaque classe pour vérifier le classement et sa cohérence
  • Fraîcheur et taux d'échec des sources de données pour les variables externes

Suivi des modèles

  • Évolution de la distribution des scores
  • Variation des taux d'acceptation ou de refus
  • Population Stability Index ou autres mesures de variation de la distribution
  • Taux de mauvais payeurs ou taux de fraude par tranche de score
  • Évolution du calibrage entre les résultats prévus et observés
  • Performances par segment, et pas seulement les moyennes du portefeuille

L’essentiel est de relier ces différentes vues. En cas de dérive des scores, il faut pouvoir repérer les attributs qui ont évolué, les classes qui ont évolué avec la dérive et les seuils de décision désormais exposés. Ces éléments accélèrent les mesures correctives et simplifient les audits.

Pour les équipes qui affinent les contrôles d'octroi, consultez aussi Les indicateurs à suivre pour l'octroi de crédit.

Quelques règles pour concevoir des variables prédictives stables

Il n'existe pas de modèle unique pour tous les portefeuilles, mais plusieurs principes s'appliquent à la plupart des cas.

  • Privilégier les variables qui ont un sens métier clair. Si personne ne peut expliquer pourquoi une variable prédit le risque, il est plus difficile de l'encadrer et de justifier son utilisation.
  • Regrouper les variables continues avec discernement. Les classes doivent contenir suffisamment de dossiers, présenter un comportement stable et suivre un ordre cohérent.
  • Éviter les catégories peu représentées. Les regrouper lorsque c'est possible ou les supprimer.
  • Vérifier la stabilité dans le temps et par segment. Une variable qui ne fonctionne que pour une campagne ou un trimestre est fragile.
  • Documenter chaque transformation. Le champ brut, le champ dérivé, les règles de découpage en classes et le traitement des valeurs de remplacement doivent pouvoir être suivis.
  • Suivre les dépendances externes. Si un fournisseur modifie la qualité de ses données ou ses schémas de réponse, le modèle peut évoluer avant que les indicateurs globaux ne le montrent.
  • Coordonner les changements de modèle et de règles. Modifier les seuils sans réexaminer les variables peut avoir des effets inattendus sur le portefeuille.

Cette approche convient aux flux de décision déterministes, dont la logique doit rester observable et associée à une version. Même avec l'apprentissage automatique, les règles de décision autour du modèle doivent préciser comment ses résultats sont évalués et utilisés.

Quand retirer une variable d'un modèle

Les équipes hésitent souvent à retirer des variables une fois qu'elles ont été préparées, testées et approuvées. Pourtant, une variable prédictive doit continuer à justifier sa place, et pas seulement l'avoir fait une fois.

Envisagez de retirer ou de revoir une variable lorsque :

  • Sa distribution évolue régulièrement sans explication métier stable.
  • Ses classes comptent trop peu de dossiers ou présentent des taux d'événement instables.
  • Sa contribution est faible, mais son encadrement demande beaucoup de travail.
  • Elle dépend d'une source externe dont la disponibilité ou la qualité varie.
  • Elle pose des difficultés pour justifier des décisions dans un secteur réglementé.
  • Elle complique les règles de décision sans apporter de réel avantage opérationnel.

Dans bien des cas, un ensemble de variables plus simple donne de meilleurs résultats à long terme. L'objectif n'est pas de maximiser le nombre de variables prédictives, mais de créer des règles de décision qui restent efficaces dans les conditions réelles d'exploitation.

Maîtriser les décisions

La gestion des modèles ne consiste pas à viser le meilleur score pendant le développement. Il s'agit de stabiliser les décisions en production, de pouvoir les comprendre et de les aligner sur les règles métier.

Tout commence par la gestion des variables. Intégrer au modèle des variables peu représentées ne cantonne pas l'instabilité au modèle. Elle peut se répercuter sur toute la stratégie décisionnelle. Le découpage en classes et la catégorisation des variables prédictives contribuent à limiter ce risque : ils structurent les données, facilitent l'interprétation et permettent de repérer plus tôt les variations de distribution, avant qu'elles ne deviennent coûteuses.

Pour les équipes qui prennent des décisions automatisées, la règle est simple : utiliser des attributs que l'on peut définir, suivre, surveiller et justifier. Regrouper les prédicteurs de façon à préserver leur représentativité. Écarter les variables qui ajoutent du bruit. Puis relier le suivi des modèles au reste du flux de décision, afin que les problèmes de performance ne se transforment pas en défaillances des règles.

C'est ainsi que des modèles stables contribuent à des décisions métier stables.

Questions fréquentes

À partir de quel seuil de PSI faut-il examiner une variable de crédit ou un score ?

Considérez qu'un Population Stability Index inférieur à 0,1 constitue un signal courant, qu'une valeur comprise entre 0,1 et 0,25 justifie une analyse et qu'une valeur supérieure à 0,25 appelle une action. Ce sont des repères fréquents, pas des seuils universels. Le PSI mesure une variation de distribution, mais ne dit pas si la variable prédit toujours les pertes. Avant de modifier les règles d'octroi, examinez les taux de résultat par classe et par segment.

À quelle fréquence un prêteur doit-il vérifier la stabilité des variables et des scores ?

Examinez au moins une fois par mois la couverture des variables, les taux de valeurs manquantes et les distributions des scores. Passez à un suivi hebdomadaire lorsque les volumes sont élevés, qu'un fournisseur de données ou un canal d'acquisition change, ou qu'une évolution risque d'affecter rapidement les décisions prises pour les clients. Après un changement important des règles, d'un canal ou d'une source, comparez rapidement les populations concernées au lieu d'attendre le prochain examen planifié. Pour les taux de résultat, prévoyez une période suffisamment longue pour que les résultats de crédit concernés soient connus.

Combien de données faut-il dans une classe pour évaluer les performances d'une variable ?

Ne fixez pas de minimum sur le seul nombre total de demandes. Vérifiez le nombre de résultats positifs et négatifs dans chaque classe, puis évaluez si le taux observé est assez précis pour étayer la décision envisagée. Par hasard, les classes peu fournies peuvent sembler particulièrement performantes. Si les estimations varient selon les périodes ou les segments, regroupez les classes voisines lorsque le lien avec le risque le justifie, ou écartez l'attribut jusqu'à disposer de données plus probantes.

Quand faut-il redécouper une variable en classes ou la supprimer ?

Redécoupez une variable lorsque sa source reste fiable et que l'instabilité se concentre dans des catégories peu fournies ou à des limites de classes trop sensibles au bruit. Supprimez-la lorsque sa couverture fait régulièrement défaut, que sa signification change, que son lien avec les résultats varie selon les périodes ou les segments importants, ou que sa contribution ne justifie pas les contraintes opérationnelles. Avant de modifier les règles d'octroi en production, vérifiez les effets sur les tranches de score, les taux d'acceptation et le volume d'examens manuels.

Comment tester une variable ou un modèle révisé avant de modifier les seuils de crédit ?

Comparez la version révisée aux règles actuellement appliquées sur une période ultérieure, puis examinez les résultats par canal et par segment important de clientèle. Mesurez la distribution des scores, leur calibrage, les taux de mauvais payeurs par tranche de score, l'effet sur les acceptations et les variations du volume d'examens. Un meilleur résultat global peut masquer un effet défavorable pour un segment. Conservez les règles actuelles tant que les résultats ne justifient pas le changement et que l'équipe chargée de l'octroi n'a pas approuvé les règles de décision révisées.

Intégrez ces contrôles à un flux de décision

Créez des règles de crédit, de fraude ou de recouvrement, puis appliquez-les aux décisions réelles.