Suivre les scorecards et repérer les signaux importants

Pourquoi suivre une scorecard avec plusieurs indicateurs

Les scorecards vieillissent. Les données évoluent, le comportement des clients aussi, et les règles de l’établissement changent avec eux. En ne suivant qu’un seul indicateur, on risque de passer à côté de l’essentiel : la scorecard distingue-t-elle toujours les différents niveaux de risque de façon utile à la logique de décision ?

Le suivi doit donc couvrir plusieurs aspects : les évolutions globales, la stabilité des variables et des classes, le pouvoir prédictif, l’ordre de classement et les abords des seuils d’acceptation. Une scorecard peut rester exploitable malgré le recul d’un indicateur. Elle peut aussi sembler stable dans son ensemble, mais ne plus fonctionner là où les décisions sont prises.

Commencer par les évolutions, puis approfondir l’analyse

Les évolutions indiquent si les données d’entrée s’écartent de celles de la population utilisée lors du développement. C’est souvent le premier signe d’un changement de contexte. Il peut concerner les revenus, le taux d’utilisation, les antécédents d’impayés, les données sur les appareils ou toute autre variable de la scorecard.

Toute évolution n’est pas forcément préoccupante. Certaines sont attendues. Mais elle devient importante lorsqu’elle modifie la répartition des demandeurs au point de remettre en cause les hypothèses de la scorecard. Le suivi des évolutions est donc un point de départ, pas le seul contrôle à effectuer.

Les points à surveiller

  • L’évolution de la répartition des variables clés au fil du temps.
  • Les changements dans le profil des demandeurs selon le canal, la zone géographique ou le produit.
  • Les changements de concentration au milieu de l’échelle de scores.
  • Les variations soudaines à proximité des seuils d’acceptation ou de refus.

Lorsqu’une évolution apparaît, ne vous arrêtez pas à la vue d’ensemble. Ventilez les données par variable, segment et période. Le problème se trouve souvent dans une partie précise de la population.

La stabilité des variables indique si les données se comportent comme prévu

La stabilité des variables mesure si le lien entre chaque variable d’entrée et le résultat reste constant. Lorsqu’une variable devient instable, la scorecard peut continuer à produire des scores, mais ceux-ci risquent de perdre leur signification.

C’est important, car une scorecard repose sur un comportement prévisible des données d’entrée. Si une variable qui distinguait clairement les niveaux de risque ne le fait plus, la scorecard peut perdre de son utilité, même si le profil global de la population reste similaire.

La stabilité des variables compte particulièrement pour celles qui pèsent fortement dans le modèle. Une légère évolution d’une variable peu influente peut avoir moins d’importance qu’un changement touchant un facteur clé comme le revenu, l’historique de paiement ou l’exposition. Il faut suivre ce qui pèse sur les décisions, pas seulement ce qui est facile à mesurer.

Les problèmes passent souvent inaperçus dans les classes de score

La stabilité des classes consiste à vérifier si les résultats de chaque classe de score restent constants dans le temps. C’est souvent là que les difficultés apparaissent sans être détectées. Le score global peut sembler satisfaisant alors qu’une classe commence à réunir des niveaux de risque auparavant bien distincts.

Le suivi par classe est utile, car les scorecards ne servent généralement pas à produire un résultat continu. Elles répartissent les demandeurs en groupes qui servent à décider d’une acceptation, d’un examen, d’une tarification ou d’un traitement. Si une classe évolue, les critères d’octroi qui lui sont associés peuvent ne plus correspondre au risque qu’elle recouvre.

C’est pourquoi la stabilité des classes mérite une analyse à part. Une moyenne stable peut masquer des changements au sein des classes. Il faut examiner chacune d’elles séparément et la comparer aux périodes précédentes, aux données de développement et aux classes voisines.

Questions à se poser lorsqu’une classe évolue

  • La population de cette classe a-t-elle changé ?
  • Le taux d’événement a-t-il évolué ?
  • Le profil des demandeurs de cette classe s’est-il modifié ?
  • La classe respecte-t-elle toujours l’ordre de risque attendu ?

Le pouvoir prédictif compte, mais ne suffit pas

Le pouvoir prédictif indique dans quelle mesure la scorecard distingue les bons résultats des mauvais. C’est un indicateur important, mais il ne doit pas être le seul auquel se fier. Dans la pratique, une scorecard peut perdre en pouvoir prédictif sans entraîner immédiatement de difficulté pour l’activité.

C’est le cas lorsque l’ordre de classement reste cohérent et que la zone du seuil d’acceptation demeure stable. Si la scorecard classe toujours correctement les demandeurs et que la limite de décision se comporte comme prévu, elle peut rester exploitable malgré un recul de son pouvoir prédictif.

Il ne s’agit pas pour autant de négliger le pouvoir prédictif. Il faut l’interpréter dans son contexte. Son recul est un signal à examiner, pas une preuve automatique d’échec.

L’ordre de classement est souvent le test le plus utile

L’ordre de classement indique si la scorecard classe toujours les demandeurs du risque le plus faible au plus élevé, comme attendu. Pour de nombreuses décisions de crédit et de risque, c’est plus important qu’une légère variation d’un indicateur statistique.

Si l’ordre de classement n’est plus respecté, la scorecard peut conduire à de mauvaises décisions même si les autres indicateurs semblent acceptables. Un modèle qui ne classe plus correctement les risques inspire moins confiance, surtout lorsque les critères d’octroi reposent sur des tranches de scores ou des seuils.

Il faut examiner l’ordre de classement par décile ou par tranche de scores. Cette analyse permet de vérifier plus clairement si le modèle conserve un comportement monotone dans l’ensemble de la population. Si les déciles les mieux notés ne se distinguent plus nettement des moins bien notés, la scorecard peut perdre de son utilité pour la décision.

Ce que révèle l’analyse par décile

  • Le taux de mauvais payeurs augmente-t-il à mesure que le score se dégrade ?
  • La séparation entre les tranches de score reste-t-elle cohérente ?
  • Certains segments faussent-ils la tendance ?
  • Les évolutions se concentrent-elles sur une partie de l’échelle de score ?

Intégrez ces contrôles à un flux de décision

Créez des règles de crédit, de fraude ou de recouvrement, puis appliquez-les aux décisions réelles.

La zone autour du seuil d’acceptation mérite une attention particulière

C’est autour des seuils que le suivi de la scorecard devient concret. De faibles variations près de la limite de décision peuvent modifier les acceptations, les refus, les examens manuels et la tarification. La zone du seuil d’acceptation est donc particulièrement importante.

Une scorecard peut sembler stable dans son ensemble, mais évoluer suffisamment près du seuil pour changer les décisions. Le risque est réel, car c’est là que se concentre l’impact sur l’activité. Les pertes liées à un suivi insuffisant ne proviennent généralement pas de toute la distribution des scores. Elles viennent de la partie où les critères d’octroi déterminent la décision.

Examinez de près les demandeurs proches du seuil et comparez-les dans le temps. Vérifiez si leur taux d’événement, la répartition de leurs scores et leur ordre de classement ont changé. Si les résultats autour de la limite deviennent instables, les critères d’octroi qui en dépendent peuvent évoluer même si le reste de la scorecard semble satisfaisant.

À vérifier autour du seuil d’acceptation

  • La densité des scores à proximité du seuil.
  • Les volumes d’acceptations et de refus autour de la limite.
  • Les taux de résultat juste au-dessus et juste au-dessous du seuil.
  • La stabilité des classes voisines de part et d’autre du seuil.

Pourquoi une scorecard peut sembler stable tout en étant défaillante

C’est un point que les équipes négligent souvent. La stabilité globale d’une scorecard peut sembler satisfaisante alors que la zone du seuil raconte une autre histoire. À l’inverse, le pouvoir prédictif global peut reculer alors que l’ordre de classement reste suffisamment bon pour l’activité. Ces deux situations peuvent coexister.

Le suivi doit donc répondre à une question concrète : la scorecard permet-elle toujours de prendre les décisions prévues ?

Si oui, une légère baisse d’un indicateur ne justifie pas forcément un remplacement immédiat. Si non, il faut mener une analyse, même si la scorecard semble stable sur le papier.

Examiner les scorecards en pratique

Un suivi efficace suit un ordre précis. Il faut d’abord vérifier les évolutions de la population, puis examiner la stabilité des variables et des classes. Viennent ensuite le pouvoir prédictif et l’ordre de classement. Enfin, il faut étudier en détail la zone du seuil d’acceptation.

Cette séquence permet de distinguer le bruit d’une évolution réelle. Elle évite aussi de réagir de façon excessive à un indicateur isolé, ou trop peu à une défaillance qui n’apparaît qu’au seuil de décision.

Routine de suivi

  1. Comparer les distributions actuelles aux données de développement et à la période précédente.
  2. Examiner la stabilité et les évolutions de chaque variable.
  3. Vérifier les résultats par classe et le taux de mauvais payeurs pour chaque groupe de scores.
  4. Mesurer le pouvoir prédictif et l’interpréter dans son contexte.
  5. Vérifier l’ordre de classement par décile.
  6. Analyser avec une attention particulière la zone du seuil d’acceptation.

Que faire lorsqu’une évolution est détectée

Tout changement ne nécessite pas de reconstruire la scorecard. Il peut suffire d’ajuster les critères d’octroi, de recalibrer les seuils ou d’examiner une variable en particulier. Dans d’autres cas, la scorecard ne correspond plus à la population pour laquelle elle a été développée et une refonte s’impose.

Il faut éviter de raisonner en tout ou rien. Une scorecard n’est pas simplement bonne ou mauvaise. Son utilité peut varier, et la réponse adaptée dépend de l’endroit où l’évolution apparaît et de ses effets sur les décisions.

Si l’ordre de classement reste cohérent et que la zone du seuil est stable, il est possible de poursuivre le suivi avant d’agir. Si cette zone évolue ou si la répartition par décile n’est plus cohérente, il faut intervenir plus rapidement.

Conclusion

Le suivi d’une scorecard doit tenir compte de son utilisation. Les évolutions, la stabilité des variables et des classes, le pouvoir prédictif et l’ordre de classement comptent tous. Mais la question la plus importante est souvent locale, pas globale : que se passe-t-il autour du seuil d’acceptation ?

C’est là que les décisions changent. C’est là que le risque est pris en compte. Une scorecard peut alors sembler fonctionner correctement, alors que la maîtrise des résultats se dégrade discrètement.

Suivez l’ensemble de la distribution. Examinez les déciles. Traitez la zone du seuil d’acceptation comme un point de contrôle à part entière. Vous pourrez ainsi repérer les problèmes avant qu’ils n’affectent les taux d’acceptation, les pertes ou les volumes d’examens manuels.

Questions fréquentes

Quel seuil d’évolution de la population doit déclencher une analyse ?

Utilisez le population stability index (PSI) comme signal d’analyse, pas comme déclencheur automatique d’une modification des critères d’octroi. Selon une convention courante de présélection, un PSI inférieur à 0,10 indique une évolution limitée, un PSI compris entre 0,10 et 0,25 justifie une analyse et un PSI supérieur à 0,25 signale une évolution importante. Vérifiez le découpage en classes et la couverture de l’échantillon, puis déterminez quelles variables, quels canaux ou quelles tranches de scores expliquent le changement. Un PSI global élevé peut masquer une population stable autour du seuil d’acceptation, et l’inverse est également possible.

Combien de tranches de scores utiliser pour vérifier l’ordre de classement ?

Commencez par les déciles pour voir si le taux de mauvais payeurs augmente à mesure que les scores baissent. Examinez ensuite les tranches de scores réellement utilisées pour l’acceptation, l’examen ou la tarification. Le nombre approprié dépend du volume de demandes et du nombre de résultats arrivés à maturité dans chaque tranche. Regroupez des déciles voisins si le faible nombre de résultats rend la tendance instable, mais gardez visibles les tranches autour du seuil de décision.

Comment tester un changement de scorecard ou de critères d’octroi avant de modifier les acceptations ?

Rejouez les données récentes des demandeurs, avec des résultats arrivés à maturité, selon la scorecard ou les critères d’octroi actuels puis selon ceux envisagés. Comparez les volumes d’acceptation, les taux de mauvais payeurs et les pertes attendues, dans l’ensemble de la population et autour du seuil. Vérifiez ensuite si des canaux ou des segments de clientèle subissent des effets inattendus. Les résultats historiques ne garantissent pas les performances futures. Consignez donc les hypothèses et suivez les mêmes indicateurs après le changement.

Intégrez ces contrôles à un flux de décision

Créez des règles de crédit, de fraude ou de recouvrement, puis appliquez-les aux décisions réelles.