Pourquoi les caractéristiques du produit faussent votre scorecard

La scorecard a passé la validation. Regardez ce qu’elle a appris.

Vous avez développé ou acheté une scorecard à partir de votre portefeuille de prêts acceptés. Son AUC de validation semble convaincante et le travail de modélisation paraît terminé. Avant de vous fier aux principales caractéristiques, répartissez-les en deux groupes : les informations sur l’emprunteur et celles sur le prêt que l’établissement a choisi de proposer.

La différence est nette. Elle apparaît dans le fichier public d’approbation des prêts SBA sept-a utilisé ici : sur l’ensemble des 112,000 prêts échantillonnés, les caractéristiques de l’emprunteur font varier les taux de passage en perte d’environ un facteur deux. Selon le secteur, ils vont de 2.29% à 5.14%, et selon le nombre d’emplois soutenus, de 2.15% à 4.19%.

Les caractéristiques des prêts font varier le même résultat d’un facteur vingt-quatre. Le taux de passage en perte de l’ensemble des prêts d’une durée de 42 mois ou moins était de 14.94%, contre 0.62% pour les prêts de plus de 120 mois. La tranche la plus longue comptait 1,270 prêts et aucun passage en perte.

Dans ce fichier, les durées de prêt font varier le taux de 0.62% à 14.94%, soit un facteur vingt-quatre. Les caractéristiques de l’emprunteur, elles, le font varier d’environ un facteur deux.
Dans ce fichier, les durées de prêt font varier le taux de 0.62% à 14.94%, soit un facteur vingt-quatre. Les caractéristiques de l’emprunteur, elles, le font varier d’environ un facteur deux.

Premier avertissement : l’emprunteur et le prêt ne sont pas la même chose. La durée, la part garantie, les sûretés, le montant approuvé, le programme et le taux d’intérêt décrivent ce que le prêteur a choisi de proposer, à quel prix et dans le cadre de quel programme. Ce ne sont pas des caractéristiques intrinsèques de l’emprunteur. La part garantie doit être interprétée avec prudence : dans ce fichier, c’est un paramètre d’un programme de prêts du gouvernement américain, et non une décision tarifaire propre à un prêteur commercial. Dans votre portefeuille, les colonnes équivalentes sont la durée, les sûretés, le montant approuvé, le programme et le taux d’intérêt définis par votre tarification et la conception de vos produits. Le prêteur fixe en partie le taux d’intérêt en fonction du risque. C’est donc la colonne la plus circulaire de ce fichier.

La première analyse mesurait les choix du prêteur

Les données proviennent du fichier public d’approbation des prêts SBA sept-a. Il couvre les prêts approuvés entre 2010 et 2016. Les prêts annulés ont été retirés, ainsi que 200 autres lignes sans date de premier décaissement, sans durée ou avec un montant approuvé nul. Un échantillon de 4,000 prêts approuvés par trimestre a ensuite été constitué, afin que chaque génération ait le même poids. La séparation chronologique a donné 78,400 lignes d’entraînement et 33,600 lignes de validation.

Le résultat mesuré était le passage en perte dans les 60 mois suivant le premier décaissement. Sur l’ensemble du portefeuille, le taux de passage en perte était de 3.90%. Il atteignait 3.79% dans l’échantillon d’entraînement et 4.16% dans celui de validation.

Le premier entraînement a produit une scorecard avec une AUC de 0.8443 sur l’échantillon d’entraînement et de 0.8608 hors échantillon. Sa caractéristique dominante était une variable inventée à partir du taux d’intérêt, du pourcentage de garantie et de la durée en mois. Elle n’avait pas d’unité pertinente. Cette variable regroupait trois décisions prises par le prêteur et présentait leur résultat comme un risque.

Le résultat le plus marquant était un seuil appliqué à cette quantité. Dans l’échantillon d’entraînement, 28,560 prêts au-dessus du seuil ont enregistré un taux de passage en perte de 9.50%, contre 3.79% pour le portefeuille. Sa valeur d’information sur l’échantillon d’entraînement était de 1.708 et son gain hors échantillon, de 3.20. Les neuf premiers résultats avaient la même forme : des ratios calculés à partir des conditions du prêt. Aucun ne décrivait l’emprunteur.

Le modèle n’était pas mal ajusté. Il était correctement ajusté, mais à partir d’une cible qui n’aurait pas dû lui être confiée. La conception du prêt en était la raison. Elle prédisait réellement le résultat, car elle reflétait des décisions déjà prises par le prêteur.

Exclure les conditions du produit n’a pas réglé le problème

La première restriction testée était simple : chaque quantité calculée devait inclure au moins une caractéristique de l’emprunteur. Les ratios sont pourtant restés. L’analyse suivante les calculait encore à partir du pourcentage garanti, des emplois soutenus, du montant approuvé et de la durée. L’AUC de validation est montée à 0.8524. Le résultat le plus marquant conservait un gain hors échantillon de 3.13.

Une caractéristique de l’emprunteur avait été ajoutée. Cela n’a rien changé : les mêmes conditions du prêt déterminaient toujours le résultat et restaient au cœur de l’analyse.

Une autre analyse a réduit le camouflage. L’AUC de validation est tombée à 0.6405 et le gain du résultat principal à 1.78. Pourtant, trois des huit quantités calculées intégraient encore une condition liée au produit. La décision sur le produit n’avait pas disparu, elle avait simplement changé de forme.

Intégrez ces contrôles à un flux de décision

Créez des règles de crédit, de fraude ou de recouvrement, puis appliquez-les aux décisions réelles.

Le résultat corrigé semblait moins bon parce qu’il était plus honnête

La version corrigée reposait sur deux règles. Premièrement, une quantité calculée devait mieux distinguer le résultat que la structure du produit qui la composait. Une condition du produit pouvait figurer comme mensualité dans un ratio de capacité de remboursement, ou comme diviseur. Elle ne pouvait pas être ajoutée comme terme autonome.

Cette distinction compte. Le rapport entre une mensualité et le revenu correspond à une relation que les critères d’octroi peuvent réellement prendre en compte. En revanche, combiner le taux, la part garantie et la durée dans un ratio inventé ne fait que mélanger les choix du prêteur.

Sur le même échantillon et pour le même résultat, l’analyse corrigée a produit une AUC de 0.6407 sur l’échantillon d’entraînement et de 0.6277 hors échantillon. Son résultat principal affichait un gain hors échantillon de 1.19. La scorecard a conservé six caractéristiques : deux quantités calculées, le secteur, la forme juridique, la division de recensement et le statut de franchise.

Les deux quantités calculées conservées intégraient toujours des conditions liées au produit : l’une utilisait les emplois soutenus, la durée, le pourcentage garanti et le montant, l’autre les emplois soutenus, la durée, le montant et le taux d’intérêt. Le prêt restait dans le modèle. La correction a retiré le mélange de caractéristiques du produit qui se faisait passer, à lui seul, pour le risque de l’emprunteur.

La règle corrigée est encore du code dans l’arbre de travail, elle n’a pas été déployée. Elle est testée sur le fichier public. Le test a exécuté quatre tests et 168 assertions, tous validés, en 1 minute 48 secondes. Il vérifiait l’absence de conditions liées au produit ou au canal dans les résultats, ainsi que l’exclusion des quantités calculées uniquement à partir de conditions du produit.

Le signal est réel. Rendez-le visible pour le comité.

Sur les lignes de validation, où le taux d’acceptation était maintenu à 80% dans chaque comparaison, la scorecard honnête distinguait encore utilement les profils. Accepter tout le monde donnait un taux de mauvais payeurs de 4.16%. Avec un seul seuil d’acceptation pour la scorecard honnête, il tombait à 3.45%. En appliquant à cette même scorecard un seuil propre à chaque tranche de durée, il descendait à 2.59%.

La scorecard dont les résultats étaient camouflés obtenait 1.50% avec un seul seuil. Le résultat était meilleur. Elle le devait à l’utilisation continue des données sur les produits, dissimulées dans un score.

Même score et même taux d’acceptation de 80%. Un seuil propre à chaque tranche de durée fait passer le taux de mauvais payeurs de 3.45% à 2.59%.
Même score et même taux d’acceptation de 80%. Un seuil propre à chaque tranche de durée fait passer le taux de mauvais payeurs de 3.45% à 2.59%.

Cette différence est apparue dans une analyse distincte, réalisée manuellement sur un échantillon indépendant. Un script exécuté hors de la plateforme a effectué les calculs. Classées selon le taux de passage en perte sur l’échantillon d’entraînement, les tranches de durée ont donné un taux de mauvais payeurs de 2.43% parmi les prêts acceptés dans l’échantillon de validation. En combinant durée, garantie et taux, le résultat était de 1.73%. L’ajout du montant l’a dégradé à 1.83%, car le nombre de prêts par cellule devenait trop faible.

Les versions fondées uniquement sur l’emprunteur étaient moins performantes. Le secteur seul donnait un taux de mauvais payeurs de 3.79% parmi les prêts acceptés. En ajoutant l’ancienneté de l’entreprise, la forme juridique, les emplois soutenus et le statut de franchise, les résultats allaient de 3.53% à 3.70%. Le taux de base de l’échantillon indépendant était de 4.00% dans l’échantillon de validation.

Des tranches seules, sans score, au même taux d’acceptation. Calculs effectués par un script sur le fichier public, hors de la plateforme.
Des tranches seules, sans score, au même taux d’acceptation. Calculs effectués par un script sur le fichier public, hors de la plateforme.

Ce signal mérite d’être conservé. Reste à savoir où le placer. Dans le score, il peut passer pour une caractéristique de l’emprunteur. Placez-le plutôt dans le seuil d’acceptation : il devient alors une décision sur le produit, que le comité de crédit peut voir, tarifer et remettre en cause.

Le test à effectuer sur votre scorecard

Prenez les cinq principales caractéristiques de votre scorecard. Pour chacune, demandez-vous qui la définit.

  • Votre équipe tarification la définit-elle ?
  • Votre équipe produit la choisit-elle ?
  • L’équipe de souscription la détermine-t-elle dans le cadre de l’offre ?
  • Ne vous arrêtez pas à son libellé. S’agit-il d’une caractéristique de l’emprunteur ou d’une conséquence du prêt proposé ?

Les taux précis varient selon l’échantillon. Des tirages indépendants réalisés selon le même principe ont fait varier le taux du portefeuille de 3.71% à 3.83%, avec des écarts plus marqués dans les segments les plus petits. La tendance, elle, n’a pas changé. Dans ce portefeuille public, les conditions des prêts distinguaient bien davantage les profils que les caractéristiques des emprunteurs.

La meilleure caractéristique de votre scorecard est peut-être une décision prise par votre propre établissement. La bonne réponse n’est pas de supprimer un signal réel. Identifiez-le, puis sortez-le du score de l’emprunteur et placez-le dans un seuil d’acceptation ou dans les règles produit, où sa signification est visible.

Questions fréquentes

Comment examiner les principales caractéristiques avant de modifier une scorecard ?

Reprenez les cinq caractéristiques les plus importantes une par une, jusqu’aux données brutes, et demandez-vous qui définit chacune d’elles. Distinguez les informations sur l’emprunteur des conditions choisies par les équipes tarification, produit ou souscription, puis testez la scorecard en retirant les combinaisons fondées uniquement sur le produit. La présence d’une variable sur l’emprunteur ne suffit pas à en faire un signal lié à l’emprunteur. Vérifiez ce qu’elle représente et si elle distingue les profils au-delà des conditions de l’offre.

Quand une condition du produit peut-elle rester dans une caractéristique calculée de la scorecard ?

Conservez une condition du produit dans une caractéristique calculée lorsque la relation a un sens clair pour l’analyse du crédit, par exemple le rapport entre la mensualité et le revenu, et vérifiez qu’elle apporte une information supplémentaire par rapport aux seules conditions du produit. Examinez cette relation sur les générations suivantes et dans les segments de prêts pertinents. Si un mélange de conditions définies par le prêteur prédit le passage en perte sans s’interpréter clairement au regard de l’emprunteur, traitez-le comme une règle produit plutôt que comme une mesure du risque de l’emprunteur.

Où placer les conditions de prêt prédictives si elles ne doivent pas déterminer le score de l’emprunteur ?

Testez des conditions de prêt comme la durée, le montant et le taux d’intérêt dans des seuils d’acceptation ou dans les règles produit, afin que le comité puisse voir quelles décisions elles influencent. Comparez les taux de mauvais payeurs à taux d’acceptation égal, puis vérifiez le nombre de prêts et de passages en perte dans chaque segment. Des seuils très précis peuvent sembler intéressants lorsque les cellules sont petites. Utilisez donc des tranches plus larges ou des règles plus simples si les résultats sont instables.

Intégrez ces contrôles à un flux de décision

Créez des règles de crédit, de fraude ou de recouvrement, puis appliquez-les aux décisions réelles.