Lancer des tests champion-challenger pour les décisions de crédit
Un test peut impliquer deux versions de la logique, du code pour répartir le trafic et un tableur. Decisimo le mène avec l’équipe risque.
Ce qu’exige aujourd’hui un test champion-challenger
Deux versions de la stratégie
Les développeurs refont la table, le scorecard ou l’ensemble de règles
Code de répartition du trafic
Un projet affecte chaque prêt à l’un des deux groupes
Tableur après le test
L’analyste compare les deux groupes à la main
Taille du test inconnue
Le volume de prêts et le délai de résultat restent flous
Tests rarement menés
Peu de changements sont testés en conditions réelles
Décision au jugement
L’équipe risque lance les changements selon son jugement
Un test champion-challenger, du dimensionnement au nouveau champion
L’équipe risque dimensionne et modifie, Decisimo rejoue, le prêteur envoie sa valeur de répartition et compare.
Dimensionner le test
L’équipe risque utilise l’outil gratuit de Decisimo pour dimensionner chaque groupe et le test.
Modifier le challenger
Dans Decisimo, l’équipe risque copie la table du champion et la modifie.
Rejouer les révisions
Decisimo rejoue les deux révisions sur les décisions passées.
Examiner les changements
L’équipe risque voit les décisions modifiées et le devenir des prêts concernés.
Répartir les prêts en production
Le prêteur transmet la valeur de répartition, puis l’embranchement de Decisimo affecte les prêts.
Comparer les résultats
Le prêteur compare les résultats des deux groupes dans ses propres données.
Déployer le challenger
L’équipe risque déploie la version du challenger, qui devient le champion.
Rejouer le challenger avant de le montrer à un client
- Copie du challengerL’équipe risque la modifie et chaque sauvegarde crée une révision.
- Deux révisionsImpact Analyzer rejoue les révisions de référence et de comparaison du flux de décision.
- Décisions passéesL’analyse porte sur l’archive, un fichier importé ou le stockage du prêteur.
Voir quelles décisions changent et le résultat des prêts
- Nombre de changementsLe résultat compte les décisions modifiées, par exemple 30 sur 1 001.
- Paires de résultatsChaque cellule croise les résultats de référence et de comparaison avec leur effectif.
- Taux de défaut constatéLe rapprochement des résultats donne le taux de défaut par cellule. Tirez des règles des lignes retenues.
Répartir les demandes en production selon la valeur reçue
- Valeur de répartitionLe prêteur transmet cette valeur, sans répartition aléatoire intégrée.
- Plage bornée du challengerLe champion reçoit le reste, y compris les prêts sans valeur de répartition.
- Archive de décisionsElle conserve la valeur avec la décision, pour comparer les résultats dans les données du prêteur.
Dimensionner le test avant son lancement
- Paramètres du testTaux de défaut du champion, écart à détecter et part du challenger.
- Volume et périodeIndiquez le nombre de prêts mensuels et la fenêtre d’observation.
- Échantillon requisPrêts requis par groupe, délai en mois avant les résultats.
Le challenger devient champion avec une version
- Déployer la versionL’équipe risque la déploie sur le point d’accès API, où elle remplace la version active.
- Comparer les versionsL’équipe risque peut comparer deux versions avant d’en déployer une.
- Séquence d’approbationLe point d’accès API peut exiger des signatures avant le déploiement par l’équipe risque.
Questions fréquentes
En quoi consiste un test champion-challenger ?
Un test champion-challenger compare une stratégie de crédit en place à une version modifiée, sur une partie des prêts. Dans Decisimo, l’équipe risque rejoue les deux révisions, puis la valeur de répartition envoyée par le prêteur oriente les prêts en cours vers le champion ou le challenger. L’équipe risque déploie ensuite la version challenger.
Comment répartir les prêts dans un test champion-challenger ?
Le système du prêteur transmet une valeur de répartition. Un embranchement dirige une plage délimitée vers le challenger, et les prêts sans valeur restent dans le groupe champion.
Combien de temps doit durer un test champion-challenger ?
Indiquez le taux de défaut du champion, l’écart à détecter, la part du challenger, les prêts mensuels et la fenêtre d’observation. L’outil donne le nombre de prêts requis par groupe et le nombre de mois avant le résultat. Dimensionner le test
Le test champion-challenger s’applique-t-il au recouvrement ?
La même méthode s’applique aux stratégies de recouvrement : rejouer la stratégie modifiée, répartir les comptes en production selon la valeur transmise par le système, puis comparer les résultats dans les données du prêteur. Test champion-challenger en recouvrement
Tester un changement de stratégie de crédit
Choisissez le seuil ou la règle à tester : dimensionnez avant que l’emprunteur voie le changement.