Dimensionner un test champion/challenger de crédit
Indiquez le taux actuel de mauvais payeurs, l’écart à détecter, la part du trafic attribuée au challenger et le volume mensuel. Découvrez le nombre de prêts et la durée nécessaires, puis vérifiez les résultats d’un test terminé.
Délai avant un résultat exploitable
L’effectif nécessaire est atteint en 4.1 mois. Il faut ensuite attendre 6 mois pour connaître l’issue des prêts, soit un résultat exploitable après 10.1 mois.
Délai avant résultat selon la part du challenger
Vérifier les résultats d’un test terminé
| Champion | Challenger | |
|---|---|---|
| Prêts | ||
| Prêts de mauvais payeurs | ||
| Taux | – | – |
- Écart
- +0.90 pp
- Intervalle à 95 %
- +0.05 pp … +1.75 pp
- Valeur p
- 0.0276
Il est peu probable que l’écart de +0.90 pp soit dû au hasard, avec un niveau de confiance de 95 %.
Recevoir le résultat par e-mail
L’étape suivante consiste à tester le challenger en parallèle du champion sur les mêmes demandes, en enregistrant la décision de chacun. Commencer gratuitement
Voir la méthode
Prêts du champion par prêt du challenger k = (1 − Part du trafic du challenger) ÷ Part du trafic du challenger Taux commun = (k × p1 + p2) ÷ (k + 1), p1 = Taux de mauvais payeurs du champion, p2 = p1 + Écart à détecter Prêts du challenger = (zα √(Taux commun × (1 − Taux commun) × (1 + 1/k)) + zβ √(p1 (1 − p1) ÷ k + p2 (1 − p2)))² ÷ Écart à détecter² Prêts du champion = k × Prêts du challenger Durée de collecte = Prêts du challenger ÷ (Part du trafic du challenger × Prêts par mois) Délai avant un résultat exploitable = Durée de collecte + Délai d’observation en mois zα: 90% 1.645 · 95% 1.960 · 99% 2.576 zβ: 80% 0.842 · 90% 1.282 Valeur p = 2 × (1 − Φ(|Écart| ÷ √(Taux commun × (1 − Taux commun) × (1/n1 + 1/n2))))
Le calcul repose sur l’approximation normale. Il suppose que les prêts sont attribués au hasard et que leurs résultats sont indépendants. Avec de très petits groupes ou des taux proches de zéro, un test exact est nécessaire.
Préparer un test champion/challenger
Un test champion/challenger compare le taux de mauvais payeurs d’une stratégie actuelle à celui d’une nouvelle stratégie, sur une partie des prêts. Indiquez le taux actuel, l’écart à détecter, la part de trafic attribuée au challenger, le volume mensuel et le délai avant de connaître l’issue des prêts.
Avec une part de trafic plus faible, le challenger met plus longtemps à réunir assez de prêts pour obtenir un résultat exploitable. Le calcul indique le nombre de prêts nécessaire, la durée de remplissage du test et le délai avant de connaître les résultats.
Questions fréquentes
Qu’est-ce qu’un test champion/challenger dans le crédit ?
Il compare une stratégie actuelle, le champion, à une stratégie challenger sur une partie des prêts. La comparaison porte sur le taux de mauvais payeurs ou un autre taux, l’écart à détecter et le nombre de prêts attribués à chaque groupe.
Combien de prêts faut-il pour un test champion/challenger ?
Le nombre nécessaire dépend du taux actuel, de l’écart à détecter, de la part attribuée au challenger, du niveau de confiance et de la puissance statistique. Cet outil calcule le nombre de prêts requis pour le challenger et le champion.
Combien de temps doit durer un test de stratégie de crédit ?
Il faut d’abord réunir assez de prêts, puis attendre la fin du délai nécessaire pour en connaître l’issue. Cet outil calcule la durée totale à partir du volume mensuel de prêts et de la part attribuée au challenger.
Que signifie la significativité statistique d’un écart de taux de mauvais payeurs ?
Elle indique si l’écart observé a peu de chances d’être dû au hasard, au niveau de confiance choisi. Pour vérifier un test terminé, l’outil utilise le nombre de prêts et de mauvais payeurs dans chaque groupe afin de calculer l’écart, son intervalle et la p-value.
Pourquoi une faible part de trafic pour le challenger rallonge-t-elle le test ?
Une faible part de trafic envoie moins de prêts au challenger. Il faut donc plus de temps pour réunir le nombre de prêts nécessaire à la comparaison. Le délai avant de connaître les résultats s’ajoute ensuite à la durée du test.