Un test champion-challenger à 5 % peut durer 19,6 mois

Le test

Avant de remplacer l’approche actuelle, vous comparez un modèle ou une stratégie de décision déjà utilisé à un nouveau. Le champion traite la plupart des dossiers dans un groupe témoin, tandis que le challenger évalue un échantillon, généralement tiré au hasard. Si le challenger fait mieux, le remplacement du champion peut se faire progressivement ou en une fois. Dans le cas contraire, le modèle est amélioré ou abandonné.

Pour comparer les résultats, il faut aussi savoir quelle approche a traité chaque dossier. La plupart des mises en œuvre ajoutent un nombre aléatoire aux données utilisées pour la décision. Un seul nombre suffit lorsqu’une partie de la décision est testée. Des nombres distincts évitent que plusieurs tests interfèrent entre eux. Les résultats sont enregistrés avec le nombre utilisé, ce qui permet de distinguer les deux groupes lors de la comparaison.

Le test peut porter sur la segmentation d’une table de décision, une ligne, une règle, un ensemble de règles ou une source de données tierce comparée à une autre. Chaque périmètre étant distinct, il lui faut son propre nombre.

La durée du test

La période d’observation des résultats doit figurer dans le plan de test : il faut parfois six mois pour mesurer la performance d’un crédit à la consommation. Comparer les générations des deux groupes permet de distinguer un écart entre les modèles des changements de contexte survenus au même moment. Sans cette comparaison, l’écart entre les générations reste difficile à interpréter.

Avec un taux de mauvais payeurs de 4 %, mesurer un écart d’un point prend 19,6 mois avec un challenger à 5 % et une période d’observation de six mois. Pour la même période d’observation, le test prend 8,7 mois avec un challenger à 50 %.

Part du challenger Mois requis Suivi six mois Suivi douze mois
5% 13.6 19.6 25.6
10% 7.2 13.2 19.2
20% 4.1 10.1 16.1
50% 2.7 8.7 14.7

Le nombre de prêts traités par le challenger varie moins que ne le laisse penser la durée, car le groupe champion fournit aussi des éléments de comparaison. Pour mesurer un écart d’un point, le challenger doit traiter 3 407 prêts avec une part de 5 % et 6 745 avec une part de 50 %. C’est surtout le temps nécessaire pour réunir ces prêts qui change. Chercher à mesurer un écart d’un demi-point prolonge encore le test : avec une période d’observation de six mois, il faut 58,7 mois au challenger à 5 %, contre 16,2 mois à celui à 50 %.

La répartition

Une répartition avec des bornes attribue chaque demande à une branche précise. Si le challenger prend les valeurs de 1 à 30 et le champion toutes les autres, exactement 30 demandes sur 100 vont au challenger et 70 au champion. Chaque demande reçoit une décision. Si un deuxième challenger prend les valeurs de 21 à 40, les mêmes bornes répartissent les 100 demandes entre les trois branches : 20, 20 et 60. Les plages étant définies, chaque demande relève d’une seule branche et aucune n’est oubliée.

Les bornes déterminent aussi ce qui se passe lorsqu’une demande n’a pas de valeur de répartition. La configuration la plus sûre limite le challenger aux valeurs de 1 à 30 et confie le reste au champion. Une valeur manquante va donc au champion. Les valeurs hors plage sont également prises en charge : une valeur de répartition de 0 ou de 101 reçoit quand même une décision. Le modèle testé ne doit jamais servir de solution de repli.

Deux règles qui semblent évidentes inversent cette précaution. Un challenger prenant les valeurs inférieures ou égales à 30 et un champion prenant celles supérieures à 30 semblent couvrir tous les cas. Pourtant, une valeur manquante est considérée comme inférieure à tous les nombres et correspond donc au challenger. Pour ces demandes, un test prévu à 70/30 entre champion et challenger devient un test à 0/100. Ajouter une branche champion qui prend toutes les valeurs ne corrige pas le problème si le challenger est vérifié en premier : avec un challenger réglé sur « inférieur ou égal à 30 » et un champion sur « toute valeur », les demandes sans valeur vont toujours au challenger. Seule une limite sur la branche testée maintient les demandes sans valeur sur le modèle en service.

La répartition peut s’appuyer sur un champ comme le canal. Une branche réservée aux « courtiers » et un champion chargé du reste envoient les demandes des courtiers au challenger et celles de tous les autres canaux au champion, y compris les canaux non prévus et les valeurs manquantes. Si trois canaux sont listés sans branche qui prend le reste, un quatrième canal ne reçoit aucune décision. Comme pour la répartition numérique, il faut borner la branche testée et attribuer le reste au champion.

Intégrez ces contrôles à un flux de décision

Créez des règles de crédit, de fraude ou de recouvrement, puis appliquez-les aux décisions réelles.

Vérifier le fonctionnement

Avant de déployer la table, le scorecard ou l’ensemble de règles modifié, testez-le sur des décisions passées ou sur un fichier. L’outil d’analyse d’impact indique le nombre de décisions qui changeraient, par exemple « 30 décisions sur 1 001 changeraient », et répertorie les résultats avant et après la modification. Une fois les résultats réels associés aux dossiers, le taux de mauvais payeurs peut être calculé pour chaque groupe, au lieu de juger la nouvelle version à partir des seules décisions modifiées.

Cette vérification ne crée pas la répartition du trafic en temps réel. Dans le flux de décision, une bifurcation utilise la valeur de répartition envoyée par le système du prêteur. La répartition aléatoire n’est pas intégrée. L’assistant peut ajouter la bifurcation et faire du champion la branche par défaut. Chaque modification est approuvée avant utilisation. Le nombre qui identifie le groupe doit donc être transmis dans les données reçues pour prendre la décision.

Le même nombre doit rester associé à la décision. Lorsqu’une archive de décisions est connectée, chaque décision est enregistrée dans la base de données du prêteur avec le dossier de demande et la valeur de répartition. Les deux groupes peuvent alors être comparés aux résultats propres au prêteur, en gardant pour chaque décision la valeur utilisée pour l’orienter. La comparaison porte ainsi sur les dossiers réellement reçus par le prêteur.

Le challenger devient le champion lorsque sa version est déployée sur le point d’accès. Deux versions peuvent être comparées au préalable.

Préparer le prochain test

Indiquez le taux de mauvais payeurs attendu, la part du challenger et la période d’observation dans le calculateur champion-challenger. Il effectue les calculs à partir de vos chiffres et évalue une comparaison terminée à l’aide de l’écart, de l’intervalle à 95 % et de la valeur p.

Avant de répartir le trafic, vérifiez si la durée prévue permet de détecter l’écart attendu. Avec une part de 20 %, un test qui inclut des prêts pendant 1 mois peut détecter un écart d’au moins 2,11 points de pourcentage. Sur 3 mois, le seuil est de 1,18 point, sur 6 mois de 0,82 point et sur 12 mois de 0,57 point.

Questions fréquentes

Faut-il tester une règle ou l’ensemble des critères de décision ?

Testez un seul périmètre de décision à la fois pour identifier ce qui explique un changement de performance. Vous pouvez isoler une ligne de table de décision, une règle ou un ensemble de règles. Plusieurs modifications réunies rendent les résultats plus difficiles à interpréter. Attribuez une valeur de répartition propre à chaque comparaison indépendante afin que l’affectation du trafic d’un test ne modifie pas celle d’un autre.

Intégrez ces contrôles à un flux de décision

Créez des règles de crédit, de fraude ou de recouvrement, puis appliquez-les aux décisions réelles.