Matrice de confusion
Une matrice de confusion est un tableau à deux lignes et deux colonnes qui compare les résultats d’un contrôle de fraude ou de crédit à la réalité constatée. Un vrai positif correspond à une fraude détectée, un faux positif à un client légitime signalé à tort. Un faux négatif correspond à une fraude non détectée, un vrai négatif à un client légitime qui n’est pas signalé.
Exemple
À titre d’exemple, sur 100 paiements, 10 concernent une fraude et 90 proviennent de clients légitimes. Avec un seuil donné, 6 cas de fraude et 9 paiements de clients légitimes sont signalés, tandis que 4 cas de fraude ne sont pas détectés et que 81 paiements de clients légitimes ne sont pas signalés. La précision est de 6 ÷ 15, soit 40 %, et le taux de détection de 6 ÷ 10, soit 60 %.
Lire les cases et les taux
Le tableau croise la réalité observée avec le résultat du contrôle : paiement signalé ou accepté. Les résultats se répartissent entre les cases vrai positif, faux positif, faux négatif et vrai négatif.
La précision se calcule sur l’ensemble des cas signalés. Le rappel, aussi appelé taux de détection, se calcule sur l’ensemble des cas de fraude. Le taux de faux positifs se calcule sur l’ensemble des cas sans fraude. Il correspond au nombre de faux positifs divisé par la somme des faux positifs et des vrais négatifs.
L’effet du seuil sur la matrice
Avec un seuil de score plus élevé, moins de dossiers sont signalés. La précision augmente généralement. Le taux de détection baisse généralement.
Pour choisir un seuil en fonction des coûts, attribuez un coût à chaque résultat. Une fraude non détectée entraîne une perte liée à la fraude, et un refus à tort fait perdre de la marge. La pondération des cases selon ces coûts permet de déterminer le seuil le moins coûteux.
Questions fréquentes
Que comparent les lignes et les colonnes d’une matrice de confusion ?
Elles comparent la réalité observée au résultat du contrôle : paiement signalé ou accepté. La disposition du tableau peut varier, mais les quatre catégories de résultats restent les mêmes.
Une matrice de confusion explique-t-elle pourquoi un paiement a été signalé ?
Non. Elle classe les résultats selon que le contrôle a signalé ou accepté le paiement, et selon ce qui s’est avéré par la suite. Elle n’indique pas la raison d’un signalement particulier.
Une matrice de confusion indique-t-elle le coût d’un refus à tort ?
Non. La matrice indique la catégorie du résultat, pas son coût. Pour évaluer ce résultat, attribuez-lui un coût, par exemple la marge perdue à la suite d’un refus à tort.
Le calculateur de seuil antifraude de Decisimo détermine le seuil du score de fraude qui permet de réaliser le plus d’économies. Il affiche la précision, le taux de détection et une matrice de confusion.
