AUC (aire sous la courbe ROC)
L’AUC (aire sous la courbe ROC) correspond à l’aire sous la courbe ROC. Elle mesure la probabilité qu’un score de crédit ou de fraude classe un mauvais payeur choisi au hasard comme plus risqué qu’un bon payeur choisi au hasard. Une AUC de 0,5 correspond au hasard, tandis qu’une AUC de 1,0 signifie que tous les mauvais payeurs sont classés comme plus risqués que les bons payeurs.
Exemple
Prenons 100 paires, chacune composée d’un mauvais payeur et d’un bon payeur, évaluées avec un score de crédit. Si le score classe le mauvais payeur comme plus risqué dans 80 paires, son AUC est de 0,80. Le Gini correspondant est de 2 × 0,80 − 1, soit 0,60.
Tracer la courbe ROC à partir des tranches de score
À mesure que le seuil parcourt les tranches de scores ordonnées, on calcule la part des mauvais payeurs détectés et celle des bons payeurs détectés. Reporter ces deux parts pour chaque seuil permet de tracer la courbe ROC.
L’aire sous la courbe rassemble les résultats obtenus aux différents seuils en une seule mesure. Plus elle est grande, mieux le score distingue les mauvais payeurs des bons payeurs sur l’ensemble de la courbe.
Liens entre AUC, Gini et KS
Le Gini se déduit directement de l’AUC : Gini = 2 × AUC − 1. Par exemple, une AUC de 0,75 donne un Gini de 0,50.
L’AUC permet de comparer la capacité de classement de scores évalués sur les mêmes dossiers, classés bons ou mauvais payeurs. Le lien entre KS et AUC dépend d’une hypothèse sur la distribution des scores, comme le modèle binormal. La conversion de l’un à l’autre reste donc une approximation.
Questions fréquentes
L’AUC indique-t-elle le bon seuil pour une décision de crédit ?
Non. L’AUC résume la courbe ROC pour différents seuils, mais elle ne détermine pas le seuil à retenir dans les critères d’octroi. Pour un seuil donné, le point correspondant sur la courbe ROC indique les parts de mauvais et de bons payeurs détectés.
Une AUC élevée signifie-t-elle un faible taux de mauvais payeurs ?
Non. L’AUC mesure la façon dont un score classe les mauvais payeurs par rapport aux bons payeurs. Elle n’indique pas la part des demandeurs qui sont de mauvais payeurs.
Pourquoi la conversion du KS en AUC n’est-elle qu’approximative ?
La conversion du KS en AUC reste approximative, car elle repose sur une hypothèse concernant la forme des distributions de scores. Le KS mesure l’écart en un point du score, tandis que l’AUC mesure le classement sur l’ensemble de la courbe ROC. Une même AUC peut donc correspondre à différentes valeurs de KS.
Le convertisseur gratuit Gini-AUC/KS de Decisimo établit le lien entre ces mesures selon le modèle binormal et fournit un tableau de référence.
