Inferencia de rechazo: evalúe cada regla antes de cambiarla
Hicimos una prueba similar a la que haría un prestamista con un conjunto público de datos de tarjetas de crédito y las solicitudes HELOC públicas de FICO. En ambos casos se conocían los resultados. El primer paso fue deliberadamente familiar: aplicar una regla de rechazo y luego desarrollar el scorecard con las solicitudes que la superaron. En los datos de tarjetas, la regla rechazaba a cualquiera que tuviera pagos atrasados el mes anterior. Al revisar las variables, el campo que registraba ese atraso tenía un valor de información de 0.02, por debajo del umbral habitual y fácil de descartar. El resultado no parecía extraordinario. Parecía una tarea rutinaria de limpieza en una hoja de desarrollo del modelo. Pero si su política ya tomó una decisión a partir de ese campo, ¿su bajo valor de información aporta evidencia sobre el riesgo crediticio o refleja la selección?
Qué predijeron los métodos para el grupo rechazado
Comparamos el scorecard construido con cuentas aprobadas con varios métodos habituales de inferencia de rechazo. Todos parten de ese scorecard, suponen un resultado para las cuentas rechazadas y usan esos resultados estimados para construir otro scorecard. La inferencia de rechazo estima la solvencia de los solicitantes rechazados cuando no se conocen sus resultados de pago. La tabla compara la tasa de incumplimiento que predijo cada método con la tasa real conocida en cada conjunto de datos.
| Método | Datos de tarjetas | Datos HELOC |
|---|---|---|
| Tasa real de incumplimiento | 50.4% | 72.4% |
| Todos los resultados conocidos | 50.5% | 72.5% |
| Solo aprobados | 18.9% | 71.6% |
| Aumento difuso | 20.3% | 71.8% |
| Umbral fijo | 80.7% | 90.1% |
| Parcelación | 29.1% | 90.8% |
El aumento difuso incorpora dos veces cada cuenta rechazada, una como buena y otra como mala, con ponderaciones basadas en la probabilidad predicha por el primer scorecard. Después, incorpora esas predicciones al scorecard reconstruido. El umbral fijo clasifica cada cuenta rechazada como buena o mala según el riesgo predicho, comparado con la cuenta aprobada mediana. La parcelación divide las cuentas rechazadas en bandas de score y asigna resultados de incumplimiento a una tasa mayor, calculada a partir de las cuentas aprobadas de cada banda. Son supuestos aplicados a las cuentas rechazadas, no resultados observados.
En los datos de tarjetas, ninguno de los métodos se acercó a la tasa real de incumplimiento. En HELOC, el scorecard entrenado solo con aprobados ya estaba cerca y los métodos que lo modificaron elevaron demasiado la predicción. El resultado depende de la información que ocultó la regla de rechazo, no de elegir un modelo más elaborado.
La regla de rechazo ocultó el patrón de riesgo del campo
El scorecard de tarjetas no pudo aprender, a partir de las cuentas aprobadas, cómo se relacionaban los pagos atrasados con los incumplimientos. La regla de rechazo ya había excluido las cuentas con esos atrasos. La gráfica del valor de información compara el campo en el total de las cuentas y solo en las aprobadas.
En el total de las cuentas, el estado de pago del último mes era el campo más potente. Entre las cuentas aprobadas, su valor de información estaba justo en el umbral habitual para descartarlo. Esto refleja selección, no demuestra que el campo no tenga relación con el riesgo.
Entre las cuentas aprobadas, el campo mostraba sobre todo tres situaciones: no usar la tarjeta, pagar el total o mantener un saldo revolvente. Sus tasas de incumplimiento no seguían una tendencia clara. Las cuentas con pagos atrasados, donde estaba el patrón de riesgo, quedaron en el grupo rechazado. El scorecard entrenado solo con aprobados no tenía ejemplos de esos valores. Incluso una regresión logística simple interpretó que un mayor atraso implicaba menos riesgo en los datos aprobados, lo contrario de lo que mostraban todos los resultados.
Por eso los métodos de inferencia fallan en los datos de tarjetas. Parten de un scorecard entrenado con una población en la que la regla de rechazo ya eliminó la relación que el score necesita estimar.
Una muestra aleatoria de prueba mide el grupo rechazado
Los datos de las cuentas aprobadas no resuelven el problema de selección. Para medir el grupo rechazado, apruebe una proporción aleatoria de los solicitantes que cada regla de rechazo habría rechazado, identifique esos préstamos como parte de la muestra de prueba y espere a conocer sus resultados. Haga esto por separado para cada regla, porque cada una selecciona un grupo distinto.
La tabla muestra con qué precisión una muestra de prueba midió la tasa de incumplimiento del grupo de tarjetas con distintos tamaños.
| Proporción aprobada | Préstamos | Rango medido |
|---|---|---|
| 2% | unos 80 | 41% to 60% |
| 5% | unos 200 | 45% to 56% |
| 10% | unos 400 | 46% to 54% |
Al repetir la selección aleatoria entre las cuentas de tarjetas rechazadas, una muestra de unos doscientos préstamos midió la tasa de incumplimiento del grupo dentro de un rango de unos once puntos porcentuales en la mayoría de las pruebas. Una muestra menor dejó un rango más amplio y una mayor lo redujo. El tamaño adecuado depende del grupo que necesite medir. Use la calculadora de champion challenger para dimensionar la prueba según su decisión. Consulte también la guía sobre cuánto tiempo debe durar la prueba con estrategias de champion challenger.
Mantenga la muestra separada para medir el grupo. En nuestra prueba, añadir una muestra pequeña solo para entrenar el scorecard no hizo que la predicción del scorecard WoE coincidiera con la tasa real. Un modelo puede usar los resultados de la muestra para entrenarse y aun así no medir bien la tasa de incumplimiento del grupo. La evidencia son los resultados observados en la muestra.
Compare la predicción con el rango medido en la muestra
Cuando conozca los resultados de la muestra, compare la tasa de incumplimiento medida con la predicción del scorecard para ese mismo grupo rechazado. La figura compara cada predicción con el rango medido en una muestra aleatoria de prueba.
En los datos de tarjetas, la tasa predicha por el scorecard quedó muy por debajo del rango medido en la muestra. En HELOC, la predicción estuvo dentro del rango. El primer scorecard no podía asignar un precio adecuado al grupo de tarjetas, mientras que el scorecard entrenado solo con aprobados ya estaba cerca para el grupo HELOC. Esta comparación permite distinguir ambos casos.
La recalibración corrige el promedio, no el orden
Si la tasa predicha por el scorecard no coincide con la tasa medida en la muestra, puede recalibrar el score para ese grupo rechazado. Calcule el score de los préstamos de la muestra y ajuste su nivel para que la predicción promedio coincida con la tasa de incumplimiento medida. Así cambia el nivel, pero no el orden de riesgo de los solicitantes dentro del grupo.
La tabla compara la predicción del scorecard antes y después de la recalibración con la tasa real de nuestra prueba.
| Conjunto de datos | Antes | Después | Real |
|---|---|---|---|
| Datos de tarjetas, unos 210 préstamos | 18.9% | 50.6% | 50.4% |
| Datos HELOC, unos 66 préstamos | 71.6% | 70.7% | 72.4% |
En ambos conjuntos de datos, la recalibración acercó la predicción promedio a la tasa real. Pero acertar el promedio del grupo no demuestra que el score pueda distinguir los riesgos mejores de los peores dentro de ese grupo. Corregir el promedio no basta para dejar que el score sustituya a la regla de rechazo.
Use el Gini de la muestra para decidir si puede retirar la regla
Revise el Gini del score en la muestra de prueba para saber si ordena los niveles de riesgo dentro del grupo rechazado. La tabla presenta el rango de valores de Gini en distintas muestras aleatorias.
| Conjunto de datos | Muestra | Rango de Gini |
|---|---|---|
| Datos de tarjetas | 5%, unos 200 préstamos | -0.16 to 0.11 |
| Datos de tarjetas | 10%, unos 400 préstamos | -0.12 to 0.06 |
| Datos HELOC | 5%, unos 66 préstamos | 0.18 to 0.65 |
| Datos HELOC | 10%, unos 130 préstamos | 0.26 to 0.58 |
En los datos de tarjetas, el Gini del score estuvo cerca de cero incluso con una muestra mayor. No podía ordenar los riesgos buenos y malos dentro del grupo rechazado, así que la recalibración no convirtió el score en un sustituto de la regla. En HELOC, el Gini fue superior a cero, lo que indica que el score sí podía ordenar el riesgo del grupo rechazado. Una vez recalibrado el nivel, un punto de corte podía reemplazar la regla.
Antes de cambiar la regla de HELOC, haga un backtest de la release propuesta con decisiones anteriores de producción y revise las solicitudes que aprobaría o rechazaría por primera vez. Use la calculadora de swap set para evaluar qué solicitudes cambiarían de grupo.
Cómo aplicar la inferencia de rechazo a su cartera
Al revisar las variables de los datos de tarjetas, no conserve ni descarte un campo basándose solo en su valor de información entre los aprobados si la regla de rechazo excluyó los valores que muestran su relación con el riesgo.
Siga este procedimiento para cada regla de rechazo:
- Enumere las reglas de rechazo que debe evaluar.
- Para cada regla, apruebe un grupo de prueba aleatorio pequeño mediante una bifurcación aleatoria en el flujo de decisiones. Identifique los préstamos del grupo y siga sus resultados.
- Cuando los resultados estén disponibles, compare la tasa de incumplimiento observada en el grupo con la predicción del score para esas solicitudes.
- Recalibre el nivel del score.
- Calcule el Gini del score en el grupo. Si está cerca de cero, mantenga la regla de rechazo porque el score no puede ordenar el riesgo dentro del grupo. Si está claramente por encima de cero, haga un backtest del cambio, que incluya las cuentas que aprobaría por primera vez, antes de sustituir la regla por un umbral.
Si otros campos registran el mismo historial, tome como punto de partida el scorecard entrenado solo con aprobados. Los métodos de inferencia de rechazo modifican esa estimación según sus propios supuestos.
Preguntas sobre la inferencia de rechazo
¿Qué método de inferencia de rechazo funciona mejor?
En nuestra prueba, los métodos quedaron lejos de la tasa real de incumplimiento del grupo de tarjetas. En HELOC, el scorecard entrenado solo con aprobados ya estaba cerca y los métodos que lo ajustaron elevaron demasiado la predicción.
¿Por qué un campo potente tiene un valor de información bajo en los préstamos aprobados?
La regla de rechazo excluyó los valores que contenían el patrón de riesgo. Entre las cuentas de tarjetas aprobadas, la tasa de incumplimiento variaba poco en ese campo, aunque era muy predictivo en el total de las cuentas.
¿El aumento difuso corrige el sesgo?
No en nuestra prueba. Incorpora las cuentas rechazadas con las probabilidades predichas por el primer scorecard y luego vuelve a incorporar esas predicciones al scorecard reconstruido.
¿Cuántos solicitantes rechazados debe incluir la muestra de prueba?
En las selecciones aleatorias repetidas entre las cuentas de tarjetas rechazadas, una muestra del cinco por ciento, con unos doscientos préstamos, situó la tasa de incumplimiento medida entre 45% y 56% en el 90% de las pruebas. El tamaño necesario depende del grupo que se mida.
¿El gradient boosting evita el problema?
No. En los datos de tarjetas predijo una tasa de incumplimiento del 29.4% para el grupo rechazado, frente a una tasa real del 50.4%.