¿Cuántos incumplimientos necesita un modelo de crédito?

Está por crear un scorecard o actualizar el que ya está en producción. Alguien le ha dicho que debería reconstruirlo. La cartera tiene unos cientos de incumplimientos. El nuevo modelo estima una tasa del 5%, y esa cifra se usará para fijar precios y provisiones.

Antes de reconstruir una scorecard, defina dos cosas: si hay motivos para hacerlo y si cuenta con suficientes incumplimientos para el plan. A menudo, los datos no alcanzan para construir una scorecard. 300 incumplimientos son un punto de partida para el cálculo, no un mínimo obligatorio.

Por qué importa el número de incumplimientos

La tasa del 5% que estima el modelo no es exacta. Con 300 incumplimientos detrás, la tasa real puede estar entre aproximadamente el 4.5% y el 5.5%, incluso antes de que el modelo lleve un día en uso.

Esa diferencia se refleja directamente en el dinero. En un ejemplo con una cartera de €50m originada en un año y una pérdida del 75% por cada préstamo incumplido, una tasa del 4.5% o del 5.5% en lugar del 5% que estima el modelo implica una diferencia de unos €187,500 al año. Si se duplica el volumen, también se duplica el impacto monetario de esa diferencia.

El modelo también puede equivocarse de forma más costosa si se intenta construir uno más complejo de lo que permiten los incumplimientos disponibles. Puede estimar que los clientes de bajo riesgo son más seguros y los de alto riesgo más riesgosos de lo que realmente son. La cartera aprobada acumula entonces más pérdidas de las previstas y se rechazan buenos solicitantes. En un ejemplo, una banda que el modelo estima en 2% tiene una tasa real de aproximadamente 3%.

El deterioro del modelo después de su puesta en producción se suma a esta incertidumbre inicial. Cuanto mayor sea el dinero y el volumen que dependen del modelo, más importa saber hasta qué punto puede confiar en sus tasas de incumplimiento.

Qué significa tener suficientes incumplimientos

Los incumplimientos imponen dos límites. Uno es cuánto puede aprender el modelo, porque los mismos incumplimientos se usan para estimar cada variable y cada intervalo que se pruebe. A partir de cierto punto, el ajuste empieza a aprender el ruido de esa muestra particular.

También limitan la precisión con que se conoce la tasa de incumplimiento, tanto para toda la cartera como para cada banda que se usa para fijar precios. En estadística, el primer límite se expresa como un presupuesto de grados de libertad. El Gini esperado determina la mayor parte de ese presupuesto. En las siguientes secciones se cuantifican ambos límites.

¿Alcanzan 300 incumplimientos?

Depende del Gini esperado y de lo que planea desarrollar. Con una tasa de incumplimiento del 5%, 300 incumplimientos permiten aproximadamente 9 grados de libertad con un Gini de 0.3, 28 con 0.5 y 63 con 0.7. La tasa de incumplimiento apenas cambia ese presupuesto. Lo que lo determina es el Gini.

Gini esperadoGrados de libertad
0.3Aproximadamente 9
0.5Aproximadamente 28
0.7Aproximadamente 63

Cuanto más débil es el modelo, más incumplimientos necesita por cada grado de libertad. Para 30 grados de libertad y una tasa de incumplimiento del 2%, se necesitan aproximadamente 130 incumplimientos con un Gini de 0.7 y unos 930 con un Gini de 0.3. Con una tasa del 5% y un Gini de 0.5, 30 grados requieren aproximadamente 320 incumplimientos.

El presupuesto se calcula según los criterios de tamaño mínimo de muestra de Riley y sus colegas, que limitan la contracción esperada del modelo al 10% o menos. La calculadora de tamaño de muestra para modelos hace el cálculo con sus propios datos de incumplimientos, tasa de incumplimiento y Gini.

Qué consume el presupuesto

Antes de la selección, cuenta cada parámetro candidato que se probará. Cuenta el coeficiente de cada variable. Dividir una variable en cinco intervalos consume cuatro grados de libertad. En una variable WoE también cuentan los intervalos, porque se ajustaron con los mismos incumplimientos. Esa es la convención que usa la herramienta. Una spline consume un grado menos que su número de nudos.

EspecificaciónQué permiten 28 grados de libertad
Variables continuas28
Tres intervalos14 variables
Cuatro intervalos9 variables
Cinco intervalos7 variables
Seis intervalos5 variables
MARS, sin interacciones14 términos
MARS, con interacciones11 términos

La selección de variables también consume el presupuesto. Cuarenta variables candidatas con cinco intervalos usan 160 grados de libertad antes de la selección, frente a los 28 que permiten 300 incumplimientos con un Gini de 0.5. Las variables que no quedan en el modelo también consumieron capacidad durante su desarrollo.

Un scorecard previsto frente a 300 incumplimientos

Considere un ejemplo con 20 variables candidatas y cinco intervalos para cada una. Consume 80 grados de libertad. Con una tasa de incumplimiento del 5% y un Gini de 0.5, el modelo requiere aproximadamente 854 incumplimientos, es decir, 554 más que los 300 disponibles.

PlanGrados de libertadIncumplimientos necesariosMeses
20 variables con cinco intervalos8085420.5

Con 2,000 préstamos al mes y una ventana de resultados de 12 meses, habrá que esperar 20.5 meses para conocer esos resultados. En la práctica, las opciones son reducir el alcance del modelo, esperar a tener los resultados o hacer un cambio más acotado al scorecard actual.

Integre estas comprobaciones en un flujo de decisión

Cree reglas de crédito, fraude o cobros y ejecútelas en decisiones en tiempo real.

Qué hacer cuando los incumplimientos no alcanzan

Cuando el plan excede lo que permiten los incumplimientos disponibles, los cálculos acotan las opciones. La decisión sigue siendo suya.

  • Mantener el scorecard actual y recalibrarlo. Volver a ajustar su intercepto y su pendiente consume 2 grados de libertad y requiere aproximadamente 22 incumplimientos con un Gini de 0.5.
  • Desarrollar un scorecard más pequeño, acorde con el presupuesto disponible.
  • Esperar a tener los resultados que necesita el modelo previsto.
  • Probar cualquier modelo nuevo frente al actual con solicitudes anteriores antes de sustituirlo, mediante la prueba champion-challenger.

Para reconstruir un scorecard hacen falta motivos y suficientes incumplimientos. «Ya pasó tiempo» o «nos dijeron que debíamos hacerlo» no son motivos por sí solos. Los cálculos indican qué permiten los incumplimientos. La decisión es suya.

El intervalo de la tasa de incumplimiento

El número de incumplimientos determina la precisión con que se conoce la tasa, independientemente de la capacidad del modelo. Con una tasa del 5%, los intervalos del 95% son:

IncumplimientosIntervalo al 5%
1004.04% to 5.96%
3004.45% to 5.55%
1,0004.70% to 5.30%
3,0004.83% to 5.17%

Una banda del scorecard tiene menos incumplimientos que la cartera completa, por lo que su intervalo es más amplio. En un ejemplo, una banda con 30 incumplimientos y una tasa del 12% tiene un intervalo del 7.97% al 16.03%. Una banda de bajo riesgo con 15 incumplimientos y una tasa del 1.5% tiene un intervalo del 0.75% al 2.25%.

Esta es la incertidumbre que existe el día en que se construye el modelo. El deterioro viene después. La respuesta operativa se aborda en el monitoreo de scorecards.

Cuando el modelo excede el presupuesto

Exceder el presupuesto hace que las predicciones sean demasiado extremas ante datos nuevos. La pendiente de calibración esperada es el factor de contracción. Este acerca al promedio la diferencia entre cada predicción y el promedio en log-odds.

En el ejemplo con un Gini de 0.3, 300 incumplimientos y una tasa promedio del 5%, usar 80 grados de libertad da un factor de contracción esperado de 0.51. Una predicción del 2% tendría entonces una tasa real de aproximadamente 3.1%.

Grados de libertadSSi predice 2%Si predice 10%Si predice 20%
90.902.19%9.4%17.7%
280.752.52%8.4%14.5%
800.513.13%7.2%10.5%

Son valores esperados según los supuestos de los criterios, no resultados observados. Los solicitantes aprobados tienen más riesgo del que estima el modelo, las pérdidas superan lo previsto y se rechazan buenos solicitantes.

Antes de aprobar el modelo

  1. Explique por qué va a reconstruir el modelo.
  2. Cuente todos los parámetros candidatos que se probarán, incluidos los bins y la selección de variables.
  3. Compare ese total con el presupuesto para el Gini esperado usando la herramienta de tamaño de muestra.
  4. Cuente los incumplimientos de cada banda que usará para fijar precios o establecer puntos de corte.
  5. Incorpore el intervalo al precio y a la provisión, no solo la estimación puntual.
  6. Valide y haga las pruebas fuera de tiempo como de costumbre, con el enfoque descrito en documentación de un modelo de scoring crediticio.

La validación y las pruebas fuera de tiempo evalúan el modelo con datos que no se usaron para ajustarlo. No amplían la muestra ni aumentan el presupuesto de incumplimientos.

Preguntas frecuentes

¿Alcanzan 300 incumplimientos para un scorecard?

No existe una cantidad mínima que sirva para todos los casos. Con una tasa de incumplimiento del 5%, 300 incumplimientos permiten aproximadamente 9 grados de libertad con un Gini de 0.3, 28 con 0.5 y 63 con 0.7. El resultado depende del Gini esperado y del modelo que planea desarrollar.

¿Una variable WoE cuenta como un grado de libertad?

La representación final de la variable en el modelo puede mostrar un solo coeficiente, pero los intervalos se ajustaron con los mismos incumplimientos. Por eso, la herramienta cuenta los intervalos y resta un grado de libertad al número de intervalos.

¿Cuántos datos más necesita el gradient boosting?

El único estudio de simulación mencionado encontró que los bosques aleatorios, las máquinas de vectores de soporte y las redes neuronales necesitaban más de diez veces los eventos por variable que la regresión logística. El estudio no incluyó gradient boosting, así que tomar diez veces como mínimo es una referencia de ese estudio, no una regla.

¿La validación fuera de tiempo compensa una muestra pequeña?

No. Evalúa el desempeño con datos que no se usaron para ajustar el modelo y responde otra pregunta. No agrega incumplimientos a la muestra de desarrollo ni aumenta el presupuesto de grados de libertad.

Integre estas comprobaciones en un flujo de decisión

Cree reglas de crédito, fraude o cobros y ejecútelas en decisiones en tiempo real.