Por qué los atributos del producto hacen que su scorecard parezca sólido y no deberían incluirse
El scorecard superó la validación. Revise qué aprendió
Usted creó o adquirió un scorecard con su propia cartera aprobada. El AUC de validación parece convincente y el trabajo de modelado, terminado. Antes de confiar en las variables principales, sepárelas en dos grupos: datos del prestatario y datos del préstamo que su entidad decidió ofrecer.
La diferencia es marcada. Se observa en el archivo público de aprobaciones del programa SBA siete-a utilizado en este análisis: en la muestra completa de 112,000 préstamos, las características de los prestatarios hicieron variar las tasas de castigo aproximadamente al doble. Por sector, las tasas oscilaron entre 2.29% y 5.14%. En los empleos respaldados, variaron entre 2.15% y 4.19%.
Las condiciones del préstamo hicieron variar el mismo resultado por un factor de veinticuatro. Los préstamos con un plazo de 42 meses o menos tuvieron una tasa de castigo de 14.94% en el total de la muestra, frente a 0.62% para los préstamos con plazos superiores a 120 meses. El tramo de plazo más largo incluyó 1,270 préstamos y no registró castigos.
Esta es la primera advertencia: el prestatario no es lo mismo que el préstamo. El plazo, el porcentaje de garantía, las garantías, el monto aprobado, el programa y la tasa de interés describen lo que el prestamista decidió ofrecer, a qué precio y bajo qué programa. No son datos puros del prestatario. El porcentaje de garantía requiere una precisión: en este archivo es un parámetro de un programa de préstamos del gobierno de Estados Unidos, no una decisión de precios propia de un prestamista comercial. En su cartera, las variables equivalentes son el plazo, las garantías, el monto aprobado, el programa y la tasa de interés definidos mediante sus propias decisiones de precios y diseño de producto. El prestamista fija la tasa de interés, en parte, según el riesgo. Por eso es la variable más circular de este archivo.
La primera ejecución midió las decisiones del prestamista
Los datos procedían del archivo público de aprobaciones del programa SBA siete-a. Incluía aprobaciones entre 2010 y 2016. Se excluyeron los préstamos cancelados y otras 200 filas sin fecha del primer desembolso, sin plazo o con un monto aprobado de cero. Luego, se seleccionaron 4,000 aprobaciones por trimestre para que todas las cosechas tuvieran el mismo peso. Al dividir la muestra cronológicamente, se obtuvieron 78,400 filas para entrenamiento y 33,600 para validación.
El resultado medido fue el castigo dentro de los 60 meses posteriores al primer desembolso. La tasa de castigo de toda la muestra fue de 3.90%. En entrenamiento fue de 3.79% y en validación, de 4.16%.
La primera ejecución produjo un AUC del scorecard de 0.8443 en la muestra de entrenamiento y de 0.8608 fuera de muestra. La característica dominante era una medida inventada a partir de la tasa de interés, el porcentaje de garantía y el plazo en meses. No tenía una unidad de medida significativa. La medida combinaba tres decisiones de la entidad prestamista y presentaba el resultado como riesgo.
El hallazgo más fuerte fue un umbral para esa cantidad. En entrenamiento, 28,560 préstamos por encima del umbral tuvieron una tasa de castigo de 9.50%, frente al 3.79% de la cartera. Su valor de información en entrenamiento fue de 1.708 y su lift fuera de muestra, de 3.20. Los nueve hallazgos principales tenían la misma forma: proporciones construidas a partir de las condiciones del propio préstamo. Ninguno identificaba al prestatario.
El modelo no estaba mal ajustado. El ajuste era correcto, pero se había hecho para predecir un objetivo que no correspondía. La causa era el diseño del préstamo. Este predecía realmente el resultado porque reflejaba decisiones que el prestamista ya había tomado.
Excluir las condiciones del producto no resolvió el problema
La primera restricción que se probó fue sencilla: cada variable derivada debía incluir al menos una característica del prestatario. Eso no eliminó las proporciones. La siguiente ejecución siguió construyéndolas con el porcentaje de garantía, los empleos respaldados, el monto aprobado y el plazo. El AUC de validación subió a 0.8524. El hallazgo principal aún tuvo un lift de 3.13 fuera de muestra.
Se había agregado una característica del prestatario, pero nada cambió: las mismas condiciones del préstamo seguían impulsando el resultado y ocupaban el centro del hallazgo.
Una ejecución posterior redujo el encubrimiento. El AUC de validación bajó a 0.6405 y el lift del hallazgo principal, a 1.78. Aun así, tres de las ocho variables derivadas incluían una condición del producto en el cálculo. La decisión sobre el producto no había desaparecido, solo había cambiado de forma.
La ejecución corregida parecía peor porque era más fiel a los datos
La ejecución corregida aplicó dos reglas. Primero, una variable derivada debía separar mejor los resultados que la estructura basada solo en el producto que contenía. Una condición del producto podía aparecer como la cuota en un ratio de capacidad de pago o como divisor. No podía agregarse como un sumando independiente.
La diferencia importa. La cuota dividida por los ingresos representa una relación que una política de crédito puede evaluar. En cambio, combinar la tasa, el porcentaje de garantía y el plazo en una proporción inventada solo mezcla decisiones del prestamista.
Con la misma muestra y el mismo resultado, la ejecución corregida obtuvo un AUC de 0.6407 en entrenamiento y de 0.6277 fuera de muestra. El hallazgo principal tuvo un lift de 1.19 fuera de muestra. El scorecard conservó seis características: dos variables derivadas, el sector, la forma jurídica, la división censal y la condición de franquicia.
Las dos variables derivadas que se conservaron aún incluían condiciones del producto: una usaba los empleos respaldados, el plazo, el porcentaje de garantía y el monto, y la otra, los empleos respaldados, el plazo, el monto y la tasa de interés. El préstamo siguió formando parte del modelo. La corrección eliminó la mezcla de productos que se hacía pasar por riesgo del prestatario.
La regla corregida sigue en el árbol de trabajo, no es un cambio publicado. Se está probando con el archivo público. La prueba ejecutó cuatro tests y 168 aserciones, todas aprobadas, en 1 minuto y 48 segundos. Se verificó que los hallazgos no incluyeran condiciones de producto o canal y que se excluyeran las variables construidas únicamente con condiciones del producto.
La señal es real. Hágala visible para el comité
En las filas de validación, donde se mantuvo una tasa de aprobación del 80% en todas las comparaciones, el scorecard más fiel a los datos siguió separando los resultados. Aprobar a todos produjo una tasa de incumplimiento de 4.16%. Aplicar un solo punto de corte al scorecard la bajó a 3.45%. Si el scorecard usa su propio punto de corte en cada tramo de plazo, la tasa llega a 2.59%.
El scorecard con variables encubiertas produjo una tasa de 1.50% con un solo punto de corte. El resultado fue mejor. Se debió a que usaba continuamente los datos del producto y ocultaba la segmentación por producto dentro de una puntuación.
La diferencia surgió de un análisis independiente, elaborado manualmente con otra muestra extraída por separado. Se calculó con un script fuera de la plataforma. Al ordenar los tramos de plazo según la tasa de castigo en entrenamiento, se obtuvo una tasa de incumplimiento de 2.43% entre los préstamos aprobados en validación. Combinar el plazo, la garantía y la tasa dio 1.73%. Agregar el monto empeoró el resultado, que quedó en 1.83%, porque había pocos préstamos por celda en la segmentación.
Las versiones basadas solo en el prestatario tuvieron resultados más débiles. El sector por sí solo produjo una tasa de incumplimiento de 3.79% entre los préstamos aprobados. Al agregar la antigüedad del negocio, la forma jurídica, los empleos respaldados y la condición de franquicia, los resultados oscilaron entre 3.53% y 3.70%. La tasa base de validación de la muestra extraída por separado fue de 4.00%.
La variable del producto merece conservarse. La cuestión es dónde ubicarla. Dentro del score, puede parecer un dato del prestatario. Trasládela al punto de corte: allí se convierte en una decisión de producto que el comité de crédito puede ver, fijar su precio y dejar sin efecto.
Qué revisar en su scorecard
Tome las cinco variables principales de su scorecard y pregúntese quién define cada una.
- ¿La define su equipo de precios?
- ¿La elige su equipo de producto?
- ¿La determina el equipo de evaluación crediticia como parte de la oferta?
- Vaya más allá del nombre: ¿es una característica del prestatario o una consecuencia del préstamo que usted ofreció?
Las tasas exactas varían según la muestra. En extracciones independientes con el mismo diseño, la tasa de la cartera pasó de 3.71% a 3.83%, y los segmentos más pequeños variaron más. La tendencia se mantuvo: en esta cartera pública, las condiciones del préstamo separaron mucho más los resultados que las características del prestatario.
La característica más destacada de su scorecard podría ser una decisión tomada por su propia entidad. No elimine una variable real. Identifíquela. Después, sáquela del score del solicitante y ubíquela en un punto de corte o en las reglas del producto, donde su significado quede claro.
Preguntas frecuentes
¿Cómo revisar las variables más fuertes antes de cambiar un scorecard?
Revise los datos de origen de cada una de las cinco variables más fuertes y pregúntese quién la define. Separe los datos del prestatario de las condiciones que eligieron sus equipos de precios, producto o evaluación crediticia. Luego, pruebe el scorecard sin combinaciones basadas únicamente en el producto. Que una variable incluya un dato del prestatario no significa automáticamente que represente su riesgo. Revise qué significa y si separa los resultados más allá de las condiciones de la oferta.
¿Cuándo puede mantenerse una condición del producto en una variable derivada del scorecard?
Mantenga una condición del producto en una variable derivada cuando la relación tenga un significado crediticio claro, como la cuota en relación con los ingresos, y compruebe si aporta valor más allá de las condiciones del producto por sí solas. Revise esa relación en cosechas posteriores y en los segmentos de préstamos relevantes. Si una combinación de condiciones definidas por el prestamista predice el castigo, pero no tiene una interpretación clara desde el punto de vista del prestatario, trátela como una regla de producto y no como riesgo del prestatario.
¿Dónde ubicar las condiciones del préstamo predictivas si no deben determinar el score del prestatario?
Pruebe condiciones como el plazo, el monto y la tasa de interés en puntos de corte o en la política de producto, donde el comité pueda ver qué decisión influyen. Compare las tasas de incumplimiento con la misma tasa de aprobación y revise cuántos préstamos y castigos hay en cada segmento. Los puntos de corte detallados pueden parecer atractivos cuando hay pocas observaciones por celda. Si los resultados son inestables, use tramos más amplios o reglas más sencillas.