Sesgo en un score de crédito: revisión antes del release

Hicimos esta comprobación con un conjunto público de datos de tarjetas de crédito. El patrón que encontramos corresponde a esas cuentas: excluimos del scorecard el sexo, la edad, el estado civil y el nivel educativo, y luego comparamos las tasas de aprobación por grupo en el punto de corte. Todas las razones quedaron cerca de la paridad. Si usted es responsable del score, podría tomar ese resultado como respuesta y seguir adelante.

Pero también analizamos las aprobaciones. Al dividir las mismas cuentas en bandas de score, vimos que las personas más jóvenes tenían tasas de incumplimiento más bajas en todas las bandas. Un score puede tener tasas de aprobación similares entre grupos y, aun así, reflejar diferencias de riesgo dentro de sus bandas. Revise las tasas de incumplimiento por banda junto con los resultados en el punto de corte.

La paridad en las aprobaciones es solo la primera comprobación

Las características protegidas deben incluirse en la comprobación, no en el ajuste del score. En nuestro conjunto público de datos de tarjetas de crédito, dejamos el sexo, la edad, el estado civil y el nivel educativo fuera del scorecard y los reservamos para la validación. Estas características pueden servir para evaluar si hay sesgo en las decisiones algorítmicas o sesgo en los datos, pero no forman parte del score.

En el punto de corte, la razón de aprobación de cada grupo quedó cerca de uno.

GrupoProporciónRazón de aprobación
Menores de 3032%0.95
Mujeres60%1.04
Personas casadas46%0.99
Estudios de posgrado35%1.09
60 años o más1%0.90

Es un primer resultado útil, pero no permite concluir cómo ordena el score el riesgo. Los equipos pueden detenerse aquí porque las tasas de aprobación son fáciles de comparar y parecen tranquilizadoras cuando son similares. Sin embargo, el punto de corte convierte el orden de los scores en aprobaciones y rechazos, y un grupo todavía puede tener una tasa de incumplimiento distinta a la de otras personas con el mismo score.

Compare las tasas de incumplimiento dentro de cada banda de score

La tasa de incumplimiento dentro de cada banda permite comprobar si los grupos con scores similares tienen resultados parecidos. Dividimos las cuentas en cinco bandas de score y comparamos, en cada una, la tasa de incumplimiento de cada grupo con la del resto. Una diferencia negativa indica que el grupo incumplió menos que las demás personas de la misma banda, por lo que el score lo calificó como más riesgoso de lo que muestran sus resultados observados. Una diferencia positiva indica que el score lo calificó como menos riesgoso de lo que muestran sus resultados.

Los menores de 30 años registraron menos incumplimientos que los demás en todas las bandas. En la banda intermedia, su tasa de incumplimiento fue del 13.5%, frente al 15.9% de los demás. El score también aprobó a este grupo con una frecuencia ligeramente menor. Por tanto, rechaza a algunos menores de 30 años que pagan mejor de lo que el score estima.

Una diferencia que se mantiene en las cinco divisiones aleatorias aporta más información que un resultado de una sola división. En los primeros cuatro grupos, la variación entre divisiones fue inferior a un punto porcentual. El resultado de las personas de 60 años o más varió demasiado entre divisiones para interpretarlo, así que no incluya esa diferencia en sus conclusiones.

Compare las tasas de incumplimiento por banda en varias divisiones, incluso cuando la razón de aprobación esté cerca de uno o el resultado de una banda sea demasiado variable.

Investigue el campo asociado a una diferencia persistente

Una diferencia persistente indica qué conviene investigar, no qué campo debe eliminarse. De todos los campos del score, el límite de crédito fue el que más se relacionó con tener menos de 30 años. Es el monto que el emisor decidió otorgar a cada cliente, y el límite mediano de las personas menores de 30 fue aproximadamente la mitad del del resto. El score interpretó un límite bajo como señal de riesgo.

Un campo predictivo puede incorporar al score una decisión anterior del prestamista. En este caso, el límite también refleja lo que el emisor ya había decidido sobre cada cliente.

En los datos, ningún campo permitió explicar las diferencias observadas entre las mujeres y las personas casadas. Es tentador buscar una explicación a toda costa, porque resulta más difícil actuar sobre una diferencia sin una causa identificada. Mantenga visible la diferencia y atribúyale una causa solo cuando los datos la respalden.

Para cada grupo con una diferencia persistente, identifique el campo que más se relaciona con ese grupo y compruebe si refleja una decisión anterior del prestamista.

Integre estas comprobaciones en un flujo de decisión

Cree reglas de crédito, fraude o cobros y ejecútelas en decisiones en tiempo real.

Después de cambiar un campo, vuelva a revisar todos los grupos

Si un cambio reduce la brecha de un grupo, hay que volver a revisar los resultados de todos los grupos. Sustituimos el límite de crédito por la utilización, calculada como el último importe facturado dividido por el límite. La utilización conserva información sobre qué tan utilizado está el crédito, pero deja fuera el monto que la entidad decidió otorgar.

En ambas columnas, cada valor corresponde a la brecha promedio a lo largo de las cinco bandas de score, en puntos porcentuales.

GrupoScore con límiteCon utilización
Menores de 30-1.5-0.5
Mujeres-1.9-1.9
Personas casadas+2.8+2.3
Estudios de posgrado-0.5-1.3
60 años o más+4.6+4.0

La diferencia para las personas menores de 30 se redujo después del cambio, pero la del grupo con estudios de posgrado aumentó. El resultado de las mujeres no varió y la diferencia para las personas casadas se redujo ligeramente. El límite también estaba relacionado con el nivel educativo, así que quitarlo modificó la evaluación del score para las personas con estudios de posgrado.

El Gini prácticamente no cambió y la tasa de incumplimiento de la cartera aprobada se mantuvo en 13.1%. El score conservó su capacidad predictiva general, pero sus errores se distribuyeron de otra manera entre los grupos.

La comparación por banda importa porque una diferencia promedio puede ocultar lo que ocurre en los rangos de score donde se aplica el punto de corte.

Comparación por banda de score entre personas menores de 30 y el resto: la diferencia dentro de la misma banda pasa de -1.5 a -0.5 puntos
Tasa de incumplimiento por banda de score: personas menores de 30 frente al resto (datos de tarjetas de crédito de UCI)

Al usar el límite, las personas menores de 30 incumplieron menos en todas las bandas. El cambio redujo su diferencia, pero no resolvió los resultados de todos los grupos. Después de cada cambio, vuelva a comprobar las bandas para todos los grupos.

Haga un backtest del score modificado antes del release

Un backtest muestra qué decisiones anteriores cambiaría el score modificado. Ejecuta un release sobre decisiones ya tomadas y detalla todas las que cambiarían: aprobaciones y rechazos, junto con los resultados observados cuando constan en el historial. Esos cambios afectan quién se incorpora a la cartera, por lo que los resultados anteriores permiten evaluar las consecuencias antes de poner el score en producción.

Ejecute el score modificado con decisiones anteriores y revise qué aprobaciones y rechazos cambiarían, incluidos sus resultados observados cuando estén disponibles, antes del release.

Compruebe el score de principio a fin

Si usted es responsable de un score cuyas razones de aprobación por grupo están cerca de uno, este es el siguiente análisis que conviene hacer.

  1. Excluya las características protegidas del ajuste del score y consérvelas en datos separados para la comprobación.
  2. Calcule las razones de aprobación por grupo. Si todas están cerca de uno, continúe con el análisis.
  3. Compare la tasa de incumplimiento de cada grupo con la del resto dentro de cada banda de score y en más de una división.
  4. Si un grupo presenta una diferencia persistente, identifique el campo que más se relaciona con él y compruebe si refleja una decisión anterior del prestamista.
  5. Cambie el campo, reconstruya el score y vuelva a comprobar las bandas para todos los grupos.
  6. Haga un backtest del score modificado con decisiones anteriores y revise qué cambiaría antes del release.

Preguntas sobre cómo detectar sesgos en un score de crédito

¿Cómo puedo comprobar si un score de crédito presenta sesgos?

Excluya las características protegidas del ajuste del score, compare las razones de aprobación por grupo y luego compare, dentro de cada banda de score y en varias divisiones, la tasa de incumplimiento de cada grupo con la del resto. Investigue los campos asociados a diferencias persistentes y vuelva a comprobar los grupos después de cada cambio.

¿Basta con excluir los atributos protegidos del score?

No. Un score puede excluir las características protegidas y aun así evaluar mal a un grupo mediante otros campos. Revise los resultados dentro de las bandas de score y también las tasas de aprobación en el punto de corte.

¿Por qué las tasas de aprobación pueden parecer iguales aunque el score evalúe mal a un grupo?

Las tasas de aprobación resumen quién queda por encima del punto de corte. Dentro de una banda de score, los clientes con scores similares pueden tener tasas de incumplimiento distintas. Esa diferencia no se ve al comparar las aprobaciones en el punto de corte.

¿Qué hago si no encuentro un campo que explique la diferencia?

Mantenga visible la diferencia y no le atribuya una causa ni cambie un campo sin pruebas. Esta comprobación no establece un umbral para determinar qué diferencia es aceptable.

¿Cómo afectó el cambio a la diferencia del grupo menor de 30 y a la capacidad predictiva?

La diferencia para las personas menores de 30 se redujo de menos 1.5 a menos 0.5 puntos porcentuales, pero no desapareció. El Gini prácticamente no cambió y la tasa de incumplimiento de la cartera aprobada se mantuvo en 13.1%. La diferencia para el grupo con estudios de posgrado aumentó, así que vuelva a comprobar todos los grupos.

Integre estas comprobaciones en un flujo de decisión

Cree reglas de crédito, fraude o cobros y ejecútelas en decisiones en tiempo real.