in

PSI y CSI: las 2 principales métricas de monitoreo de modelos

Fundamentos de modelado

PSI y CSI: las 2 principales métricas de monitoreo de modelos

Índice de estabilidad de la población e índice de estabilidad característica

Juhi Ramzai

11 de agosto de 2020·5 min de lectura

Imagen del autor

Una vez que un modelo se ha puesto en PROD (producción), se requiere un monitoreo regular para asegurarse de que el modelo sigue siendo relevante y confiable. Escribí una publicación sobre la validación del modelo frente a la supervisión del modelo y la importancia de estas 2 etapas, puede verla como una precuela de esta publicación.

¿Por qué la validación del modelo es tan importante y en qué se diferencia del seguimiento del modelo?

La columna vertebral del proceso de desarrollo del modelo

haciadatascience.com

Pasando al tema de esta publicación, aprenderemos todo sobre el PSI y el CSI, es decir, el Índice de Estabilidad de la Población y el Índice de Estabilidad Característica, que son una de las estrategias de monitoreo más importantes utilizadas en muchos dominios, especialmente el dominio de riesgo crediticio.

PSI y CSI, ambas métricas se centran en el cambio en el DISTRIBUCIÓN DE LA POBLACIÓN.

ThmiEstas dos métricas de monitoreo se basan en la premisa de que un modelo predictivo funciona mejor cuando las muestras de desarrollo y validación / OOT (fuera de tiempo) no son significativamente diferentes en términos de condiciones económicas, supuestos subyacentes, estilo de campaña y enfoque. etc.

Por ejemplo: si creamos un modelo predictivo para predecir la tasa de deserción para los clientes de tarjetas de crédito en circunstancias económicas normales y luego procedemos a probarlo con una muestra de tiempos de recesión, es posible que el modelo no pueda predecir con precisión la población. La distribución en diferentes segmentos de ingresos podría haber cambiado significativamente, lo que podría impulsar la tasa de deserción real realmente alta, pero es posible que el modelo no sea capaz de capturarla y, por lo tanto, prediga resultados erróneos. Pero, como entendemos esto ahora y si procedemos a verificar los cambios de distribución de la población entre el tiempo DEV y el tiempo actual, podemos tener una idea clara de si los resultados del modelo son confiables o no. Y esto lo logran PSI y CSI como métricas de monitoreo importantes.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

d33B5HrPMUWLSSZPmGuafN 1200 80

Samsung Galaxy S22 fecha de lanzamiento, precio, noticias y filtraciones

Dispositivo de almacenamiento ZFS | Oráculo