in

Modelos de caja negra frente a modelos de caja blanca

Modelos de caja negra frente a modelos de caja blanca

Lars Hulstaert

14 de marzo de 2019·6 min de lectura

La mayoría de los sistemas de aprendizaje automático requieren la capacidad de explicar a las partes interesadas por qué se hacen ciertas predicciones. Al elegir un modelo de aprendizaje automático adecuado, a menudo pensamos en términos de la compensación entre precisión e interpretabilidad:

  • precisa y ‘caja negra’:
    Los modelos de caja negra, como las redes neuronales, los modelos de aumento de gradiente o los conjuntos complicados, a menudo proporcionan una gran precisión. El funcionamiento interno de estos modelos es más difícil de comprender y no proporcionan una estimación de la importancia de cada característica en las predicciones del modelo, ni es fácil comprender cómo interactúan las diferentes características.
0*FfwEUfmFFFmbnAfo

Imagen de Applied.AI

La compensación entre precisión e interpretabilidad se basa en un supuesto importante, a saber, que ‘la explicabilidad es una propiedad inherente del modelo’.
Sin embargo, creo firmemente que con las « técnicas de interpretación » adecuadas, cualquier modelo de aprendizaje automático puede hacerse más interpretable, aunque con una complejidad y un costo más altos para algunos modelos que para otros.

En este blog post, discutiré algunas de las diferentes técnicas que se pueden utilizar para interpretar modelos de aprendizaje automático. La estructura y el contenido de esta publicación de blog se basan en gran medida en el folleto H20.ai sobre Interpretabilidad del aprendizaje automático. Recomiendo encarecidamente a todos que lean el folleto H20.ai u otro material de Patrick Hall si desean obtener más información.

Propiedades del modelo

El grado de explicabilidad de un modelo suele estar vinculado a dos propiedades de la función de respuesta. La función de respuesta f (x) de un modelo define la relación entrada-salida entre una entrada (características X) y la salida (objetivo f (x)) de un modelo. Dependiendo del modelo de aprendizaje automático, esta función tiene las siguientes características:

  • Linealidad: en una función de respuesta lineal, la asociación entre una característica y el objetivo se comporta de forma lineal. Si una característica cambia linealmente, también esperamos que el objetivo cambie linealmente a un ritmo similar.
0*fI7pb6VEQH9OzUfD

Un ejemplo de una función de respuesta lineal y monótica simple (1 variable de entrada x, 1 variable de respuesta y)

Ejemplos de funciones lineales y monótonas son, por ejemplo, modelos de regresión lineal, mientras que, por ejemplo, bosques aleatorios y redes neuronales son ejemplos de modelos que exhiben funciones de respuesta altamente no lineales y no monótonas.

La siguiente diapositiva de Patrick Hall ilustra por qué los modelos de caja blanca (con funciones lineales y monótonas) a menudo se prefieren cuando se requieren explicaciones de modelos claras y simples. La gráfica superior muestra que el número de compras aumenta cuando aumenta la edad. La función de respuesta tiene una relación lineal y monótona a nivel global, fácilmente interpretable por todos los interesados.

Sin embargo, una parte significativa de la tendencia se pierde debido a las limitaciones lineales y monótonas del modelo de caja blanca. Al explorar modelos de aprendizaje automático más complejos, es posible ajustar mejor los datos observados, aunque la función de respuesta es solo lineal y monótona a nivel local. Para interpretar el comportamiento de los modelos, es necesario investigar el modelo a nivel local.

El alcance de la interpretabilidad del modelo, es decir, a nivel global o local, está intrínsecamente vinculado a la complejidad del modelo. Los modelos lineales exhiben el mismo comportamiento en todo el espacio de características (como se ve en el gráfico superior) y, por lo tanto, son interpretables globalmente. La relación entre la entrada y la salida es a menudo limitada en complejidad y las interpretaciones locales (es decir, ¿por qué un modelo hace una determinada predicción en un determinado punto de datos?) Por defecto a las interpretaciones globales.

Para modelos más complejos, el comportamiento global del modelo es más difícil de definir y se requieren interpretaciones locales de pequeñas regiones de las funciones de respuesta. Es más probable que estas pequeñas regiones se comporten de forma lineal y monótona, lo que permite una clase de explicaciones más precisa.

Las bibliotecas ML (por ejemplo, sk-learn) permiten comparaciones rápidas entre diferentes clasificadores. Cuando el conjunto de datos es limitado en tamaño y dimensionalidad, es posible interpretar los resultados. En la mayoría de los problemas de la vida real, este ya no es el caso.

En el resto de esta publicación de blog, me centraré en dos técnicas independientes del modelo que proporcionan explicaciones tanto globales como locales. Estas técnicas se pueden aplicar a cualquier algoritmo de aprendizaje automático y permiten la interpretación mediante el análisis de la función de respuesta del modelo de aprendizaje automático.

Técnicas de interpretabilidad

Modelos sustitutos

Los modelos sustitutos son modelos (generalmente más simples) que se utilizan para explicar un modelo más complejo. Los modelos lineales y los modelos de árbol de decisión se utilizan a menudo debido a su sencilla interpretación. El modelo sustituto se crea para representar el proceso de toma de decisiones del modelo complejo (la función de respuesta) y es un modelo entrenado en la entrada y las predicciones del modelo, en lugar de la entrada y los objetivos.
Los modelos sustitutos proporcionan una capa de interpretabilidad global además de los modelos no lineales y no monótonos, pero no se debe confiar exclusivamente en ellos. Los modelos sustitutos no pueden representar perfectamente la función de respuesta subyacente, ni pueden capturar las complejas relaciones de características. Sirven principalmente como «resumen global» de un modelo. Los siguientes pasos ilustran cómo puede construir un modelo sustituto para cualquier modelo de caja negra.

  1. Entrena un modelo de caja negra.

LIMA

La idea general detrás de LIME es la misma que la de los modelos sustitutos. Sin embargo, LIME no crea un modelo sustituto global que represente todo el conjunto de datos y solo crea modelos sustitutos locales (modelos lineales) que explican las predicciones en las regiones locales. Puede encontrar una explicación más detallada de LIME en esta publicación de blog sobre LIME.
LIME proporciona una forma intuitiva de interpretar las predicciones del modelo para un punto de datos determinado.

Los siguientes pasos ilustran cómo puede construir un modelo LIME para cualquier modelo de caja negra.

  1. Entrena un modelo de caja negra.

Conclusión

Existen varias técnicas diferentes que puede utilizar para mejorar la interpretabilidad de sus modelos de aprendizaje automático. Aunque las técnicas se vuelven más robustas a medida que mejora el campo, es importante comparar siempre diferentes técnicas. Una técnica de la que no hablé son los valores de Shapley. ¡Eche un vistazo al libro de Christoph Molnar sobre ‘Aprendizaje automático interpretable’ para aprender más sobre esa (y otras) técnicas!

Si tiene alguna pregunta sobre la interpretabilidad en el aprendizaje automático, estaré encantado de leerla en los comentarios. Sígueme en Medium o Gorjeo si desea recibir actualizaciones sobre las publicaciones de mi blog!

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

00hCYuE1Yq4xdkc8WcevdE9 2.1632497276.fit lim.size 1200x630

Anime a sus propios personajes con un 50% de descuento en el software de animación Moho

Gestión de relaciones de datos de Oracle | Gestión del rendimiento