Contenido

Esta publicación es parte de una serie de publicaciones que haré. Puede leer una versión más detallada de esta publicación en mi blog personal haciendo clic aquí. Debajo puede ver una descripción general de la serie.

1. Introducción al aprendizaje automático

• (a) ¿Qué es el aprendizaje automático?
• (b) Selección de modelos en aprendizaje automático
• (c) La maldición de la dimensionalidad
• (d) ¿Qué es la inferencia bayesiana?

2. Regresión

• (a) Cómo funciona realmente la regresión lineal
• (b) Cómo mejorar su regresión lineal con funciones básicas y regularización

3. Clasificación

• (a) Resumen de clasificadores
• (b) Análisis discriminante cuadrático (QDA)
• (c) Análisis discriminante lineal (LDA)
• (d) Bayes ingenuo (gaussiano)

Funciones básicas

En el post anterior discutimos el modelo de regresión lineal

Nosotros decimos eso un modelo es lineal si es lineal en the parámetros que no están en las variables de entrada. Sin embargo, (1) es lineal tanto en los parámetros como en las variables de entrada, lo que le impide adaptarse a relaciones no lineales. Podemos aumentar el modelo reemplazando las variables de entrada con no lineales funciones de base de las variables de entrada

dónde

Al usar funciones de base no lineal es posible para h adaptarse a relaciones no lineales de X, que veremos en breve – a estos modelos los llamamos modelos de función de base lineal.

Ya vimos un ejemplo de funciones base en la primera publicación de la serie, donde aumentamos el modelo de regresión lineal simple con funciones base de potencias de X, es decir,

Otra función de base común es la gaussiana

Siguiendo la misma derivación que en el post anterior, encontramos las soluciones de máxima verosimilitud para w y α ser

dónde

La siguiente imagen muestra un modelo de función de base lineal con METRO-1 Funciones de base gaussiana. Podemos ver eso aumentar el número de funciones básicas hace un mejor modelo, hasta que comenzamos a sobreajustar.

Implementación

Usando el mismo conjunto de datos que en las publicaciones anteriores, obtenemos la implementación a continuación.

Regularización

Nos topamos brevemente con el concepto de regularización en la publicación sobre inferencia bayesiana, que describimos como una técnica para prevenir el sobreajuste. Si miramos hacia atrás en la función objetivo que definimos en la publicación anterior (aumentada con funciones base) podemos introducir un término de regularización

dónde q> 0 denota el tipo de regularización y λ controla el alcance de la regularización.

Los valores más comunes de q son 1 y 2, que se denominan regularización L1 y regularización L2 respectivamente. Lo llamamos regresión de lazo cuando usamos regularización L1 y regresión de cresta cuando usamos regularización L2.

La función objetivo de la regresión de la cresta

es especialmente conveniente ya que es una función cuadrática de w y por lo tanto tiene un mínimo global único. La solución a la que es

dónde α permanece igual que sin regularización, ya que el plazo de regularización no influye en él.

Cuando introducimos la regularización, el proceso de La selección del modelo va desde encontrar el número apropiado de funciones base hasta encontrar el valor apropiado para el parámetro de regularización. λ.

La siguiente imagen muestra un modelo de función de base lineal con valores variables para λ, manteniendo constante el número de funciones básicas METRO= 8. Podemos ver eso aunque al principio nos sobreajustamos, podemos ajustar el parámetro de regularización λ para prevenirlo – de hecho, empezamos a desajustar cuando la regularización es demasiado. Otra cosa interesante de ver es que nuestra incertidumbre aumenta junto con la regularización.

Implementación

Resumen

• Que hace a un modelo lineal es que es lineal en los parámetros no las entradas.
• Podemos aumentar la regresión lineal con funciones de base flexible modelos de función de base lineal.
• Regresión polinomial es un modelo de función de base lineal.
• Regularización es una técnica de previniendo el sobreajuste.
• Existen diferentes tipos de regularización en regresión lineal como la regularización L1 y L2.