Saltar al contenido

Cómo mejorar su regresión lineal con funciones básicas y regularización

septiembre 24, 2021
1CQGp1ado4L3QTRt6L6K1sg

Cómo mejorar su regresión lineal con funciones básicas y regularización

Introducción a las funciones básicas y regularización con teoría e implementación de Python

Stefan Hrouda-Rasmussen

25 de marzo·4 min de lectura

1*CQGp1ado4L3QTRt6L6K1sg
Ilustración de regularización creciente en un modelo que se adapta. Imagen del autor.

Contenido

Esta publicación es parte de una serie de publicaciones que haré. Puede leer una versión más detallada de esta publicación en mi blog personal haciendo clic aquí. Debajo puede ver una descripción general de la serie.

1. Introducción al aprendizaje automático

  • (a) ¿Qué es el aprendizaje automático?
  • (b) Selección de modelos en aprendizaje automático
  • (c) La maldición de la dimensionalidad
  • (d) ¿Qué es la inferencia bayesiana?

2. Regresión

  • (a) Cómo funciona realmente la regresión lineal
  • (b) Cómo mejorar su regresión lineal con funciones básicas y regularización

3. Clasificación

  • (a) Resumen de clasificadores
  • (b) Análisis discriminante cuadrático (QDA)
  • (c) Análisis discriminante lineal (LDA)
  • (d) Bayes ingenuo (gaussiano)

Funciones básicas

En el post anterior discutimos el modelo de regresión lineal

1*oRtKOI9oCtjF7c7968wLhA

Nosotros decimos eso un modelo es lineal si es lineal en the parámetros que no están en las variables de entrada. Sin embargo, (1) es lineal tanto en los parámetros como en las variables de entrada, lo que le impide adaptarse a relaciones no lineales. Podemos aumentar el modelo reemplazando las variables de entrada con no lineales funciones de base de las variables de entrada

1*h9tanXLzUrF4ArW CKfJpA

dónde

1*P3trsPvLaIJocqw8E8lBew

Al usar funciones de base no lineal es posible para h adaptarse a relaciones no lineales de X, que veremos en breve – a estos modelos los llamamos modelos de función de base lineal.

Ya vimos un ejemplo de funciones base en la primera publicación de la serie, donde aumentamos el modelo de regresión lineal simple con funciones base de potencias de X, es decir,

1*N3IKUpq GJH1SaifOymNWw

Otra función de base común es la gaussiana

1*2WX5LyvvWf WEtWuKa8Og

Siguiendo la misma derivación que en el post anterior, encontramos las soluciones de máxima verosimilitud para w y α ser

1*mnSTZuKOzu1GN0LqA4yHrA

dónde

1*C2fm7h e68HU sy6avHHjg

La siguiente imagen muestra un modelo de función de base lineal con METRO-1 Funciones de base gaussiana. Podemos ver eso aumentar el número de funciones básicas hace un mejor modelo, hasta que comenzamos a sobreajustar.

1*BUtL9fSKuW3dv9tU8mydJQ

Ilustración del efecto de usar funciones de base gaussiana M − 1 (más la intersección). Imagen del autor.

Implementación

Usando el mismo conjunto de datos que en las publicaciones anteriores, obtenemos la implementación a continuación.

Regularización

Nos topamos brevemente con el concepto de regularización en la publicación sobre inferencia bayesiana, que describimos como una técnica para prevenir el sobreajuste. Si miramos hacia atrás en la función objetivo que definimos en la publicación anterior (aumentada con funciones base) podemos introducir un término de regularización

1*TkzG8FeExV Bp2jijWE2 Q

dónde q> 0 denota el tipo de regularización y λ controla el alcance de la regularización.

Los valores más comunes de q son 1 y 2, que se denominan regularización L1 y regularización L2 respectivamente. Lo llamamos regresión de lazo cuando usamos regularización L1 y regresión de cresta cuando usamos regularización L2.

La función objetivo de la regresión de la cresta

1*Mosnm99 fMBcUT3TzvDGrA

es especialmente conveniente ya que es una función cuadrática de w y por lo tanto tiene un mínimo global único. La solución a la que es

1*joyaeyfIBUArt7etziPhIQ

dónde α permanece igual que sin regularización, ya que el plazo de regularización no influye en él.

Cuando introducimos la regularización, el proceso de La selección del modelo va desde encontrar el número apropiado de funciones base hasta encontrar el valor apropiado para el parámetro de regularización. λ.

La siguiente imagen muestra un modelo de función de base lineal con valores variables para λ, manteniendo constante el número de funciones básicas METRO= 8. Podemos ver eso aunque al principio nos sobreajustamos, podemos ajustar el parámetro de regularización λ para prevenirlo – de hecho, empezamos a desajustar cuando la regularización es demasiado. Otra cosa interesante de ver es que nuestra incertidumbre aumenta junto con la regularización.

1632447186 493 1*CQGp1ado4L3QTRt6L6K1sg

Ilustración de regularización creciente para un modelo que está sobreajustado. Imagen del autor.

Implementación

Resumen

  • Que hace a un modelo lineal es que es lineal en los parámetros no las entradas.
  • Podemos aumentar la regresión lineal con funciones de base flexible modelos de función de base lineal.
  • Regresión polinomial es un modelo de función de base lineal.
  • Regularización es una técnica de previniendo el sobreajuste.
  • Existen diferentes tipos de regularización en regresión lineal como la regularización L1 y L2.
close