Saltar al contenido

5 tipos de regresión y sus propiedades

septiembre 25, 2021

5 tipos de regresión y sus propiedades

George Seif

26 de marzo de 2018·6 min de lectura

Escribo un boletín para estudiantes llamado Mighty Knowledge. Cada nuevo número contiene enlaces y lecciones clave del mejor contenido, como citas, libros, artículos, podcasts y videos. Todos y cada uno son seleccionados específicamente para aprender a vivir una vida más sabia, feliz y plena. Registrate aquí.

Las regresiones lineales y logísticas suelen ser los primeros algoritmos de modelado que las personas aprenden para el aprendizaje automático y la ciencia de datos. Ambos son geniales ya que son fáciles de usar e interpretar. Sin embargo, su simplicidad inherente también tiene algunos inconvenientes y, en muchos casos, no son realmente la mejor opción de modelo de regresión. De hecho, existen varios tipos diferentes de regresiones, cada una con sus propias fortalezas y debilidades.

En esta publicación, vamos a mirark en 7 de los tipos más comunes de algoritmos de regresión y sus propiedades. Pronto descubriremos que muchos de ellos están predispuestos a funcionar bien en ciertos tipos de situaciones y con ciertos tipos de datos. Al final, esta publicación le brindará algunas herramientas más en su caja de herramientas de regresión y le brindará una mayor comprensión de los modelos de regresión en su conjunto.

La regresión es una técnica que se utiliza para modelar y analizar las relaciones entre las variables y, a menudo, cómo contribuyen y se relacionan para producir un resultado particular en conjunto. Una regresión lineal se refiere a un modelo de regresión que se compone completamente de variables lineales. Comenzando con el caso simple, la regresión lineal de variable única es una técnica que se utiliza para modelar la relación entre una variable independiente de entrada única (variable característica) y una variable dependiente de salida utilizando un modelo lineal, es decir, una línea.

El caso más general es la regresión lineal multivariable, donde se crea un modelo para la relación entre múltiples variables de entrada independientes (variables de características) y una variable dependiente de salida. El modelo sigue siendo lineal en el sentido de que la salida es una combinación lineal de las variables de entrada. Podemos modelar una regresión lineal multivariable de la siguiente manera:

Y = a_1 * X_1 + a_2 * X_2 + a_3 * X_3 ……. a_n * X_n + b

Dónde un son los coeficientes, X_n son las variables y B es el sesgo. Como podemos ver, esta función no incluye ninguna no linealidad y, por lo tanto, solo es adecuada para modelar datos separables linealmente. Es bastante fácil de entender ya que simplemente estamos ponderando la importancia de cada variable de función. X_n usando los coeficientes de ponderación un. Determinamos estos pesos un y el sesgo B utilizando un descenso de gradiente estocástico (SGD). ¡Vea la ilustración a continuación para obtener una imagen más visual!

Ilustración de cómo Gradient Descent encuentra los parámetros óptimos para una regresión lineal

Algunos puntos clave sobre la regresión lineal:

  • Rápido y fácil de modelar y es particularmente útil cuando la relación a modelar no es extremadamente compleja y si no tiene muchos datos.
  • Muy intuitivo de entender e interpretar.
  • La regresión lineal es muy sensible a los valores atípicos.

Cuando queremos crear un modelo que sea adecuado para manejar datos separables no linealmente, necesitaremos usar una regresión polinomial. En esta técnica de regresión, la línea de mejor ajuste no es una línea recta. Es más bien una curva que encaja en los puntos de datos. Para una regresión polinomial, la potencia de algunas variables independientes es más de 1. Por ejemplo, podemos tener algo como:

Y = a_1 * X_1 + (a_2) ² * X_2 + (a_3) ⁴ * X_3 ……. a_n * X_n + b

Podemos hacer que algunas variables tengan exponentes, otras sin ellos, y también seleccionar el exponente exacto que queremos para cada variable. Sin embargo, seleccionar el exponente exacto de cada variable naturalmente requiere cierto conocimiento de cómo los datos se relacionan con la salida. Consulte la ilustración siguiente para ver una comparación visual de la regresión lineal frente a la polinomial.

close