Como muchos otros de los fundamentos del Machine Learning, los orígenes del proceso de regresión se remontan profundamente en el pasado. Francis Galton, primo de Darwin y pionero de la genética, analizaba las tendencias de ciertos parámetros biológicos, específicamente el de la estatura humana. Se dio cuenta de que la naturaleza aborrece los casos extremos y que estos parámetros oscilaban entorno a una media. Incluso los hijos de padres de gran estatura, tendían a ser más pequeños y regresar a esa media.

La naturaleza se expresa con cierto orden. Y es posible analizar las relaciones que existen entre diferentes variables. En líneas generales la regresión nos permite descubrir ese orden y llegar a predecir el valor de una variable, llamada variable dependiente, como puede ser la estatura. Esta predicción se realiza a partir de una o varias variables independientes que, siguiendo nuestro ejemplo, podrían ser el sexo, la altura de los progenitores o el país de nacimiento.

La Regresión Lineal es una técnica utilizada en el Aprendizaje Supervisado, dado que el material de trabajo son datos ya etiquetados. Veámoslo de este modo: si queremos predecir la altura de cualquier individuo a partir de una variable, necesitamos datos en bruto de muchos individuos de los cuales ya conocemos su estatura.