Como muchos otros de los fundamentos del Machine Learning, los orígenes del proceso de regresión se remontan profundamente en el pasado. Francis Galton, primo de Darwin y pionero de la genética, analizaba las tendencias de ciertos parámetros biológicos, específicamente el de la estatura humana. Se dio cuenta de que la naturaleza aborrece los casos extremos y que estos parámetros oscilaban entorno a una media. Incluso los hijos de padres de gran estatura, tendían a ser más pequeños y regresar a esa media.

La naturaleza se expresa con cierto orden. Y es posible analizar las relaciones que existen entre diferentes variables. En líneas generales la regresión nos permite descubrir ese orden y llegar a predecir el valor de una variable, llamada variable dependiente, como puede ser la estatura. Esta predicción se realiza a partir de una o varias variables independientes que, siguiendo nuestro ejemplo, podrían ser el sexo, la altura de los progenitores.

La Regresión Lineal es una técnica utilizada en el Aprendizaje Supervisado, dado que el material de trabajo son datos ya etiquetados. Veámoslo de este modo: si queremos predecir la altura de cualquier individuo a partir de una variable, necesitamos datos en bruto de muchos individuos de los cuales ya conocemos su estatura.