Gracias al modelo contamos con una predicción la cual podemos comparar con los valores reales. Evidentemente nos interesan una predicción que sea lo más cercana posibles a los datos reales. En términos matemáticos, debemos buscar aquellos valores que minimicen la diferencia entre la variable independiente y y la predicción del modelo \hat{y}.
Los mínimos cuadrados es una técnica que permite medir este error o diferencia entre ambos valores. La diferencia entre el pronóstico y el valor real se eleva al cuadrado. La razón es porque queremos operar con diferencias positivas y no nos importa si el error es por exceso o por defecto. Otra razón es que al elevar al cuadrado las diferencias mayores tienen más peso.
Esta diferencia se calcula para cada uno de los datos con los que contamos para luego sumarlas todas. Por último es también usual dividir la suma al completo entre el número n de datos para obtener el Error Cuadrático Medio (en inglés MSE: Mean Squared Error):
Esta cantidad es la medida del error que debemos reducir al mínimo para acercar las predicciones de nuestro modelo a los datos reales.
\frac{1}{n}\displaystyle\sum_{i=1}^{n}(y_{i} – \hat{y_{i}})^{2} =
\hat{y}:
Al modificar los parámetros y la pendiente y el corte de la recta que representa las predicciones del modelo podemos alejarnos o acercarnos a los valores reales. Las líneas punteadas representan las diferencias y_{i} – \hat{y_{i}} para cada dato i. Modificar los parámetros para acortar estas diferencias nos devuelve un error menor.