El sencillo Método de los Mínimos Cuadrados (Aplicación con Latex)

Esto es para el estudiante que me ha solicitado una breve explicación de los Mínimos Cuadrados, sobre todo del orígen de las ecuaciones normales.

Este método es una técnica matemática profusamente utilizada por los estadísticos. Desarrollada por matemático alemán Carl F. Gauss en su obra "Theoria combinationis observationum erroribus minimis obnoxiae" de 1821, cuya finalidad fué resolver un problema astronómico, este matemático utilizaba el método desde 1795 para calcular trayectoras medias, la hizo pública en 1809.

Por su parte el matematico francés Adrien Marie Legendre (1752 -1833), en una de sus obras presenta el método de "moindres carrés" pero aplicado al tratamiento de datos estadísticos, haciendo popular el método de los mínimos cuadrados.

En las Estadísticas y en la Econometría utilizamos el método de los mínimos cuadrados, como la herramienta mas simple y por muchos años muy eficiente en la aproximación de datos agrupados a una recta que los represente, con el mínimo de error posible, así buscamos por ejemplo que un grupo de datos sea representado por una línea recta del tipo:

$\hat Y = a + b.X$
Pero esta relación difiere de la recta verdadera Y en un valor minimo cuadrático:

min $\sum [Y-\hat Y] ^2 = \epsilon$

Entonces podemos escribir:  $\hat Y = a + b.X + \epsilon$

luego aplicamos la Esperanza matemática E como sigue:

$\epsilon = \sum [Y-\hat Y]^2 = \sum [Y - (a + b.X)]^2$

El concepto de minimización matemática implica calcular la derivada del valor $\epsilon$ respecto al valor de "a" y respecto al valor de "b" (Parámetros), luego igualar a cero ambas ecuaciones normales;

$\frac{\partial\epsilon}{\partial a}= 2.N.a + 2.b.\sum X - 2.\sum Y$

$\frac{\partial\epsilon}{\partial b} = 2.b\sum X^2 + 2.a.\sum X - 2\sum X.Y$

resolviendo el sistema de ecuaciones tenemos:

$a = \overline{Y} + b. \overline{X}$

$b = \frac {\sum(Y-\overline{Y}).(X-\overline{X})}{\sum (X-\overline{X})}$

Este es el método para el cálculo sencillo de los parámetros a y b, que pueden encontrar en cualquier libro de Estadística Básica Inferencial, como el clásico libro:

"Análisis Estadístico" Ya-Lun-Chou, nueva editorial interamericana, 1977.

NOTA. Latex se observa mejor en el Navegador Gloogle Chrome.