Il metodo OLS (acronimo inglese di Ordinary Least Squares, in italiano Minimi Quadrati Ordinari – MQO) è la tecnica di stima di base in statistica e econometria per determinare i parametri ($\beta$) di un modello di regressione lineare.
La sua filosofia è trovare la linea o il piano che minimizza la somma degli errori al quadrato tra i dati osservati e la linea stimata.
La Teoria Generale: Minimizzare l’Errore
L’OLS cerca i coefficienti ($\hat{\beta}$) che minimizzano la Somma dei Quadrati degli Errori (SSE). L’errore o residuo ($e_i$) è la distanza verticale tra il valore osservato ($y_i$) e il valore predetto ($\hat{y}_i$).
Funzione Obiettivo:
$$\min_{\hat{\beta}0, \hat{\beta}_1} \quad SSE = \sum{i=1}^{n} e_i^2 = \sum_{i=1}^{n} (y_i – \hat{y}_i)^2$$
Il calcolo differenziale viene utilizzato per trovare il minimo, ponendo a zero le derivate parziali dell’SSE rispetto a ciascun coefficiente.
Caso Pratico: Calcolo OLS Scalare (Regressione Semplice)
Consideriamo la regressione semplice ($\hat{Y} = \hat{\beta}_0 + \hat{\beta}_1 X$) per $n=3$ osservazioni, utilizzando le formule OLS scalari.
Dati: $X={1, 2, 3}$, $Y={2, 4, 7}$.
- Medie: $\bar{x} = 2$ e $\bar{y} \approx 4,333$.
Calcolo della Pendenza ($\hat{\beta}_1$):
$$\mathbf{\hat{\beta}_1} = \frac{\sum (x_i – \bar{x})(y_i – \bar{y})}{\sum (x_i – \bar{x})^2}$$
- Numeratore: $5$
- Denominatore: $2$
- Risultato: $\mathbf{\hat{\beta}_1} = \frac{5}{2} = \mathbf{2,5}$
Calcolo dell’Intercetta ($\hat{\beta}_0$):
$$\mathbf{\hat{\beta}_0} = \bar{y} – \hat{\beta}_1 \bar{x}$$
$$\mathbf{\hat{\beta}_0} = 4,333 – (2,5 \cdot 2) = \mathbf{-0,667}$$
Modello OLS stimato: $$\mathbf{\hat{Y} = -0,667 + 2,5 X}$$
Generalizzazione tramite Algebra Lineare
Quando il modello include predittori multipli (Regressione Lineare Multipla), la soluzione in forma scalare diventa impraticabile. La teoria OLS viene generalizzata tramite l’algebra lineare e le matrici, che risolvono simultaneamente il sistema di equazioni:
La soluzione OLS generalizzata (matriciale) è:
$$\mathbf{\hat{\beta} = (X^T X)^{-1} X^T Y}$$
Questa formula compatta consente la stima dei parametri ($\mathbf{\hat{\beta}}$) attraverso la Matrice di Disegno ($\mathbf{X}$) e il Vettore di Risposta ($\mathbf{Y}$), mantenendo il principio della minimizzazione dell’SSE.