Il metodo OLS (acronimo inglese di Ordinary Least Squares, in italiano Minimi Quadrati Ordinari – MQO) è la tecnica di stima di base in statistica e econometria per determinare i parametri ($\beta$) di un modello di regressione lineare.
La sua filosofia è trovare la linea o il piano che minimizza la somma degli errori al quadrato tra i dati osservati e la linea stimata.
INDICE
La Teoria Generale: Minimizzare l’Errore
L’OLS cerca i coefficienti ($\hat{\beta}$) che minimizzano la Somma dei Quadrati degli Errori (SSE). L’errore o residuo ($e_i$) è la distanza verticale tra il valore osservato ($y_i$) e il valore predetto ($\hat{y}_i$).
Funzione Obiettivo:
$$\min_{\hat{\beta}0, \hat{\beta}_1} \quad SSE = \sum{i=1}^{n} e_i^2 = \sum_{i=1}^{n} (y_i – \hat{y}_i)^2$$
Il calcolo differenziale viene utilizzato per trovare il minimo, ponendo a zero le derivate parziali dell’SSE rispetto a ciascun coefficiente.
Caso Pratico: Calcolo OLS Scalare (Regressione Semplice)
Consideriamo la regressione semplice ($\hat{Y} = \hat{\beta}_0 + \hat{\beta}_1 X$) per $n=3$ osservazioni, utilizzando le formule OLS scalari.
Dati: $X={1, 2, 3}$, $Y={2, 4, 7}$.
- Medie: $\bar{x} = 2$ e $\bar{y} \approx 4,333$.
Calcolo della Pendenza ($\hat{\beta}_1$):
$$\mathbf{\hat{\beta}_1} = \frac{\sum (x_i – \bar{x})(y_i – \bar{y})}{\sum (x_i – \bar{x})^2}$$
- Numeratore: $5$
- Denominatore: $2$
- Risultato: $\mathbf{\hat{\beta}_1} = \frac{5}{2} = \mathbf{2,5}$
Calcolo dell’Intercetta ($\hat{\beta}_0$):
$$\mathbf{\hat{\beta}_0} = \bar{y} – \hat{\beta}_1 \bar{x}$$
$$\mathbf{\hat{\beta}_0} = 4,333 – (2,5 \cdot 2) = \mathbf{-0,667}$$
Modello OLS stimato: $$\mathbf{\hat{Y} = -0,667 + 2,5 X}$$
Generalizzazione tramite Algebra Lineare
Quando il modello include predittori multipli (Regressione Lineare Multipla), la soluzione in forma scalare diventa impraticabile. La teoria OLS viene generalizzata tramite l’algebra lineare e le matrici, che risolvono simultaneamente il sistema di equazioni:
La soluzione OLS generalizzata (matriciale) è:
$$\mathbf{\hat{\beta} = (X^T X)^{-1} X^T Y}$$
Questa formula compatta consente la stima dei parametri ($\mathbf{\hat{\beta}}$) attraverso la Matrice di Disegno ($\mathbf{X}$) e il Vettore di Risposta ($\mathbf{Y}$), mantenendo il principio della minimizzazione dell’SSE.
IMPARA LA STATISTICA
Comincia un fantastico viaggio alla scoperta di questa affascinante materia partendo da zero.
Si comincia dalla statistica descrittiva, passando per le probabilità si arriva all’inferenza.
Comincia subito il tuo percorso e migliora le tue abilità.