La Regressione Lineare Multipla (RLM) è la tecnica statistica di base per modellare la relazione tra una variabile dipendente ($Y$) e due o più variabili predittive ($X_1, X_2, \dots, X_k$). L’approccio matriciale, fondato sui principi dell’algebra lineare, è indispensabile in questo contesto poiché condensa l’intero sistema di stima dei minimi quadrati in un’unica equazione compatta e generale. Il calcolo dei beta ($\mathbf{\hat{\beta}}$) di regressione con le matrici non è solo un metodo algebrico, ma la formalizzazione completa del modello.
INDICE
La Formulazione Matriciale e le Componenti
Il modello teorico di RLM per $n$ osservazioni e $k$ predittori è espresso in forma matriciale come:
$$\mathbf{Y = X\beta + \epsilon}$$
Le matrici e i vettori che compongono l’equazione sono:
- $\mathbf{Y}$ (Vettore delle Risposte, $n \times 1$):
$$\mathbf{Y} = \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{pmatrix}$$ - $\mathbf{X}$ (Matrice di Disegno, $n \times (k+1)$): Contiene i valori dei predittori. La prima colonna è riempita con $1$ per l’intercetta $\beta_0$.
$$\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1k} \\ 1 & x_{21} & x_{22} & \dots & x_{2k} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{nk} \end{pmatrix}$$ - $\mathbf{\beta}$ (Vettore dei Parametri, $(k+1) \times 1$): Contiene i coefficienti ignoti da stimare.
$$\mathbf{\beta} = \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_k \end{pmatrix}$$ - $\mathbf{\epsilon}$ (Vettore degli Errori, $n \times 1$): I residui del modello.
La Formula Fondamentale OLS
L’obiettivo della stima tramite il metodo dei Minimi Quadrati Ordinari (OLS) è trovare il vettore di coefficienti beta ($\mathbf{\hat{\beta}}$) che minimizza la somma dei quadrati degli errori. La formula chiusa che risolve questo problema è:
$$\mathbf{\hat{\beta} = (X^T X)^{-1} X^T Y}$$
Analisi delle Componenti
- $\mathbf{X^T X}$ (Matrice di Varianza/Covarianza dei Predittori): Questa matrice quadrata riassume le relazioni tra i predittori stessi. La sua invertibilità è un requisito fondamentale: la non invertibilità segnala multicollinearità perfetta.
- $\mathbf{X^T Y}$ (Vettore di Covarianza tra Predittori e Risposta): Questo vettore riassume la covarianza tra ogni predittore (inclusa la colonna di $1$) e la variabile di risposta $Y$.
- $\mathbf{(X^T X)^{-1}}$ (Fattore di Inversione e Aggiustamento): Agisce come fattore di normalizzazione che aggiusta le covarianze per isolare l’effetto unico di ciascuna variabile su $Y$.
Dimostrazione della Formula OLS
La formula $\mathbf{\hat{\beta} = (X^T X)^{-1} X^T Y}$ deriva dalla minimizzazione della Somma dei Quadrati degli Errori (SSE), che si ottiene ponendo il gradiente rispetto a $\mathbf{\hat{\beta}}$ uguale al vettore zero.
L’errore è $\mathbf{\epsilon} = \mathbf{Y} – \mathbf{X\hat{\beta}}$. Dobbiamo minimizzare $SSE = \mathbf{\epsilon^T \epsilon} = (\mathbf{Y} – \mathbf{X\hat{\beta}})^T (\mathbf{Y} – \mathbf{X\hat{\beta}})$.
- Espansione dell’SSE:
$$SSE = \mathbf{Y^T Y} – 2\mathbf{\hat{\beta}^T X^T Y} + \mathbf{\hat{\beta}^T X^T X \hat{\beta}}$$ - Calcolo del Gradiente e Uguaglianza a Zero:
$$\frac{\partial SSE}{\partial \mathbf{\hat{\beta}}} = -2\mathbf{X^T Y} + 2\mathbf{X^T X \hat{\beta}} = 0$$ - Equazioni Normali: Riorganizzando si ottiene il sistema delle Equazioni Normali:
$$\mathbf{X^T X \hat{\beta}} = \mathbf{X^T Y}$$ - Risoluzione per $\mathbf{\hat{\beta}}$: Moltiplicando entrambi i lati a sinistra per l’inversa di $\mathbf{X^T X}$:
$$\mathbf{\hat{\beta}} = \mathbf{(X^T X)^{-1} X^T Y}$$
Per capire meglio i meccanismi di algebra lineare che stanno dietro a questa formula vi rimando alla lezione del Professor Bottacin:
Perché Moltiplicare per la Trasposta $\mathbf{X^T}$?
La moltiplicazione per la trasposta di $X$ ($\mathbf{X^T}$) è un passaggio obbligato nel calcolo dei $\mathbf{\hat{\beta}}$ di regressione con le matrici per due ragioni fondamentali:
- Conversione di Dimensione: Trasforma il sistema di partenza ($n$ osservazioni) in un sistema con $\mathbf{k+1}$ equazioni (tanti quanti sono i coefficienti da stimare), rendendo $\mathbf{X^T X}$ una matrice quadrata invertibile.
- Ortogonalità (Criterio Geometrico): Statisticamente, questa operazione garantisce che il vettore dei residui ($\mathbf{\hat{\epsilon}}$) sia ortogonale (non correlato) allo spazio generato dai predittori $\mathbf{X}$. Questa è la condizione geometrica che definisce la soluzione OLS.
Esempio Pratico Semplificato
Esempio con $n=3$ osservazioni, un’intercetta $\beta_0$ e un solo predittore $X_1$.
Dati: $Y={2, 4, 7}$ e $X_1={1, 2, 3}$.
Matrici:
$$\mathbf{Y} = \begin{pmatrix} 2 \\ 4 \\ 7 \end{pmatrix} \quad \mathbf{X} = \begin{pmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{pmatrix}$$
1. Calcolo di $\mathbf{X^T X}$ e $\mathbf{X^T Y}$:
$$\mathbf{X^T X} = \begin{pmatrix} 3 & 6 \\ 6 & 14 \end{pmatrix} \quad \mathbf{X^T Y} = \begin{pmatrix} 13 \\ 31 \end{pmatrix}$$
2. Calcolo dell’Inversa $(\mathbf{X^T X})^{-1}$:
$$\mathbf{(X^T X)^{-1}} = \frac{1}{6} \begin{pmatrix} 14 & -6 \\ -6 & 3 \end{pmatrix}$$
3. Calcolo degli Stimatori $\mathbf{\hat{\beta}}$:
$$\mathbf{\hat{\beta}} = \mathbf{(X^T X)^{-1} X^T Y} = \frac{1}{6} \begin{pmatrix} 14 & -6 \\ -6 & 3 \end{pmatrix} \begin{pmatrix} 13 \\ 31 \end{pmatrix} = \begin{pmatrix} -0,667 \\ 2,5 \end{pmatrix}$$
Il modello stimato è $\mathbf{\hat{Y} = -0,667 + 2,5 X_1}$.
Cenno all’Inferenza
La matrice è fondamentale anche per l’inferenza statistica. La precisione e l’incertezza intorno agli stimatori $\mathbf{\hat{\beta}}$ sono quantificate dalla Matrice di Varianza-Covarianza degli Stimatori:
$$\mathbf{Var(\hat{\beta})} = \sigma^2 (X^T X)^{-1}$$
Gli elementi sulla diagonale di questa matrice forniscono le varianze dei singoli coefficienti, da cui si ricavano gli Errori Standard per l’esecuzione dei test di significatività. Questo aspetto sarà trattato in dettaglio in un prossimo articolo.
IMPARA LA STATISTICA
Comincia un fantastico viaggio alla scoperta di questa affascinante materia partendo da zero.
Si comincia dalla statistica descrittiva, passando per le probabilità si arriva all’inferenza.
Comincia subito il tuo percorso e migliora le tue abilità.