Le matrici di regressione sono il cuore dell’analisi statistica multivariata, trasformando i dati osservati in un sistema algebrico risolvibile e quantificando l’incertezza delle stime. L’approccio matriciale alla Regressione Lineare Multipla (RLM) è fondamentale per l’inferenza statistica.
1. La Matrice di Disegno ($\mathbf{X}$) e $\mathbf{X^T X}$
La Matrice di Disegno ($\mathbf{X}$) è il contenitore strutturale di tutti i dati predittivi. La sua forma trasposta moltiplicata per sé stessa, $\mathbf{X^T X}$, è cruciale per la stima OLS e riassume le varianze e covarianze tra i predittori.
- Condizione Necessaria: L’inversa $\mathbf{(X^T X)^{-1}}$ deve esistere per calcolare i coefficienti $\mathbf{\hat{\beta}}$, risolvendo la formula fondamentale:
$$\mathbf{\hat{\beta} = (X^T X)^{-1} X^T Y}$$
2. La Matrice di Varianza-Covarianza degli Stimatori ($\mathbf{V(\hat{\beta})}$)
Questa è una delle più importanti matrici di regressione per l’inferenza statistica, in quanto quantifica la precisione e l’incertezza associata a ciascun coefficiente stimato $\mathbf{\hat{\beta}}$.
Formula
La Matrice di Varianza-Covarianza degli stimatori è definita come:
$$\mathbf{Var(\hat{\beta})} = \sigma^2 (X^T X)^{-1}$$
Dove $\mathbf{\sigma^2}$ è la varianza vera dell’errore (stimata con $\mathbf{\hat{\sigma}^2}$ o $MSE$).
Ruolo nell’Inferenza
- Diagonale (Varianze): I termini sulla diagonale forniscono le varianze dei singoli coefficienti $(\mathbf{Var(\hat{\beta}_j)})$. La loro radice quadrata è l’Errore Standard ($\mathbf{SE(\hat{\beta}_j)}$), cruciale per i test $t$ di significatività.
- Fuori Diagonale (Covarianze): I termini fuori diagonale indicano le covarianze tra le diverse stime dei coefficienti ($\mathbf{Cov(\hat{\beta}_i, \hat{\beta}_j)}$).
3. Esempio Pratico: Calcolo di $\mathbf{V(\hat{\beta})}$
Utilizziamo il set di dati semplificato ($n=3$ osservazioni, $k=1$ predittore) con l’inversa calcolata $\mathbf{(X^T X)^{-1}} = \frac{1}{6} \begin{pmatrix} 14 & -6 \\ -6 & 3 \end{pmatrix}$.
Passo 1: Stima della Varianza dell’Errore ($\mathbf{\hat{\sigma}^2}$)
L’Errore Quadratico Medio (MSE) calcolato per l’esempio è $\mathbf{\hat{\sigma}^2} \approx 0,166$.
Passo 2: Calcolo della Matrice $\mathbf{Var(\hat{\beta})}$
$$\mathbf{Var(\hat{\beta})} = \mathbf{\hat{\sigma}^2} (\mathbf{X^T X})^{-1} \approx 0,166 \cdot \frac{1}{6} \begin{pmatrix} 14 & -6 \\ -6 & 3 \end{pmatrix}$$
$$\mathbf{Var(\hat{\beta})} \approx \begin{pmatrix} 0,387 & -0,166 \\ -0,166 & 0,083 \end{pmatrix}$$
Interpretazione
- Varianza $\hat{\beta}_0$: $\mathbf{Var(\hat{\beta}_0)} \approx 0,387$.
- Varianza $\hat{\beta}_1$: $\mathbf{Var(\hat{\beta}_1)} \approx 0,083$.
- Covarianza: $\mathbf{Cov(\hat{\beta}_0, \hat{\beta}_1)} \approx -0,166$.
Questo esempio mostra come le matrici di regressione forniscano tutti gli elementi necessari per completare l’inferenza, quantificando l’affidabilità di ogni coefficiente stimato.