Le matrici di regressione sono il cuore dell’analisi statistica multivariata, trasformando i dati osservati in un sistema algebrico risolvibile e quantificando l’incertezza delle stime. L’approccio matriciale alla Regressione Lineare Multipla (RLM) è fondamentale per l’inferenza statistica.
INDICE
1. La Matrice di Disegno ($\mathbf{X}$) e $\mathbf{X^T X}$
La Matrice di Disegno ($\mathbf{X}$) è il contenitore strutturale di tutti i dati predittivi. La sua forma trasposta moltiplicata per sé stessa, $\mathbf{X^T X}$, è cruciale per la stima OLS e riassume le varianze e covarianze tra i predittori.
- Condizione Necessaria: L’inversa $\mathbf{(X^T X)^{-1}}$ deve esistere per calcolare i coefficienti $\mathbf{\hat{\beta}}$, risolvendo la formula fondamentale:
$$\mathbf{\hat{\beta} = (X^T X)^{-1} X^T Y}$$
2. La Matrice di Varianza-Covarianza degli Stimatori ($\mathbf{V(\hat{\beta})}$)
Questa è una delle più importanti matrici di regressione per l’inferenza statistica, in quanto quantifica la precisione e l’incertezza associata a ciascun coefficiente stimato $\mathbf{\hat{\beta}}$.
Formula
La Matrice di Varianza-Covarianza degli stimatori è definita come:
$$\mathbf{Var(\hat{\beta})} = \sigma^2 (X^T X)^{-1}$$
Dove $\mathbf{\sigma^2}$ è la varianza vera dell’errore (stimata con $\mathbf{\hat{\sigma}^2}$ o $MSE$).
Ruolo nell’Inferenza
- Diagonale (Varianze): I termini sulla diagonale forniscono le varianze dei singoli coefficienti $(\mathbf{Var(\hat{\beta}_j)})$. La loro radice quadrata è l’Errore Standard ($\mathbf{SE(\hat{\beta}_j)}$), cruciale per i test $t$ di significatività.
- Fuori Diagonale (Covarianze): I termini fuori diagonale indicano le covarianze tra le diverse stime dei coefficienti ($\mathbf{Cov(\hat{\beta}_i, \hat{\beta}_j)}$).
3. Esempio Pratico: Calcolo di $\mathbf{V(\hat{\beta})}$
Utilizziamo il set di dati semplificato ($n=3$ osservazioni, $k=1$ predittore) con l’inversa calcolata $\mathbf{(X^T X)^{-1}} = \frac{1}{6} \begin{pmatrix} 14 & -6 \\ -6 & 3 \end{pmatrix}$.
Passo 1: Stima della Varianza dell’Errore ($\mathbf{\hat{\sigma}^2}$)
L’Errore Quadratico Medio (MSE) calcolato per l’esempio è $\mathbf{\hat{\sigma}^2} \approx 0,166$.
Passo 2: Calcolo della Matrice $\mathbf{Var(\hat{\beta})}$
$$\mathbf{Var(\hat{\beta})} = \mathbf{\hat{\sigma}^2} (\mathbf{X^T X})^{-1} \approx 0,166 \cdot \frac{1}{6} \begin{pmatrix} 14 & -6 \\ -6 & 3 \end{pmatrix}$$
$$\mathbf{Var(\hat{\beta})} \approx \begin{pmatrix} 0,387 & -0,166 \\ -0,166 & 0,083 \end{pmatrix}$$
Interpretazione
- Varianza $\hat{\beta}_0$: $\mathbf{Var(\hat{\beta}_0)} \approx 0,387$.
- Varianza $\hat{\beta}_1$: $\mathbf{Var(\hat{\beta}_1)} \approx 0,083$.
- Covarianza: $\mathbf{Cov(\hat{\beta}_0, \hat{\beta}_1)} \approx -0,166$.
Questo esempio mostra come le matrici di regressione forniscano tutti gli elementi necessari per completare l’inferenza, quantificando l’affidabilità di ogni coefficiente stimato.
IMPARA LA STATISTICA
Comincia un fantastico viaggio alla scoperta di questa affascinante materia partendo da zero.
Si comincia dalla statistica descrittiva, passando per le probabilità si arriva all’inferenza.
Comincia subito il tuo percorso e migliora le tue abilità.