Nel modello di regressione lineare multipla, l’obiettivo è duplice: trovare i migliori stimatori per i coefficienti e valutare, tramite l’inferenza statistica, se ciascuna variabile esplicativa contribuisce in modo statisticamente significativo alla previsione della variabile dipendente ($Y$).
Stima dei Coefficienti ($\hat{\beta}$)
Il modello in forma matriciale è $\mathbf{Y} = \mathbf{X} \mathbf{\beta} + \mathbf{\epsilon}$.
La Soluzione OLS Matriciale
Il vettore degli stimatori dei coefficienti $\mathbf{\hat{\beta}}$ (inclusa l’intercetta $\hat{\beta}_0$) si ottiene attraverso il metodo dei Minimi Quadrati Ordinari (OLS):
$$\mathbf{\hat{\beta}} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{Y}$$
Per capire meglio questo articolo sul calcolo dei beta con l’algebra lineare.
Interpretazione dei Coefficienti Parziali
Ogni coefficiente $\hat{\beta}_j$ nel modello multiplo è un coefficiente parziale. Misura la variazione attesa in $Y$ per una variazione unitaria di $X_j$, mantenendo costanti tutti gli altri predittori (clausola ceteris paribus).
Varianza e Errore Standard degli Stimatori
Per eseguire l’inferenza, è necessario conoscere la varianza degli stimatori.
Matrice di Varianza-Covarianza
La matrice di varianza-covarianza degli stimatori OLS è data da:
$$\mathbf{Cov(\hat{\beta})} = \sigma^2 (\mathbf{X}^T \mathbf{X})^{-1}$$
Errore Standard ($SE$)
L’Errore Standard del coefficiente $\hat{\beta}_j$ è la radice quadrata dell’elemento sulla diagonale principale della matrice $\mathbf{Cov(\hat{\beta})}$. Esso quantifica l’incertezza dello stimatore:
$$\mathbf{SE}(\hat{\beta}j) = \sqrt{\mathbf{Cov(\hat{\beta})}{j, j}}$$
Inferenza Statistica (Test di Ipotesi $t$)
Il Test $t$ di Student è il metodo standard per verificare la significatività di ciascun predittore $X_j$ individualmente.
- Ipotesi Nulla ($H_0$): Non c’è relazione significativa. $H_0: \beta_j = 0$
- Ipotesi Alternativa ($H_1$): Esiste una relazione. $H_1: \beta_j \neq 0$
La Statistica Test $t$ è calcolata come:
$$\mathbf{t}_{j} = \frac{\hat{\beta}_j – 0}{\mathbf{SE}(\hat{\beta}_j)}$$
La statistica $t$ segue una distribuzione $t$ di Student con $n – k – 1$ gradi di libertà.
Intervalli di Confidenza
Un Intervallo di Confidenza (IC) per $\beta_j$ fornisce un intervallo di valori plausibili. Se l’intervallo non contiene zero, il coefficiente è considerato significativo.
$$IC_{95\%} (\beta_j) = \hat{\beta}j \pm t{\alpha/2} \cdot \mathbf{SE}(\hat{\beta}_j)$$
Esempio Concreto: Prevedere la Spesa per Consumi
Consideriamo un modello di regressione multipla per prevedere la Spesa annuale per consumi ($Y$) basato su due predittori: Popolazione ($X_1$) e Tasso di Disoccupazione ($X_2$).
Risultati della Regressione (Sintesi del Test $t$, $n=41$):
| Coefficiente | Stima ($\hat{\beta}$) | Errore Standard ($SE$) | Stat $t$ | $p$-value |
|---|---|---|---|---|
| Intercetta ($\beta_0$) | $-11478.92$ | $638.10$ | $-17.99$ | $0.000$ |
| Popolazione $X_1$ ($\beta_1$) | $3.2$ | $1.5$ | $2.13$ | $0.039$ |
| Tasso Disoccupazione $X_2$ ($\beta_2$) | $-0.45$ | $0.80$ | $-0.56$ | $0.580$ |
Analisi della Significatività (Livello $\alpha = 0.05$):
- Predittore Popolazione ($X_1$):
- Risultato: $p$-value $= 0.039$. Poiché $0.039 < 0.05$, rifiutiamo $H_0$ ($\beta_1 = 0$).
- Conclusione: La Popolazione è statisticamente significativa. Un aumento di 1.000 persone nella Popolazione è associato a un aumento medio di 3.2 unità nella Spesa per Consumi, mantenendo il Tasso di Disoccupazione costante.
- Predittore Tasso Disoccupazione ($X_2$):
- Risultato: $p$-value $= 0.580$. Poiché $0.580 > 0.05$, non possiamo rifiutare $H_0$ ($\beta_2 = 0$).
- Conclusione: Il Tasso di Disoccupazione non è statisticamente significativo in questo modello. Non c’è abbastanza evidenza per concludere che questo predittore abbia un effetto non nullo sulla Spesa per Consumi.