I modelli di regressione non lineari possono comunque essere risolti tramite l’algebra lineare se sono lineari nei parametri. Questa distinzione è cruciale: se un modello può essere riscritto in una forma dove i parametri ($\mathbf{\beta}$) compaiono linearmente, l’approccio matriciale OLS è valido.
INDICE
1. L’Applicabilità dell’Algebra Lineare
La soluzione OLS $\mathbf{\hat{\beta} = (X^T X)^{-1} X^T Y}$ richiede che la relazione sia espressa come $\mathbf{Y} = \mathbf{X}^* \mathbf{\beta} + \mathbf{\epsilon}$, dove la matrice di disegno $\mathbf{X}^*$ è costruita con trasformazioni dei dati originali. Questo risolve una vasta gamma di modelli di regressione non lineare.
2. Esempio 1: Modello Parabolico (Polinomiale)
Questo modello è non lineare nella variabile $X$ ($X^2$) ma lineare nei parametri $\beta$.
Forma del Modello:
$$Y = \beta_0 + \beta_1 X + \beta_2 X^2 + \epsilon$$
Dati di Esempio (5 Osservazioni): $X = {1, 2, 3, 4, 5}$ e $Y = {5, 2, 1, 2, 5}$.
Calcolo dei Coefficienti OLS
Il modello viene espresso come $\mathbf{Y = X\beta + \epsilon}$, dove $\mathbf{X}$ include la colonna $X^2$.
$$\mathbf{Y} = \begin{pmatrix} 5 \ 2 \ 1 \ 2 \ 5 \end{pmatrix} \quad \mathbf{X} = \begin{pmatrix} 1 & 1 & 1 \ 1 & 2 & 4 \ 1 & 3 & 9 \ 1 & 4 & 16 \ 1 & 5 & 25 \end{pmatrix}$$
Passo 1: Calcolo di $\mathbf{X^T X}$
$$\mathbf{X^T X} = \begin{pmatrix} 5 & 15 & 55 \ 15 & 55 & 225 \ 55 & 225 & 979 \end{pmatrix}$$
Passo 2: Calcolo di $\mathbf{X^T Y}$
$$\mathbf{X^T Y} = \begin{pmatrix} 15 \ 45 \ 179 \end{pmatrix}$$
Passo 3: Risoluzione
La soluzione numerica che minimizza la SSE è:
$$\mathbf{\hat{\beta} = (X^T X)^{-1} X^T Y} = \begin{pmatrix} 7 \ -4 \ 1 \end{pmatrix}$$
Il modello di regressione ottenuto è: $\mathbf{\hat{Y} = 7 – 4X + X^2}$.
3. Esempio 2: Modello Esponenziale (Log-Lineare)
Questo tipo di relazione richiede una trasformazione logaritmica per essere linearizzato.
Forma Non Lineare: $Y = \alpha X^{\beta_1} \epsilon$.
Linearizzazione: Applicando $\ln$, si ottiene la forma lineare nei parametri:
$$\underbrace{\ln(Y)} = \underbrace{\ln(\alpha)} + \underbrace{\beta_1} \underbrace{\ln(X)} + \epsilon^*$$
$$\underbrace{\ln(Y)}{Y^*} = \underbrace{\beta_0} + \underbrace{\beta_1} \underbrace{X^*} + \epsilon^*$$
Costruzione della Matrice: Il vettore delle risposte diventa $\mathbf{Y^}=\ln(\mathbf{Y})$, e la Matrice di Disegno $\mathbf{X^}$ include la colonna $\mathbf{X^*}=\ln(\mathbf{X})$.
$$\mathbf{X^*} = \begin{pmatrix} 1 & \ln(1) \ 1 & \ln(2) \ \vdots & \vdots \end{pmatrix}$$
Anche in questo caso, la stima dei parametri è risolta dall’algebra lineare.
Conclusioni
Il potere dell’algebra lineare in statistica consente di affrontare una vasta gamma di modelli di regressione non lineari, purché siano trasformabili nella forma lineare nei parametri richiesta dal metodo OLS.
IMPARA LA STATISTICA
Comincia un fantastico viaggio alla scoperta di questa affascinante materia partendo da zero.
Si comincia dalla statistica descrittiva, passando per le probabilità si arriva all’inferenza.
Comincia subito il tuo percorso e migliora le tue abilità.