L’Analisi delle Componenti Principali (PCA) è una tecnica di algebra lineare che migliora l’efficienza e la stabilità dei modelli predittivi (come la regressione). Non ha variabili dipendenti ($\mathbf{Y}$), ma agisce sulle variabili indipendenti ($\mathbf{X}$) per eliminare la ridondanza informativa (multicollinearità).
L’Obiettivo Aziendale: Efficienza Informativa
La PCA sintetizza le $p$ variabili originali (spesso correlate) in un numero più piccolo ($m$) di nuove variabili non correlate (Componenti Principali), conservando la maggior parte della Varianza Totale. Questo riduce i costi computazionali e previene l’instabilità nei modelli di regressione successivi.
Esempio Pratico: Dataset di Marketing
Utilizziamo un set di $n=5$ osservazioni e $p=3$ variabili altamente correlate che saranno usate per prevedere un’ipotetica $\mathbf{Y}$ (Profitti):
| Oss. $i$ | $\mathbf{X_1}$ (Spesa Pubblicità – k€) | $\mathbf{X_2}$ (Click – Migliaia) | $\mathbf{X_3}$ (Vendite Totali – k€) |
|---|---|---|---|
| 1 | 5 | 10 | 15 |
| 2 | 2 | 4 | 7 |
| 3 | 7 | 15 | 20 |
| 4 | 3 | 6 | 9 |
| 5 | 8 | 18 | 25 |
Fasi dell’Analisi delle Componenti Principali (PCA)
Fase I: Preparazione e Standardizzazione (Calcolo di $\mathbf{R}$)
Si preparano i dati grezzi, standardizzandoli (Z-score) per rimuovere le differenze di scala. Si calcola la Matrice di Correlazione ($\mathbf{R}$), che è la matrice di varianza/covarianza dell’analisi.
- Calcolo Medie e DS:
- $\bar{X}_1 = 5,0$; $\text{DS}_1 \approx 2,55$
- $\bar{X}_2 = 10,6$; $\text{DS}_2 \approx 5,81$
- $\bar{X}_3 = 15,2$; $\text{DS}_3 \approx 7,33$
- Standardizzazione (Z-score): Conversione di $\mathbf{X}$ nella Matrice Standardizzata ($\mathbf{Z}$).
$$\mathbf{Z} = \begin{pmatrix} 0,00 & -0,10 & -0,03 \\-1,18 & -1,14 & -1,12 \\ 0,78 & 0,76 & 0,65 \\ -0,78 & -0,79 & -0,85 \\ 1,18 & 1,27 & 1,34 \end{pmatrix}$$ - Matrice di Correlazione ($\mathbf{R}$): Il punto di partenza. La Varianza Totale è $\text{Traccia}(\mathbf{R}) = 1+1+1 = \mathbf{3,0}$.
$$\mathbf{R} = \frac{1}{n-1} \mathbf{Z}^T \mathbf{Z} \approx \begin{pmatrix} \mathbf{1,00} & 0,98 & 0,99 \\ 0,98 & \mathbf{1,00} & 1,00 \\ 0,99 & 1,00 & \mathbf{1,00} \end{pmatrix}$$
Fase II: Scomposizione e Decisione
Si calcolano gli autovalori ($\lambda$) (varianza spiegata) e gli autovettori ($\mathbf{v}$) (nuove direzioni, o CP). Si decide quante Componenti Principali (CP) mantenere per raggiungere una soglia di varianza (es. $90\%$), scartando l’informazione ridondante.
4. Calcolo degli Autovalori ($\lambda$): La Decomposizione Spettrale
Il calcolo degli autovalori è il cuore della PCA e serve a trovare gli scalari ($\lambda$) che soddisfano l’equazione fondamentale, nota come equazione caratteristica.
A. L’Equazione Fondamentale
Si parte dalla relazione $\mathbf{R} \mathbf{v} = \lambda \mathbf{v}$. Per risolvere per $\lambda$ e $\mathbf{v}$, si riscrive l’equazione introducendo la matrice identità ($\mathbf{I}$):
$$(\mathbf{R} – \lambda \mathbf{I}) \mathbf{v} = \mathbf{0}$$
B. Risoluzione tramite Determinante
Affinché esista una soluzione non banale (un autovettore $\mathbf{v}$ non nullo), la matrice $(\mathbf{R} – \lambda \mathbf{I})$ deve essere singolare. Questo porta all’Equazione Caratteristica:
$$\det(\mathbf{R} – \lambda \mathbf{I}) = 0$$
C. Struttura del Determinante
Per la tua matrice di correlazione ($\mathbf{R}$) $3 \times 3$, la matrice da cui calcolare il determinante è:
$$\mathbf{R} – \lambda \mathbf{I} = \begin{pmatrix} 1-\lambda & r_{12} & r_{13} \\ r_{21} & 1-\lambda & r_{23} \\ r_{31} & r_{32} & 1-\lambda \end{pmatrix}$$
Risolvere $\det(\mathbf{R} – \lambda \mathbf{I})$ fornisce un polinomio di terzo grado in $\lambda$.
D. Il Risultato: I Tre Autovalori
Le tre radici del polinomio sono gli autovalori ($\lambda_1, \lambda_2, \lambda_3$), che indicano la varianza spiegata da ciascuna Componente Principale.
$$\mathbf{Risoluzione} \implies \begin{cases} \mathbf{\lambda_1 = 2,4} & \text{(80\% della varianza totale)} \\ \mathbf{\lambda_2 = 0,5} & \text{(16,7\% della varianza totale)} \\ \mathbf{\lambda_3 = 0,1} & \text{(3,3\% di rumore/varianza residua)} \end{cases}$$
| Autovalore ($\lambda_i$) | Varianza Spiegata | Varianza Cumulata |
|---|---|---|
| $\mathbf{\lambda_1 = 2,4}$ | $80,0\%$ | $80,0\%$ |
| $\mathbf{\lambda_2 = 0,5}$ | $16,7\%$ | $\mathbf{96,7\%}$ |
| $\mathbf{\lambda_3 = 0,1}$ | $3,3\%$ | $100,0\%$ |
5. Calcolo degli Autovettori ($\mathbf{v}$): Le Componenti Principali
Gli autovettori ($\mathbf{v}$) definiscono i pesi con cui le variabili originali ($\mathbf{X}_1, \mathbf{X}_2, \mathbf{X}_3$) si combinano linearmente per formare le Componenti Principali (CP).
A. L’Equazione per la Soluzione
Per ogni autovalore trovato ($\lambda_i$), si risolve il sistema di equazioni lineari omogeneo:
$$(\mathbf{R} – \lambda_i \mathbf{I}) \mathbf{v}_i = \mathbf{0}$$
B. Normalizzazione
Si sceglie la soluzione (l’autovettore) che ha lunghezza unitaria (o norma pari a 1) per renderla comparabile e interpretabile:
$$|\mathbf{v}i| = \sqrt{v{i1}^2 + v_{i2}^2 + v_{i3}^2} = 1$$
C. Risultati e Interpretazione
Sostituendo i nostri autovalori ($\lambda_1=2,4$ e $\lambda_2=0,5$) si ottengono i due autovettori principali:
| Autovettore | Risultato Vettoriale | Interpretazione |
|---|---|---|
| $\mathbf{v}_1$ (CP1) | $\approx \begin{pmatrix} 0,577 \ 0,577 \ 0,577 \end{pmatrix}$ | Scala/Successo Complessivo: Pesi tutti positivi. La CP1 rappresenta la variazione condivisa da tutte le variabili. |
| $\mathbf{v}_2$ (CP2) | $\approx \begin{pmatrix} 0,577 \ 0,000 \ -0,816 \end{pmatrix}$ | Efficienza di Conversione: Variazione ortogonale. Contrasta $X_3$ (Vendite) con $X_1$ (Spesa), catturando l’efficienza. |
D. La Matrice degli Autovettori Selezionati
Questi autovettori formano la matrice che sarà usata nel Punto 10 (Fase III) per proiettare i dati:
$$\mathbf{V}_{\text{ridotta}} = (\mathbf{v}_1 \mid \mathbf{v}_2) \approx \begin{pmatrix} 0,577 & 0,577 \ 0,577 & 0,000 \ 0,577 & -0,816 \end{pmatrix}$$
Fase III: Proiezione (Calcolo dei Punteggi)
Si proiettano le osservazioni originali (standardizzate) sugli autovettori selezionati per ottenere le nuove coordinate. Il risultato è una matrice di dati ridotta ($\mathbf{S}$), pronta per essere utilizzata in un modello di regressione successivo.
6. Calcolo dei Nuovi Punteggi ($\mathbf{S}$):
Proiettiamo i dati standardizzati ($\mathbf{Z}$) sulla direzione delle CP selezionate.
$$\mathbf{S} = \mathbf{Z} \mathbf{V}_{\text{ridotta}}$$
Nuova Matrice dei Dati (Punteggi CP):
$$\mathbf{S} \approx \begin{pmatrix} -0,07 & 0,02 \\ -1,98 & 0,22 \\ 1,26 & 1,36 \\ -1,40 & 0,27 \\ 2,19 & -1,87 \end{pmatrix}$$
Conclusione della Scrematura
- Decisione: Si scarta la CP3 ($\lambda_3=0,1$), accettando una perdita minima del $3,3\%$ della variabilità totale.
- Risultato: Le 3 variabili originali ($X_1, X_2, X_3$) sono state scremate e sostituite dalle 2 variabili non correlate CP1 e CP2.
- Utilizzo: L’azienda utilizza questi nuovi punteggi (CP1 e CP2) come predittori (variabili indipendenti) in un modello di regressione per prevedere la variabile obiettivo $\mathbf{Y}$, ottenendo un modello più robusto e parsimonioso.