Il corretto sviluppo di anche solo un banalissimo modello di regressione lineare pu\u00f2 fare un enorme differenza tra un lavoro di ricerca \u201cfarlocco\u201d e un lavoro, invece, metodologicamente inattaccabile. E uno dei milestones che ci vengono insegnati quando impariamo a sviluppare modelli multivariati \u00e8 quello di evitare la multicollinearit\u00e0 tra le variabili.<\/p>\n
Un breve ripasso: la multicollinearit\u00e0 \u00e8 un problema dovuto alla eccessiva correlazione tra due variabili esplicative all\u2019interno di un modello predittivo<\/strong>. Ad esempio \u201cPeso\u201d e \u201cPercentuale di massa grassa\u201d sono spesso fortemente correlate per cui utilizzarle insieme come predittori di una variabile dipendente (ad esempio: concentrazione di colesterolo ematico) risulterebbe ridondanter, dal momento che \u201cPeso\u201d e \u201cPercentuale di massa magra\u201d vanno a spiegare la stessa \u201cfetta di variabilit\u00e0\u201d della colesterolemia.<\/p>\n Il problema \u00e8 che questa \u201cridondanza\u201d ha effetti sul modello assolutamente da evitare:<\/strong> Il metodo pi\u00f9 universalmente condiviso per verificare se una variabile nel tuo modello \u00e8 affetta da multicollinearit\u00e0 \u00e8 la misura del suo VIF (Fattore di Inflazione della Varianza).<\/p>\n Questo VIF altro non \u00e8 che la misura di quanto la varianza del coefficiente in questione aumenta rispetto a quello che sarebbe il suo valore se la variabile non fosse correlata alle altre variabili. E come si calcola questo VIF?<\/strong> Dove R2 \u00e8 l\u2019R-quadro ottenuto dalla regressione in cui la variabile dipendente (la \u201cY\u201d) \u00e8 il predittore di cui stiamo analizzando la \u201cpresunta multicollinearit\u00e0\u201d, e le variabili indipendenti sono tutte le variabili considerate nel modello.<\/p>\n Lo so, il problema \u00e8 un po\u2019 \u201cintricato\u201d ma l\u2019obiettivo del post \u00e8 quello di capire quando possiamo ignorare questo problema di multicollinearit\u00e0 nei nostri lavori.<\/p>\n Il primo caso in cui possiamo ignorare l\u2019eventuale multicollinearit\u00e0 si presenta quando una variabile \u00e8 una funzione di un\u2019altra variabile.<\/p>\n Classico caso: una interazione tra due variabili. Se in un modello multivariato inserisci come predittori \u201ca\u201d, \u201cb\u201d e la loro interazione, \u201ca x b\u201d, \u00e8 chiaro che \u201ca x b\u201d sar\u00e0 correlato ad \u201ca\u201d e a \u201cb\u201d. In questo caso \u00e8 possibile ridurre la correlazione \u201ccentrando\u201d le variabili \u201ca\u201d e \u201cb\u201d. Se non sai cosa significhi centrare una variabile leggi pure questo breve post sulla centratura delle variabili<\/a>. Tuttavia, che tu centri o meno le variabili, il p-value del prodotto \u201ca x b\u201d rimane identico. Questa stabilit\u00e0 del p-value dell\u2019interazione \u00e8 importante perch\u00e9 la centratura diventa, perci\u00f2, necessaria solo quando si \u00e8 interessati a interpretare anche l\u2019effetto principale di \u201ca\u201d, di \u201cb\u201d o di tutti e due e non solo della loro interazione \u201ca x b\u201d .<\/p>\n In questo caso l\u2019effetto principale \u201ccentrato\u201d viene interpretato allo stesso identico modo: la variazione della variabile indipendente al variare di una unit\u00e0 della variabile centrata (quando parliamo di un modello lineare).<\/p>\n Per cui in questo caso il problema della multicollinearit\u00e0 \u00e8 assolutamente ignorabile. Lo stesso vale per altri tipi di funzioni, come ad esempio la collinearit\u00e0 all\u2019interno dello stesso modello di una variabile con il suo quadrato (\u201ca\u201d e \u201ca2\u201d).<\/p>\n Il secondo caso riguarda l\u2019utilizzo delle variabili affette da multicollinearit\u00e0. Se queste variabili sono esclusivamente dei confondenti utilizzati per aggiustare le stime delle variabili di tuo reale interesse, allora il problema pu\u00f2 essere ignorato, dal momento che i coefficienti delle altre variabili non viene coinvolto.<\/p>\n Terzo caso: il problema della collinearit\u00e0 lo puoi ignorare quando hai una variabile categorica con pi\u00f9 di due modalit\u00e0 (ad esempio colore degli occhi con 4 modalit\u00e0: neri, azzurri, verdi, castani) e in cui la variabile di riferimento ha una scarsa frequenza.<\/p>\n Diciamo che, ad esempio, che la tua categoria di riferimento sia \u201cocchi azzurri\u201d ma che essa abbia una frequenza pi\u00f9 bassa rispetto alle altre modalit\u00e0, ad esempio il 5%. Le altre frequenze sono, invece: occhi neri, 25%; occhi verdi, 10%; occhi castani, 60%).<\/p>\n In questo caso le altre tre categorie possono essere risultare affette da multicollinearit\u00e0 e mostrare, perci\u00f2, alti VIF e p-values.<\/p>\n La cosa interessante, per\u00f2, \u00e8 che il test \u201coverall\u201d per la variabile categorica \u201ccolore degli occhi\u201d rimane inalterato, come rimane inalterato tutto il resto dei parametri del modello di regressione. In questo caso quello che devi fare \u00e8 semplicemente usare una categoria maggiormente rappresentata come riferimento (nel tuo caso, ad esempio, \u201cocchi castani\u201d, che \u00e8 quella pi\u00f9 frequente (60%) per avere la risoluzione del problema e ottenere, cio\u00e8, VIF e p-values inferiori.<\/p>\n Infine, il problema della collinearit\u00e0 andrebbe sempre prevenuto riducendo il numero di variabili all\u2019interno del modello<\/strong>. Sposa il principio del “rasoio di Occam<\/a>“: usa sempre il numero inferiore possibile di variabili<\/strong>, facendo attenzione a se e quanto aumento la predittivit\u00e0 del tuo modello aggiungendo ulteriori variabili. Nella pratica quello che puoi fare \u00e8, aggiungendo una variabile alla volta, valutare se hai un aumento di R-quadro di almeno del 10%. Se hai un modello con R-quadro di 0,4 e aggiungendo un nuova variabile al tuo modello il tuo R-quadro non sale almeno a 0,5, la variabile che stai considerando di aggiungere va a complicare eccessivamente il modello senza far incrementare predittivit\u00e0. Meglio ancora: invece di valutare l\u2019R-quadro, valuta l\u2019 R-quadro aggiustato<\/strong> (negli output dei programmi di statistica lo trovi quasi sempre come \u201cadjusted R-squared\u201d) che \u00e8 il valore di R-quadro \u201cripulito\u201d dall\u2019eccesso di variabili inutili introdotte nel modello (non \u00e8 proprio cos\u00ec, ma ci dedicher\u00f2 un post ad hoc \ud83d\ude09 )<\/p>\n Ciao!<\/p>\n","protected":false},"excerpt":{"rendered":"
\n1. gli standard error dei coefficienti di regressione delle variabili correlate diventano pi\u00f9 ampi; le stime, cio\u00e8, diventano meno precise;<\/strong>
\n2. i coefficienti sono instabili e possono cambiare (anche di segno) in seguito a lievi modifiche della struttura del modello.<\/strong><\/p>\n
\nSe ad esempio il VIF relativo a una delle tue variabili fosse 1.7, questo vorrebbe dire che la varianza del coefficiente della tua variabile in questione aumenta del 70% rispetto al valore che la varianza avrebbe se la variabile non fosse correlata alle altre variabili.<\/p>\n
\nLa formula \u00e8 questa:<\/strong>
\nVIF= 1\/(1-R2)<\/strong><\/p>\nQuando possiamo ignorare il problema della multicollinearit\u00e0?<\/h1>\n
Quando due variabili sono una funzione dell\u2019altra<\/h2>\n
Quando non ci interessa l\u2019interpretazione delle variabili affette da multicollinearit\u00e0<\/h2>\n
Quando la multicollinearit\u00e0 compare per una categoria di riferimento poco frequente (nel caso di variabili categoriche)<\/h2>\n
Una regola aurea: previeni quando possibile la multicollinearit\u00e0<\/h2>\n