Multicollineariteit

Multicollineariteit is een verschijnsel in regressieanalyse waarbij twee of meer verklarende variabelen sterk met elkaar samenhangen. Dit maakt het lastig om de afzonderlijke invloed van elke variabele op de afhankelijke variabele vast te stellen, omdat variabelen informatie over dezelfde onderliggende constructie bevatten.

In OLS-regressie leidt multicollineariteit vaak tot onbetrouwbare geschatte coëfficiënten: de standaardfouten nemen toe, de t-waarden dalen en de interpretatie van de individuele predictoren kan ronduit wisselen bij kleine veranderingen in de data. Een model kan nog steeds goede voorspellende prestaties leveren, maar de schattingen van de afzonderlijke effecten worden minder betrouwbaar.

Oorzaken zijn onder meer het opnemen van sterk gerelateerde variabelen, het meten van verschillende maten van hetzelfde concept, of deterministische afhankelijkheid tussen variabelen. Een veelgebruikte indicatie is een hoge correlatie tussen verklarende variabelen, maar formeler worden statistische maten zoals de tolerance en de Variance Inflation Factor (VIF) geraadpleegd.

Detectie kan via verschillende methoden: inspectie van de correlatiematrix, berekening van de VIF (een VIF boven circa 5 tot 10 wijst op mogelijk problematische multicollineariteit) en analyse van de condition number van de modelmatrix (bijvoorbeeld groter dan 30 duidt op ernstige problemen). Ook de determinant van de covariantiematrix en de eigenwaarden kunnen aanwijzingen geven.

Oplossingen variëren afhankelijk van de situatie: variabelen die sterk overlappen kunnen worden verwijderd of samengevoegd, de modelspecificatie kan worden herzien, of men kan voorwaarts een dimensionaliteitsreductie toepassen zoals principal component regression of Partial Least Squares. Regelmatigeisatie-technieken zoals ridge- of lasso-regressie kunnen ook helpen.

Samenvattend hoeft multicollineariteit niet altijd te worden gecorrigeerd voor voorspellende doeleinden, maar bij interpretatie van individuele coëfficiënten is aandacht voor dit verschijnsel belangrijk.