regressieanalyses

Regressieanalyses zijn statistische methoden om de relatie tussen een afhankelijke variabele en een of meer onafhankelijke variabelen te modelleren. Het doel is om kwantitatieve schattingen van de effecten te verkrijgen, de afhankelijkheid te begrijpen en, indien mogelijk, voorspellingen te doen voor nieuwe waarnemingen.

De familie van regressiemodellen omvat onder meer lineaire regressie (OLS) voor continue uitkomsten; gegeneraliseerde lineaire modellen (GLM) zoals logistieke regressie voor binaire uitkomsten en Poisson- of negatieve binomiale regressie voor tellingen; en survivalanalyse zoals Cox-regressie voor tijd tot gebeurtenis. Niet-lineaire relaties kunnen worden aangepakt met polynomialen, splines of generalized additive models. Regularisatie (ridge, lasso, elastic net) helpt bij multicollineariteit en variabele selectie.

De parameters worden geschat met de kleinste-kwadratenmethode voor lineaire regressie en met maximum-likelihood (ML) bij GLM’s. Modelevaluatie gebeurt met maatstaven als R-kwadraat en aangepaste R-kwadraat bij lineaire modellen; voor classificatiemodellen: nauwkeurigheid, sensitiviteit, specificiteit en AUC; informatiecriteria zoals AIC/BIC; en deviance. Diagnostiek omvat residu‑analyse, inspectie van invloedrijke waarnemingen en multicollineariteit (VIF); validatie via kruisvalidering of externe datasets.

Aannames hangen af van het model; bij OLS wordt verondersteld dat de relatie lineair is, de waarnemingen onafhankelijk zijn, de residuen homoscedastisch en normaal verdeeld. Voor GLM-achtige modellen gelden variatie- en koppellink-aannames. Gevoelige causale interpretatie vereist experimenteel ontwerp of aanvullende causale methoden; regressie toont associaties, geen onweerlegbare causaliteit.

Toepassingen van regressieanalyses zijn breed: economie, epidemiologie, sociale wetenschappen en engineering. Beperkingen omvatten missende variabelen, meetfouten, modelmisspecifkatie en overfitting; daarom is validatie en het gebruik van robuuste methoden aanbevolen.