Regresjonsanalyser

Regresjonsanalyser er statistiske metoder som undersøker forholdet mellom en avhengig variabel og en eller flere uavhengige variabler. Hovedmålet kan være å forklare variasjonen i den avhengige variabelen eller å forutsi nye verdier.

Den vanligste formen er lineær regresjon, der Y = β0 + β1X1 + ... + ε. Koeffisientene anslås med minste kvadraters metode (OLS). Forutsetningene inkluderer linearitet, uavhengighet mellom observasjoner, homoskedastisitet og normalfordelte feil, samt ikke-perfekt multikollinearitet.

Flere varianter: multippel regresjon (flere forklaringsvariable), logistisk regresjon for binære utfall, Poissonregresjon for telledata, og andre GLM-varianter.

Estimering og tolkning: koeffisientene gir forventet endring i den avhengige variabelen per enhet endring i en forklaringsvariabel, hold de andre konstant. Goodness-of-fit: R-kvadrert, justert R2, F-test, samt prediksjons- og konfidensintervaller. Modellvalgets aspekt: variabelvalg, AIC/BIC, kryssvalidering.

Diagnostikk: residualanalyse, heteroskedastisitet, outliers, influens; risiko for overtilpasning.

Utvidelser: regulariseringsteknikker som ridge, lasso og elastic net, samt ikke-linære og ikke-parametriske tilnærminger som GLM og Generalized Additive Models.

Anvendelser: økonomi, helse, samfunnsvitenskap, naturfag.

Regresjonsanalyser gir ikke bevis for årsakssammenheng; resultatene avhenger av data og modellantakelser.