regressionsmetoder

Regressionsmetoder är statistiska tekniker som används för att modellera sambandet mellan en beroende variabel och en eller flera oberoende variabler med syfte att förutsäga utfall eller förstå hur variabler påverkar varandra.

Bland de vanligaste metoderna finns linjär regression (ofta kallad OLS, ordinary least squares) där det antar ett linjärt förhållande mellan variablerna och normalfördelade felkvantiteter. Generaliserade linjära modeller (GLM) inkluderar logistisk regression för binära utfall och Poisson-regression för räkneutdata. Icke-linjär regression som polynomregression eller splinregression tillåter icke-linjära samband. Mer flexibla varianter som generalized additive models (GAM) kombinerar linjära komponenter med icke-linjära funktioner.

Regressionsmetoder kan även kompletteras med regularisering för att hantera överfitting och multikollinearitet. Ridge-regression (L2), lasso-regression (L1) och elastic net kombinerar straff på storleken av koefficienterna. Robust regression används när data innehåller outliers eller avvikande observationer. För multivariat respons finns tekniker som PLS-regression och andra metoder som hanterar flera beroende variabler samtidigt.

Estimering sker vanligtvis genom minimering av en kostnadsfunktion. OLS-estimering minimerar summan av kvadrerade residualer, medan GLM ofta baseras på maximum likelihood. Regularisering inför strafftermer i kostnadsfunktionen. Viktiga antaganden för OLS är linjärt samband, oberoende fel, homoskedasticitet och normalfördelade fel för inferens.

Utvärdering av modellerna sker med mått som R-kvadrat, justerad R-kvadrat, MSE, RMSE och MAE, samt information som AIC/BIC för jämförelse. Diagnostik omfattar residualanalyser, tester för heteroskedasticitet och multikollinearitet, samt identifiering av influensanalys som Cook’s distance.

Regressionsmetoder används inom många fält, där valet av metod påverkas av utfallsart, datamängd och antaganden. Behovet av tolkbarhet och tolkningen av kausalitet påverkar även metodvalet.