Regressioon

Regressioon on statistiline meetod, mille abil uuritakse sõltuva muutuja Y ja ühe või mitme sõltumatu muutuja X vaheliste seoste iseloomu, hinnatakse muutujate mõju ning tehakse prognoose.

Lineaarne regressioon eeldab lineaarset seost Y = β0 + β1X + ε. Kui seos ei ole lineaarne, kasutatakse polünoomset või mittelineaarset regressiooni. Logistiline regressioon (logit) on üld GLM-raad, mida kasutatakse binomiaalsete tulemuste tõenäosuse modelleerimiseks ja klassifitseerimiseks.

Kohandamine ja meetodid: koefitsientide hindamiseks kasutatakse tavaliselt vähima ruutude meetodit. Muud lähenemised hõlmavad maksimaalse tõenäosuse estimatsiooni ning regulaarsusmeetodeid nagu ridge, lasso ja elastic net, mis aitavad hallata mitmest suhteliselt sarnasest muutujast koosnevaid mudeleid ja ennetada ülearu keerukust.

Eeldused ja diagnostika: regressioon eeldab lineaarset või sobivat seost, jääkide sõltumatust ja normaaljaotust ning homoscedasticityt (jääkide konstantset dispersiooni). Ebatäpsed eeldused või anomaaliad, nagu outliers või multikollineaarsus, võivad viia kallutatud või ebapraktiliste tulemusteni.

Hindamine ja tõendamine: mudeli sobivuse hindamiseks kasutatakse R-squaredi ja kohandatud R-squaredi, RMSE või MAE. Koefitsientide tähtsust hinnatakse statistiliste testide ja usaldusintervallide abil. Mudelitene kasutamiseks on oluline läbi viia valideerimine, näiteks ristvalideerimine.

Ajalugu ja rakendused: regressiooni aluseks on 18. sajandi lõpu Gaussi ja Legendre’i tööd vähima ruutude meetodil. Tänapäeval kasutatakse regressiooni laialdaselt majanduses, loodusteadustes, sotsiaalteadustes, inseneriteadustes ja many other fields.

Piirangud: mudelile sobivaima valimine, väljaõppimata eeldused ja andmekvaliteet mõjutavad tulemusi. Outliers, multikollineaarsus ja ülefitsing võivad piirata järelduste usaldusväärsust.