regresji

Regresja, w statystyce i analizie danych, odnosi się do techniki opisującej zależność między jedną zmienną zależną a jedną lub większą liczbą zmiennych niezależnych. Celem regresji jest oszacowanie parametrów modelu tak, aby możliwie najlepiej wyjaśnić lub przewidzieć wartość zmiennej zależnej na podstawie wartości zmiennych niezależnych.

Najprostsza forma to regresja liniowa, w której zależność jest opisana linią; regresja wieloraka rozciąga to na kilka predyktorów. Istnieją także modele nieliniowe, regresja czasowa oraz regresja logistyczna i inne modele z rodziny ogólnych modeli liniowych (GLM), stosowane do prognozowania wartości lub do klasyfikowania wyników.

Parametry szacuje się zwykle metodą najmniejszych kwadratów lub maksymalnej wiarygodności. W analizie regresji ważne są założenia dotyczące liniowości, niezależności i homoskedastyczności reszt oraz, w niektórych metodach, normalności rozkładów reszt. Dobre dopasowanie ocenia się m.in. poprzez współczynnik determinacji R-kwadrat i testy istotności.

Współistniejące z regresją techniki obejmują regresję ridge (regresja z regularizacją), regresję Lasso i elastic-net, które pomagają przeciwdziałać wielokrotnej kolinearności i nadmiernemu dopasowaniu. W praktyce stosuje się także metody nieparametryczne (splajny, regresję jądrową) i walidację krzyżową.

Regresja znajduje zastosowanie w ekonomii, socjologii, medycynie, inżynierii i biologii. Jej korzenie sięgają prac Gaussa i Legendre nad metodą najmniejszych kwadratów oraz pojęcia regresji w badaniach Galtona o regresji ku średniej.