regresyon

Regresyon, bağımlı değişken ile bir veya daha fazla bağımsız değişken arasındaki ilişkiyi nicel olarak modelleyen istatistiksel bir yöntemdir. Amaçlar arasında tahmin yapmak, ilişkinin şeklini ve gücünü incelemek ile nedensel etkileri hakkında çıkarımlar yürütmek bulunur. Basit doğrusal regresyonda Y = β0 + β1X + ε şeklinde, çoklu regresyonda ise birden çok bağımsız değişkenle katsayılar en küçük kareler yöntemiyle tahmin edilir.

Türler ve uygulama alanları

Doğrusal regresyon en temel türüdür. Bunun ötesinde çoklu regresyon, zaman serileriyle regresyon, panel verisi regresyonu gibi genişletilmiş yaklaşımlar vardır. Logistik regresyon, bağımlı değişkenin ikili veya kategorik olduğu durumlarda kullanılan bir genelleştirilmiş doğrusal modelidir. Doğrusal olmayan regresyon, doğrusal ilişki varsayımı karşılanmadığında kullanılır. Genelleştirilmiş doğrusal modeller (GLM) çerçevesinde farklı dağılımlar ve bağlantı fonksiyonları mümkündür. Uygulama alanı geniştir: ekonomi, biyoloji, mühendislik, sosyal bilimler ve daha fazlası.

Tahmin ve çıkarsama

En yaygın tahmin yöntemi en küçük kareler (OLS)dır. Model uyumunu değerlendirirken R-kare ve düzeltilmiş R-kare, F-istatistiği gibi ölçütler kullanılır. Katsayıların anlamlılığı için p-değerleri ve güven aralıkları rapor edilir. Modelin geçerliğini etkileyen sorunlar arasında çoklu bağlantı (multicollinearity), heteroskedastisite, hata terimlerinin bağımsızlığı ve normalliği gibi varsayımlar yer alır. Endojenlik ve değişken seçimi yanlılığı da dikkat gerektirir.

Regularizasyon ve model seçimi

Aşırı uyum riskine karşı ridge, lasso ve elastic net gibi regularizasyon teknikleri uygulanabilir. Çapraz doğrulama, AIC/BIC gibi bilgiler kullanılarak model seçimleri yapılır. Amacın basit ve genellenebilir bir model olması hedeflenir.

Yazılım ve kaynaklar

R ve Python (statsmodels, scikit-learn), SAS, SPSS başlıca araçlardır. Regresyon, temel veri analizi kapsamında sık kullanılan bir yöntemdir.