Regularizáció

Regularizáció a gépi tanulásban és a statisztikában olyan technikák összessége, amelyek a modellek komplexitását mérsékelik a túlilleszkedés elkerülése érdekében. A tanítási célfüggvényhez büntető tagot adnak, ami a paraméterek nagyságát vagy számát korlátozza. A büntetés mértékét gyakran lambda nevű hiperparaméterrel állítják be.

A leggyakoribb formák közé tartozik az L2-szabályozás (ridge) λ‖w‖2^2 és az L1-szabályozás (lasso) λ‖w‖1. Gyakran alkalmazzák ezeket kombinálva elastic net formájában. Invertáló problémákban a Tikhonov-szabályozás is ismert. Az L1 büntetés sparsity-t eredményez, az L2 pedig a koefficiensek simított értékeit hozza.

Gyakorlati hatás: a regularizáció csökkenti a varianciát, növelve az általánosíthatóságot, de torzítást is bevihet. A megfelelő lambda kiválasztását keresztvalidációval vagy információs kritériumokkal végzik. A neurális hálózatokban a weight decay és a korai megállítás is megfeleltethető regulárizációnak.

Értelmezés szerint a regularizáció mögött gyakran Bayes-kontempláció áll: L2 a normál prior, L1 a Laplace-prior. Ez a megközelítés segít megmagyarázni a büntetést és a paraméterek sűrítését.

Összegzés: a regularizáció fontos eszköz a stabilabb és általánosabb modellek eléréséhez. Helytelen alkalmazásával pedig alul- vagy túltanulás is felléphet.