Regulárizáció

Regulárizáció a gépi tanulásban, statisztikában és inverz feladatokban alkalmazott módszer, amely a modell komplexitását vagy a megoldás normáinak nagyságát büntető tag hozzáadásával korlátozza. A cél a túlilleszkedés mérséklése és a modell általánosító képességének növelése.

Az általános megközelítés egy vesztességfüggvény módosítása: min_{θ} L(y, f(x; θ)) + λ R(θ), ahol R a regulárizációs büntető, λ pedig a szabályozó paraméter. A büntető tagnak megfelelő kiválasztásával különböző hatások érhetők el a modell összetettségére.

Gyakori formák közé tartozik:

- L2-regulárizáció (ridge vagy Tikhonov): R(θ) = ||θ||2^2, amely a paraméterek nagyságát bünteti és stabilizálja a megoldást.

- L1-regulárizáció (lasso): R(θ) = ∑|θ_j|, amely sparsity-t eredményezhet, vagyis egyes paramétereknek kizárólag 0 értéket adhat.

- Elastic net: R(θ) = α||θ||1 + (1-α)/2 ||θ||2^2, kombinálva a sparsity és a shrinkage előnyöket.

Megfontolások és alkalmazások: a regulárizáció jellemzően segít csökkenteni a modell varianciáját és javítja az általánosítóképességet, különösen sok jellemző/kollineáris adatok esetén. Olykor illeszkedési problémákat is kezel, például inverz feladatoknál.

Kiválasztása gyakran a λ érték meghatározásán múlik: kereszt-ellenőrzés, információs kritériumok, L-curve vagy diszkrepancia-elv alapján. Használati területek közé tartozik a lineáris és logisztikus regresszió, képfeldolgozás, jel- és képrekonstrukciók, valamint általános gépi tanulási modellek.