L2regulárizáció

L2 regularizáció, más néven Ridge regularizáció, egy technika a gépi tanulásban, amelyet a modellek túlszalasztásának (overfitting) megelőzésére használnak. A túlszalasztás akkor következik be, amikor egy modell túl jól illeszkedik a tanító adatokhoz, beleértve a zajt is, ami gyenge általánosítást eredményez az új, ismeretlen adatokon.

Az L2 regularizáció a modell veszteségfüggvényéhez egy büntetési tagot ad hozzá. Ez a büntetési tag a modell súlyainak négyzetösszegének arányos. Matematikailag a következőképpen néz ki: L = L_adat + λ * Σ(w_i^2), ahol L az új veszteségfüggvény, L_adat az eredeti veszteségfüggvény (például négyzetes hiba vagy keresztentrópia), λ (lambda) a regularizációs erősségét szabályozó hiperparaméter, és w_i a modell súlyai.

A büntetési tag hozzáadásával a modell arra ösztönözhető, hogy csökkentse a súlyok nagyságát. A nagy súlyok gyakran jelzik, hogy a modell erősen támaszkodik bizonyos jellemzőkre, ami túlszalasztáshoz vezethet. Az L2 regularizáció finoman csökkenti a súlyokat, de általában nem teszi őket pontosan nullává. Ehelyett a súlyokat közelebb hozza nullához.

A λ hiperparaméter kiválasztása kulcsfontosságú. Kisebb λ érték gyengébb regularizációt, míg nagyobb λ érték erősebb regularizációt eredményez. A λ optimális értékét általában keresztvalidációval határozzák meg. Az L2 regularizáció különösen hatékony, ha sok jellemző van, és ezek közül néhány nem különösebben informatív.