L2reglarisering

L2reglarisering, også kjent som ridge-regulering, er en teknikk innen statistikk og maskinlæring som brukes for å redusere overtilpasning ved å legge en straff på størrelsen av vektene i en modell. Den vanligste formen innebærer å minimere en kombinasjon av feilloss og en L2-norm av vekter vektor w: L(β) = Loss(β) + λ Σ_i β_i^2. λ er regulariseringsparameteren som styrer straffen; større λ gir kraftigere nedbrytning av vektene. Vanlig praksis er å ekskludere konstantleddet fra straffen, og å standardisere dataene før regulering.

Regulariseringen reduserer modellens varians og bidrar til bedre numerisk stabilitet, spesielt ved multikollinearitet blant forklaringsvariabler. Den fører ikke nødvendigvis til sparsomme koeffisienter som L1-regulering gjør; i stedet blir vektene nærmere null, men ofte ikke eksakt null.

Anvendelser: I linear regression omtales metoden som ridge regression; i logistisk regresjon og andre klassifikasjonsmodeller brukes tilsvarende L2-regularisering, også kalt weight decay i nevrale nettverk. Elastic net kombinerer L2 med L1 for å oppnå både regularisering og sparsitet.

Parametervalg: λ velges vanligvis gjennom kryssvalidering eller informasjonskriterier. For best resultat bør funksjonene standardiseres før anvendelse.

Historie: Ridge-regresjon ble introdusert av Hoerl og Kennard i 1970 og har siden blitt en av de mest brukte regulariseringsteknikkene i moderne modellbygging.

---