Regulariseringstekniker

Regulariseringsteknikker er metoder som brukes i statistikk og maskinlæring for å redusere risikoen for overtilpasning ved å begrense modellens kompleksitet eller ved å innføre forutinntatte forventninger til parametrene. Hensikten er å forbedre generalisering til ukjent data.

De vanligste tilnærmingene kan deles inn i tre hovedkategorier: parameterregulering, dataregulering og algoritmebasert regulering. Parameterregulering tilfører en straff til tapfunksjonen som avhenger av vektene. Dataregulering omfatter teknikker som data augmentation og støyinnsprøytning i treningsdataene. Algoritmebasert regulering omfatter metoder som begrenser treningsprosessen og modellens tilpasning, for eksempel early stopping og dropout.

Eksempler på parameterregulering er L1-regularisering (lasso), L2-regularisering (ridge) og Elastic Net. L1 fremmer sparsitet ved at mange vekter blir lik null, L2 gir mindre vekter og ofte bedre generalisering. I nevrale nettverk er vektdemping (weight decay) en vanlig form for L2-regularisering, mens dropout midlertidig fjerner noen enheter under trening.

Dataregulering inkluderer data augmentation for å øke variasjonen i treningssettet og støyinnsprøytning eller label smoothing for å gjøre modellen mindre sårbar for små endringer i data og labels.

Valg av reguleringstyrke skjer ofte ved kryssvalidering eller bayesianske tilnærminger og avhenger av oppgaven og datasettet. For stor regulering kan føre til underfitting; for liten regulering kan gi overtilpasning. Bruken varierer mellom lineære modeller, logistisk regresjon og dype nevrale nettverk.