Regulariserend

Regulariserend is een term uit wiskunde, statistiek en datawetenschappen die verwijst naar methoden of componenten die een optimalisatieprobleem stabieler maken door een regularisatie- of strafterm aan de verliesfunctie toe te voegen. Het doel is niet alleen de data te passen, maar ook bepaalde gewenste eigenschappen van het model af te dwingen, zoals kleinere coefficients of meer smoothness. Daardoor kan een model beter generaliseren en minder gevoelig zijn voor ruis.

In de praktijk wordt vaak gewerkt met een objective functie die bestaat uit een foutterm en een regulariserende term: L(θ) + λ R(θ). Hier is θ het model, L de data-gerelateerde verliesfunctie, R de regularisatieterm en λ een parameter die de sterkte van regularisatie bepaalt. Door R toe te passen worden oplossingen afgeremd of gestemd richting specifieke kenmerken, zoals sparsiteit of gladheid. Veelvoorkomende voorbeelden zijn L2-regularisatie (ridge), L1-regularisatie (lasso) en hun combinatie (elastic net). Andere vormen zijn Tikhonov-regularisatie en total variation in beeldverwerking.

Regulierende methoden vinden ruime toepassing in machine learning, statistiek, inverse problemen en beeldverwerking. De keuze voor een bepaald type regularisatie en de juiste waarde van λ worden vaak bepaald via methoden zoals kruisvalidatie, informatiecriteria of een Bayesianische interpretatie waarbij de regularisatie een prior vertegenwoordigt.

Belangrijke overwegingen zijn onder meer dat regularisatie bias in de oplossing kan introduceren, terwijl het de variatie verkleint. De keuze van R en de sterkte van λ beïnvloeden de bias-variance trade-off en kunnen de computatiedoorlooptijd en convergence-eigenschappen van de gebruikte optimalisatie beïnvloeden.