regularisatie

Regularisatie is een verzamelnaam voor technieken die overfitting willen voorkomen door de complexiteit van een model te straffen. Het doel is een model te vinden dat beter generaliseert naar onzichtbare data door de gevoeligheid voor ruis en kleine trainingsverschillen te verminderen.

De meest gangbare vorm is het toevoegen van een regularisatieterm aan de verliesfunctie. Bij regressie kennen we bijvoorbeeld ridge-regressie (L2-regularisatie), waarbij de som van de kwadraten van de parameters wordt gestraft. Lasso (L1-regularisatie) telt de absolute waarde van de parameters mee en kan sommige parameters tot nul dwingen, wat tot sparsiteit leidt. Elastic Net combineert L1 en L2. In neuraal netwerken speelt naast gewichtregularisatie ook dropout een vergelijkbare doelstelling: verhinderen dat het netwerk te afhankelijk wordt van specifieke neuronen.

In andere gebieden, zoals inverse problemen en statistiek, is regularisatie cruciaal om ill-posedness te ondervangen. Tikhonov-regularisatie gebruikt een L2-penalty om stabiliteit en een robuuste oplossing te bevorderen door een gewenste prioriteit op kleine of eenvoudige oplossingen te leggen.

Praktisch wordt de strengheid van de regularisatie geregeld door de hyperparameter lambda. Deze parameter wordt vaak gekozen met cross-validatie of informatiecriteria. Feature-schaling is meestal noodzakelijk voordat regularisatie effectief werkt, vooral bij L1 en L2-regressie.

Voordelen van regularisatie zijn onder meer betere generalisatie, minder overfitting en robuustheid bij beperkte data. Nadelen zijn onder andere ingebouwde bias en de gevoeligheid voor de keuze van het type penalty en de waarde van lambda. Toepassingsgebieden omvatten machine learning, econometrie, beeldverwerking en bioinformatica.