generaliseringstap

Generaliseringstap, ook wel generalization gap genoemd, is het verschil tussen de prestaties van een model op de trainingsdata en op niet eerder geziene data. Het geeft aan in welk mate een model in staat is te generaliseren naar ongeziene voorbeelden. Een kleine generalisatiegap wijst op goed generaliserend gedrag, terwijl een grote gap kan duiden op overfitting of op problemen met de representativiteit van de trainingsdata.

Oorzaken omvatten een te grote modelcomplexiteit ten opzichte van de hoeveelheid en variatie in de data, ruis in de labels, en een scheve verdeling tussen trainings- en testdata. Ook data-lek, data shift en bias in de trainingsset kunnen de generalisatie beïnvloeden. Langdurig trainen en optimizers die zich op het ideale trainingspunt richten, dragen vaak bij aan een grotere gap.

Metingen gebeuren doorgaans met een train-testsplit of met cross-validatie. De generalisatiefout wordt geschat als de verwachting van het verlies op ongeziene data; praktisch wordt de kloof tussen training- en testprestaties gerapporteerd, bijvoorbeeld in accuratesse of verlies. Een representatieve testset en aandacht voor dataset shift zijn cruciaal voor betrouwbare interpretatie.

Verkleinen ervan kan door meer en representativere data, data-augmentatie, en regularisatie (zoals L1/L2, dropout). Andere strategieën zijn vroeg stoppen, het kiezen van een minder complex model, model- en featureengineering, en strikte validatieprocedures zoals k-fold cross-validatie. Het monitoren van data-integriteit en het detecteren en corrigeren van dataset-shifts helpt lange termijn generalisatie.