Modelgeneralisatie

Modelgeneralisatie is het vermogen van een machine learning-model om betrouwbare voorspellingen te doen op ongeziene gegevens die afkomstig zijn uit dezelfde verdeling als de trainingsdata. In de theorie wordt de generalisatieprestatie vaak vergeleken met de trainingsprestatie: een model dat goed generaliseert heeft een kleinschalige generalisatie fout, oftewel een kleine kloof tussen de prestaties op trainingsdata en op testdata of nieuwe data.

Een model dat uitsluitend goed presteert op de trainingsset maar slecht generaliseert, wordt overfitting genoemd. In tegenstelling hiermee kan een model te eenvoudig zijn voor de taak (onderfitting), waardoor het geen relevante patronen leert. Een gezonde generalisatievereiste houdt rekening met factoren zoals de representativiteit van de data, ruis, en de complexiteit van het model. Ook verschuivingen in de dataverdeling tussen training en toepassing (distribution shift) kunnen de generalisatie ondermijnen.

Factoren die de generalisatie beïnvloeden zijn onder meer de hoeveelheid en variatie van trainingsdata, de complexiteit van het model, en het gebruik van regulatie. Praktische maatregelen om generalisatie te verbeteren zijn onder andere regelmatige werving van grote en representatieve datasets, regularisatie (zoals L1/L2), dropout, data-augmentatie, vroeg stoppen, en ensemblemethoden. Transfer learning en prerealistische pretraining kunnen ook helpen bij beperkte data.

Evaluatie van generalisatie gebeurt doorgaans met een hold-out testset of kruisvalidering, waarbij men kijkt naar de prestatie op ongeziene data. Een bredere interpretatie van generalisatie houdt rekening met robuustheid en mogelijke verschuivingen in realistische toepassingsomstandigheden.