onderfitting

Onderfitting is een fenomeen in machine learning waarbij een model te weinig complex is om de onderliggende structuur van de data te verklaren. Het gevolg is meestal dat zowel het presteren op de trainingsdata als op ongeziene data teleurstellend is. De foutmarge is hoog en het model vertoont vaak een hoge bias in plaats van een hoge variantie. Met andere woorden: het model kan de patronen in de data niet goed vatten en generaliseert daardoor slecht.

Oorzaken van onderfitting kunnen onder andere zijn: een te simpel model, bijvoorbeeld lineaire regressie op een niet-lineaire relatie; te sterke regularisatie die de modelparameters te veel afzwakt; te weinig relevante kenmerken of foutieve data waarvoor geen relevante signalen beschikbaar zijn; of een te beperkte feature engineering waardoor belangrijke patronen niet worden vastgelegd.

Signalen van onderfitting zijn onder meer een hoge fout op zowel de trainingsset als de testset, weinig of geen verbetering bij het toevoegen van meer data, en een trainingscurve die niet verder daalt bij meer complexiteit of trainingstijd. Het wijzen op een hoge bias helpt onderscheiden van overfitting, waarbij juist de trainingsfout laag is maar de testfout hoog.

Behandelingsopties omvatten het vergroten van de modelcomplexiteit (meer parameters, diepere modellen, niet-lineaire relaties opnemen), het toevoegen van relevante kenmerken of feature engineering, en het verlagen of verwijderen van overmatige regularisatie. Ook kan het helpen om andere algoritmen te proberen die beter in staat zijn patronen te modelleren (bijvoorbeeld polynomial features, kernel-methoden, decision trees of ensemble-methoden), of meer en gevarieerdere data te verzamelen zodat het model de onderliggende relatie beter kan leren.