Kruisvalidering

Kruisvalidering is een statistische methode om de prestaties van een model te beoordelen door de beschikbare data op een systematische manier op te splitsen in trainings- en testonderdelen. Het doel is een schatting te geven van hoe het model zal presteren op ongeziene data, terwijl overfitting tegengegaan wordt en de gebruikte data efficiënt worden benut.

De meest voorkomende vorm is k-fold kruisvalidering. De dataset wordt verdeeld in k gelijke subsetten. In elke iteratie wordt één subset als testset gebruikt en de overige k-1 subsets als trainingset. De prestaties van het model worden in elke ronde gemeten (bijvoorbeeld nauwkeurigheid, RMSE) en gemiddeld over alle rounds. Er bestaan varianten zoals stratified k-fold, waarbij de verdeling van klassen in elke fold hetzelfde blijft, wat nuttig is bij ongebalanceerde data. Een andere variant is leave-one-out cross-validatie (LOOCV), waarbij k gelijk is aan het aantal observaties.

Naast kruisvalidatie bestaan er holdout-splitsingen, waarbij de data eenmalig wordt opgesplitst in training en test. Nested cross-validatie combineert twee lagen van kruisvalidering en is handig bij hyperparameterafstemming en modelbeoordeling zonder vooringenomenheid.

Toepassingen en beperkingen: kruisvalidatie wordt veel gebruikt in machine learning om modelkeuzes en parameterinstellingen te onderbouwen. Nadelen zijn onder meer hogere computationele kosten en mogelijke vertekening bij kleine datasets of tijdreeksen, waarin de temporele volgorde gerespecteerd moet blijven (bijv. tijdreeks-splitsingen). Ook kan datapreprocessing leiden tot data leakage als informatie uit de testset per ongeluk in de training terechtkomt.