krydsvalidering

Krydsvalidering er en metode inden for maskinlæring og statistik til at vurdere en models generalisering ved at opdele et dataset i flere delmængder og gentagne gange træne og evaluere modellen på forskellige kombinationer af trænings- og testdata. Ideen er at få en mere stabil og mindre biased estimering af modelens præstation end ved en enkelt trænings-/testopdeling.

Den typiske fremgangsmåde er k-fold krydsvalidering. Datasættet opdeles i k lige store fold, og for hver af de k iterationer trænes modellen på alle folds undtagen et, der bruges som test. Resultatet er gennemsnittet af præstationsmålinger over alle k iterationer. Varianter inkluderer Leave-One-Out (LOOCV), hvor k er lig med antal observationer, og Stratified k-fold, som bevarer fordeling af klasserne i hver fold for urolige klassifikationsopgaver. Ved tidsserier kan man anvende tidsmæssig eller forward chaining-krydsvalidering, der respekterer rækkefølgen i data.

Fordele ved krydsvalidering inkluderer udnyttelse af hele datasættet til både træning og evaluering samt mindre risiko for tilfældig udvælgelse af trænings- og testdata. Ulemperne omfatter høj beregningsomkostning ved store datasæt og risiko for fejlagtig estimering ved data, der ikke er uafhængige (f.eks. tidsafhængige eller sekventielle data) uden passende tilpasning.

Krydsvalidering bruges bredt til at sammenligne modeller, vælge hyperparametre og få mere pålidelige estimater af en models generelle præstation på nye data.