datauppdelning

Datauppdelning, eller data partitioning, är processen att dela en dataset i flera delmängder med avsikt att träna och utvärdera modellens prestanda på ett opåverkat material. Vanligen används minst två eller tre delar: träningsdata för att lära modellen, valideringsdata för hyperparameterjustering och testdata för en slutgiltig bedömning av hur modellen sannolikt kommer fungera i praktiken. En korrekt uppdelning är central för att uppskatta generalisering och motverka överanpassning.

Vanliga uppdelningar och strategier omfattar: slumpmässig uppdelning där data delas oberoende av ordning, ofta i 60/20/20 eller 70/15/15-andelar; stratifierad uppdelning som bevarar den ursprungliga fördelningen av målvariabeln vid varje uppdelning, vilket är särskilt viktigt vid klassobalanser. För tidsseriedata används tidbaserad uppdelning eller forward chaining, där träning sker på tidigare data och utvärdering på senare data. Korskvalidering, inklusive k-fold och stratifierad k-fold, används för att få mer robust prestanda när datamängden är begränsad. Nested cross-validation används vid hyperparameter­tuning i kombination med utvärdering.

Viktiga principer och risker inkluderar att undvika data leakage där information från test- eller valideringsdelar influenser påverkar träningsprocessen, samt att all preprocessing (till exempel skalning) bör tränas endast på träningsdata och tillämpas på både validerings- och testdata för att inte smita information. Reproducibilitet underlättas av att sätta en fast seed och dokumentera uppdelningsstrategin. Datauppdelning är en grundpelare i tillförlitlig modellutvärdering inom maskininlärning och statistik.