Valideringsdatasettet

Valideringsdatasettet er en del av datasettet som brukes i maskinlæring for å vurdere modellers ytelse under utviklingen. Det skilles ut fra treningsdatasettet og brukes som en uavhengig referanse for å justere hyperparametere, arkitektur og treningsprosesser.

Det kan opprettes ved å dele treningsdataene (hold-out) eller gjennom metoder som kryssvalidering (k-fold). Valget av representativitet og klassedistribusjon er viktig slik at valideringsdataene speiler målpopulationen. Det må være fri for data som modellen allerede har sett (unngå data leakage) og normalisering eller andre forberedelser bør gjennomføres konsekvent mellom trenings- og valideringssettet.

Under evaluering brukes valideringsdatasettet til å velge mellom konfigurasjoner og til å bestemme tidspunkt for tidlig stopp. Vanlige ytelsesmetoder avhenger av oppgaven, for eksempel nøyaktighet, presisjon og F1-score i klassifisering, eller RMSE/MAE i regresjon. Valideringsmålingene brukes som en praktisk målestokk for å balansere modellens kompleksitet og generalisering.

Det finnes begrensninger: distribusjonen i valideringsdatasettet kan avvike fra virkelige data over tid (konseptdrift), og settet kan være skjevt hvis det ikke dekker hele bruksområdet. Derfor bør opprinnelse, splittingmetode og metoder for å håndtere bias dokumenteres, og et eget testsett bør brukes for endelig evaluering.

Relasjon til andre datadelinger: treningsdatasettet brukes til læring, mens et testerdatasett gir endelig generaliseringsevaluering; valideringsdatasettet brukes i mellomtiden for å styre modellvalg og hyperparameterrulling.