valideringssettet

Valideringssettet er en delmengde av data som brukes under utvikling og evaluering av maskinlæringsmodeller for å vurdere modellens generelle ytelse og for å styre beslutninger om modellvalg og hyperparametere. Det ligger mellom treningssettet, som brukes til å tilpasse modellens parametere, og testsettet, som brukes for sluttevaluering. Hovedformålet med valideringssettet er å gi en upartisk estimat av hvordan modellen vil oppføre seg på nye, ikke-seende data under utviklingen.

Valideringssettet brukes ofte til hyperparametertuning, modellseleksjon og tidlig stopping for å forhindre overtilpasning. I tilfeller med begrenset data benyttes kryssvalidering, som k-fold, for å utnytte hele datasettet til både trening og validering ved å rotere hvilke delsett som fungerer som valideringssett. For å gi pålitelige resultater bør valideringssettet være representativt for den virkelige datadistribusjonen og holdes adskilt fra testsettet for å unngå datalekkasje.

Praktiske hensyn inkluderer størrelse (nok til å gi statistisk signifikante evalueringer), stratifikasjon ved skjev klassefordeling og regelmessig vurdering av dataskjevheter. Valideringssettet gir ikke en endelig måling av ytelse; dette gjøres typisk med et uavhengig testsett etter at alle modellvalg er avsluttet.