Testmängder

Testmängder är en delmängd av en dataset som används för att utvärdera prestandan hos en tränad modell. De är åtskilda från träningsmängden och, i många arbetsflöden, från valideringsmängden. Syftet med testmängden är att ge en oberoende uppskattning av hur modellen sannolikt kommer att prestera på ny, osedd data, dvs. dess generalisering.

Vanligtvis delas data upp i träning, validering och test. Träningen används för att lära modellen, valideringen för att ställa in hyperparametrar och tidiga stopp, medan testmängden används endast i slutet av utvecklingen. I vissa sammanhang används korskontroll (k-fold) under utvecklingen för att få stabilare prestandamått, men en slutgiltig utvärdering bör göras på en separat testmängd.

Vid konstruktion av testmängden bör man undvika dataläckage. Transformationer och modellrelaterade inställningar som lärs in från träningsdata får inte flöda till testet; förbehandlingar måste tillämpas i träningsfasen och sedan appliceras identiskt på testmängden. Testmängden bör spegla den distribution som modellen förväntas möta i praktiken. För tidsseriedata krävs att testdata placeras efter träningsdata i tidsordning och inte blandas slumpmässigt.

Vanlig storlek är ofta 20–30 procent av det ursprungliga datasetet, men valet beror på datasetets storlek och önskad tillförlitlighet. Resultat från testmängden används för att rapportera slutlig prestanda och jämföra modeller.