Testmängden

Testmängden är den del av data som används för att utvärdera en maskininlärningsmodell efter att den tränats. Den skiljs från träningsmängden och används inte i inlärningen, utan för att bedöma modellens generaliseringsförmåga till nya observationer.

Syftet med testmängden är att ge en objektiv uppskattning av hur modellen kommer att prestera i praktiken. Vanliga utvärderingsmått beror på uppgiften, till exempel noggrannhet, precision, recall, F1 och ROC AUC vid klassificering, samt RMSE eller MAE vid regression.

Hur testmängden skapas kan variera. Data delas ofta i en viss fördelning mellan träning, validering och test, till exempel 70/15/15 eller 80/10/10. Den bör spegla det problemrum som modellen ska användas i och bevara den ursprungliga fördelningen, ofta genom stratifiering vid ojämnklassproblem. Det är viktigt att undvika data leakages: förbehandling och funktionsskaping bör ske endast på träningsmängden så att information från testet inte används under träningen. I tidsserier kan tidsbaserade uppdelningar vara lämpliga för att återskapa verklig utveckling.

Relation till övriga dataset är central: träningsmängden används för inlärning, valideringsmängden för hyperparameterjustering och modellval, medan testmängden används för sista, oberoende utvärdering. För att upprätthålla objektivitet bör testmängden hållas konstant tills slutlig utvärdering.