testmängd

Testmängd, eller testset, är den del av ett dataset som används för att utvärdera en modells generalisering till ny data. Den avskiljs från träningsmängden och, i de flesta sammanhang, från valideringsmängden. Syftet är att ge en opåverkad uppskattning av hur modellen kommer prestera i verkliga tillämpningar.

Vid konstruktion av modeller delas data ofta upp i träning, validering och test. Testmängden används först när modellen har tränats och eventuella hyperparametrar har anpassats med hjälp av valideringsmängden. För att undvika bias bör testmängden vara representativ för måldistributionen och inte innehålla information som modellen redan har tillgång till under träningen. Efter uppsättningen används testmängden för att rapportera slutlig prestanda.

Metoder för uppdelning inkluderar slumpmässig fördelning, stratifierad uppdelning som bevarar klassernas proportioner, samt tidsbaserad uppdelning vid tidsserier. Storleken på testmängden varierar med datasetets storlek och syfte; ofta används cirka 10–30 procent av data som test, medan små dataset ibland utnyttjar olika former av korsvalidering där olika delar fungerar som testset i olika rundor. Efter uppdelningen används relevanta prestandamått, till exempel accuracy, precision, recall och F1 för klassificering, eller RMSE och MAE för regression.

För att säkerställa resultatens tillförlitlighet bör data leakage undvikas och förbehandling ske genom en reproducerbar pipeline där endast träningsdata används för att transformera data före testning.