Valideringskurva

Valideringskurva är ett verktyg inom maskininlärning som används för att analysera hur modellens prestanda varierar med en hyperparameter. Kurvan brukar bestå av två delar: en träningsprestanda-kurva som visar hur bra modellen presterar på träningsdata när hyperparametern ändras, och en validerings- eller korsvaliderings-prestanda-kurva som visar hur modellen förväntas prestera på oprövat data.

Så här används den vanligtvis: För varje värde på en valbar hyperparameter tränas modellen på träningsdata och utvärderas med en lämplig måttstock (t.ex. noggrannhet, F1, MSE) på en valideringsuppsättning eller genom korsvalidering. Resultatet plottas sedan som funktion av hyperparametervärdet. Syftet är att diagnostisera under- eller överanpassning och att hjälpa till att välja en lämplig parameter.

Tolkning sker ofta så att träningens prestanda ökar med ökad modellkomplexitet, medan valideringsprestandan först förbättras och därefter försämras när modellen överanpassar sig till trändata. Den optimala parametern är där valideringsprestandan är högst eller där den är mest stabil över olika uppdelningar av data.

Begränsningar inkluderar beroende av urvalet av data, hur uppdelningen sker och vilket mått som används. Valideringskurvor används vanligtvis i samband med hyperparameter-tuning och kan kompletteras med learning curves och korsvalidering. Vanliga exempel på hyperparametrar är C i SVM, max_depth i beslutsträd eller antal träd i en skog.