prediksjonsytelse

Prediksjonsytelse beskriver hvor godt en modell eller metode kan forutsi utfall sett i forhold til observerte resultater. Den avhenger av oppgaven, dataene og hvordan ytelsen måles.

I regresjonsoppgaver brukes mål som RMSE (root mean square error), MAE (mean absolute error), MAPE og R-kvadrat (R^2) for å vurdere avvik mellom prediksjoner og faktiske verdier. I klassifikasjonsoppgaver brukes nøyaktighet, presisjon, tilbakekalling (recall), F1-score og området under ROC-kurven (AUC-ROC) eller PR-kurven (AUC-PR). For kalibrering vurderes prediksjonens sannsynlighet med kalibreringskurver og Brier-skåre.

Det er viktig å skille mellom diskrimineringsevne og kalibrering. Diskriminering måler modellens evne til å skille mellom klasser, mens kalibrering måler hvor godt de utgående sannsynlighetene samsvarer med observerte frekvenser.

Praksis for å vurdere prediksjonsytelse inkluderer passende splitt av data i trenings- og testsett, kryssvalidering og ekstern validering. Det er viktig å unngå data leakage og å redusere overfitting gjennom regularisering og riktig modellvalg. Ved tidsserier brukes ofte tidsbasert kryssvalidering.

Ytelsen påvirkes av datakvalitet, antall observasjoner, funksjonsengineering og modellkompleksitet. Endringer i dataens fordeling, kjent som konseptdrift, kan redusere ytelsen over tid. Rapportering av prediksjonsytelse bør inkludere konfidensintervaller og, der relevant, vurderinger av rettferdighet og robusthet.