modelnøjagtighed

Modelnøjagtighed beskriver hvor tæt modellens forudsigelser stemmer overens med virkelige værdier. Den bruges som et mål for hvor godt en model passer data og dens evne til at generalisere til ny data. Afhængigt af problemstillingen kan nøjagtigheden måles forskelligt: i klassifikationsopgaver kan man måle andelen af korrekte forudsigelser, mens regressionsopgaver vurderes med fejltyper som MSE, RMSE, MAE og R^2. Kalibrering, dvs. hvor godt sandsynlighedsoutput stemmer overens med observeret frekvens, er også en vigtig dimension i visse sammenhænge.

Typiske evalueringsmål varierer efter om målet er præcision og diskriminering eller præcis estimering af numeriske værdier. For klassifikation kan man supplere nøjagtighed med præcision, recall, F1-score og AUC-ROC for at få et mere nuanceret billede af ydeevnen ved ujævn klassefordeling. For regression vurderes fejlgradene samlet under MSE/RMSE/MAE, og forklaringsgraden målt ved R^2.

Vurdering af modelnøjagtighed kræver korrekt datalægning og validering. Hold-out eller krydsvalidering anvendes ofte til at estimere generaliseringsevnen. Ekstern validering tester modellen på helt andre datasæt. Det er vigtigt at undgå data leakage og at sikre, at testdata ikke bruges i træningen. Dataens kvalitet, repræsentativitet og eventuel skævhed påvirker nøjagtigheden betydeligt, ligesom modelkompleksitet, regularisering og feature engineering.

Best practices inkluderer at rapportere passende evalueringsmetoder og usikkerhed, anvende calibrationsplots hvor relevant, og være opmærksom på forskelle i ydeevne på undergrupper samt behovet for ekstern validering. Modelnøjagtighed bør ses i sammenhæng med kontekst, omkostninger ved fejl og formålet med modellen.