Modellprestanda

Modellprestanda beskriver hur väl en modell uppfyller sitt syfte i en given kontext. Den omfattar både hur noggranna förutsägelserna är och hur modellen uppträder i praktiska sammanhang, såsom svarstid, minnesanvändning och skalbarhet. Prestandan är ofta beroende av uppgiften, data och deploymentsmiljön.

Vid bedömning används olika mått beroende på uppgiften. För klassificering används metrik som noggrannhet, precision, recall och F1-score samt ROC-AUC. För regressionsproblem används mått som RMSE, MAE och R^2. För ranking och rekommendationer kan man använda MAP och NDCG. Kalibrering kan också vara viktig för att göra prediktionernas sannolikheter meningsfulla. Förutom prediktiv noggrannhet vägs ofta operationella faktorer in, såsom latency, genomströmning och minnesbehov.

Utvärdering följer vanligtvis en strukturerad process med träning, validering och testning, ofta med korsvalidering eller uppdelning i trä- och testdata. Det är viktigt att undvika dataläckage och att utvärdera modellen i miljön som den ska användas i. Benchmarking mot basmodeller och tydlig dokumentation av miljö och parametrar är god praxis för reproducerbarhet.

Utmaningar inkluderar konceptdrift där datafördelningar förändras över tid, samt frågor om rättvisa, robusthet och förklarbarhet. Förbättringar av modellprestanda uppnås genom feature engineering, val av lämplig modell, hyperparameter­tuning, ensembling och dataförstärkning, ofta i kombination med kontinuerlig övervakning av prestanda efter lansering.