Voorspellingskwaliteit

Voorspellingskwaliteit is de mate waarin voorspellingen die voortkomen uit een model overeenkomen met wat in de werkelijkheid gebeurt. In datawetenschap en operationele besluitvorming geeft deze kwaliteit aan hoe betrouwbaar en bruikbaar de forecast is voor beslissingen. Voorspellingskwaliteit kan worden beoordeeld voor verschillende typen voorspellende outputs en over verschillende tijdshorizonten.

Er zijn puntvoorspellingen (een enkele waarde per geval) en probabilistische voorspellingen (een verdeling of kans op uitkomsten). Bij probabilistische voorspellingsoutputs is ook calibratie (hoe goed de waargenomen frequenties overeenkomen met de voorspelde kansen) en scherpte (hoe geconcentreerd de verdelingen zijn) van belang.

Belangrijke meetinstrumenten hangen af van het doel: voor regressie MAE, RMSE en MAPE; voor classificatie AUC, nauwkeurigheid; probabilistische voorspellingen worden beoordeeld met Brier score, log-loss en CRPS. Calibratie-oplegging via reliability diagrams en backtesting voor tijdreeksen worden vaak toegepast. Het kiezen van een metric moet aansluiten bij de beoogde beslissingen en kosten van fouten.

Factoren die voorspellingskwaliteit beïnvloeden zijn onder meer data kwaliteit en representativiteit, het optreden van bias of foutieve aannames, concept drift en modelcomplexiteit. Data leakage en verkeerde splitsing kunnen een vertekend beeld geven.

Toepassingen variëren van weers- en vraagvoorspelling tot financiële risicoanalyse en gezondheidszorg. Verbeteringen komen voort uit betere data, feature engineering, ensemble-methoden, correcte validatie, voortdurend modelonderhoud en monitoring van prestatie in productie.

Uitdagingen omvatten onzekerheid, aanpassing aan veranderende omstandigheden en ethische overwegingen zoals bias en interpretatie. Een goede voorspellingskwaliteit is contextafhankelijk en vereist afstemming op de beslissingscontext en kosten van fouten.