scoringsfuncties

Scoringsfuncties zijn wiskundige functies die een numerieke score toekennen aan een voorspelling of modeloutput op basis van hoe nauwkeurig deze is vergeleken met de waargenomen uitkomsten. Ze vormen een kernonderdeel van modelevaluatie en -selectie, en worden zowel gebruikt om modellen met elkaar te vergelijken als als verliesfunctie bij het trainen van voorspellingssystemen.

Afhankelijk van de aard van de voorspelling zijn scoringsfuncties gericht op verschillende vormen van foutmeting. In de statistiek en machine learning bestaan vooral twee categorieën: (i) verliesfuncties die de fout tussen voorspelde waarden en observaties meten, en (ii) proper scoring rules die zodanig zijn ontworpen dat het verwachte score-minimalisatie optreedt bij de werkelijke kansverdeling. Proprie scoring rules stimuleren eerlijke probabilistische inschattingen; onproprie of doelgerichte scoringsfuncties kunnen voor specifieke toepassingen worden gebruikt.

Enkele veelgebruikte scoringsfuncties zijn de Brier score voor probabilistische voorspellingen van binaire uitkomsten, de log-loss (kruisentrie of negatieve log-likelihood), mean squared error (MSE) en mean absolute error (MAE) voor regressie, en de CRPS (continuous ranked probability score) voor volledige probabilistische voorspellingen. Voor kwantielregressie wordt vaak de pinball loss toegepast. De keuze van een scoringsfunctie hangt af van de doelstelling, robuustheidsvereisten en de aard van de voorspelling.

Scoringsfuncties dienen ook als hulpmiddel bij optimalisatie during modeltraining, doordat de parameters worden aangepast om de score te verbeteren. Een gerelateerd begrip is de scorefunctie in de statistiek (de afgeleide van de log-likelihood), die wordt gebruikt bij parameter-schattingsmethoden.