Lossfuncties

Lossfuncties zijn maatstaven die de discrepantie aangeven tussen de voorspelde waarden van een model en de werkelijke doelwaarden. Per trainingvoorbeeld leveren ze een enkele, doorgaans niet-negatieve waarde op. Het totale verlies van een dataset wordt meestal berekend als de som of het gemiddelde van de individuele verliezen. Tijdens training probeert een optimizer zoals gradient descent dit verlies te minimaliseren, waardoor het model betere voorspellingen gaat doen. Deelname van differentiabiliteit is veelal gewenst, omdat dit de berekening van gradiënten ondersteunt die nodig zijn voor de update- stappen.

Veelgebruikte verliesfuncties zijn ingedeeld naar taaktype. Voor regressie: mean squared error (MSE), mean absolute error (MAE) en de Huber loss, die beiden robuustheid tegen uitbijters balanceren. Voor classificatie: log loss of cross-entropy (binair en multivariaat), die probabilistische voorspellingen knijpend naar de juiste klasse. Hinge loss en varianten worden soms gebruikt in support vector machines. Voor probabilistische modellen geldt vaak negatieve log-likelihood als verlies, wat gerelateerd is aan de kanscalibratie van de voorspellingen.

Eigenschappen van verliesfuncties, zoals convexiteit, differentiabiliteit en robuustheid, beïnvloeden de vorm van het leerproces en het gedrag van het model. De keuze moet aansluiten bij de evaluatie-metric, de aard van uitbijters, en de gewenste calibratie van de voorspellingen. Soms worden aangepaste verliesfuncties geïntroduceerd om domeinspecifieke prioriteiten of indirecte doelen te reflecteren.