verliesfunctie

Een verliesfunctie (loss function) is een wiskundige functie die een maat geeft voor het verschil tussen een voorspelde waarde en de echte uitkomst. In statistiek en machine learning wordt de verliesfunctie gebruikt om de nauwkeurigheid van een model te beoordelen. Ze neemt doorgaans twee arguments: de voorspelde waarde ŷ en de werkelijke waarde y, en geeft een niet-negatieve waarde terug die de fout meet.

Tijdens het trainen wordt de verliesfunctie toegepast op alle trainingsvoorbeelden. De totale verlies of empirical risk is meestal het gemiddelde van L(y_i, ŷ_i) over de dataset. Het doel is om de modelparameters zodanig te kiezen dat dit totale verlies geminimaliseerd wordt. Bij differentiabele verliesfuncties kan men gradient-based optimalisatie toepassen, zoals gradient descent, vaak met backpropagation bij neurale netwerken.

Veelgebruikte verliesfuncties zijn onder andere voor regressie: Mean Squared Error (MSE) en Mean Absolute Error (MAE). Voor classificatie: cross-entropy loss (ook wel log loss genoemd), waaronder binary cross-entropy en categorical cross-entropy voor multi-class classificatie. Andere voorbeelden zijn hinge loss (gebruikt in SVM’s). Eigenschappen variëren: verliesfuncties zijn meestal niet-negatief en bereiken vaak nul wanneer de voorspelling perfect overeenkomt met de doelwaarde; convexiteit en differentiabiliteit beïnvloeden het optimalisatiegedrag.

Relaties en nuances: een verliesfunctie maakt deel uit van het onzekerheids- en risico-onderzoeksframework en kan worden gezien als een vorm van negatieve log-likelihood in probabilistische modellen. Het verschil tussen verliesfunctie en kostenfunctie is soms contextafhankelijk; regelmatig wordt ook een regularisatieterm toegevoegd (bijv. λR(θ)) om overfitting tegen te gaan, waardoor de totale objective wordt aangepast.