förlustfunktion

Förlustfunktioner, eller kostnadsfunktioner, är funktioner som kvantifierar hur fel en modell gör sina förutsägelser i förhållande till sanna värden. De används för att styra optimeringen av modellens parametrar genom att minimera den totala förlusten över ett dataset, vilket kallas empirisk risk. Teoretiskt kopplas förlusten ofta till förväntad risk, som är medelvärdet av förlusten över data som modellen kan möta i världen. En bra förlustfunktion gör det möjligt att uppnå goda prediktioner och att optimiseringsalgoritmer som gradientbaserad descent kan hitta meningsfulla parametrar.

Vanliga förlustfunktioner används inom olika problem: L1-förlusten (absolutfel) är robust mot outliers men inte differentiell vid noll. L2-förlusten (kvadratiskt fel) är differentiell och straffar stora fel hårdare, men är känsligare för outliers. Huber-förlusten blandar L1 och L2 för att uppnå robusthet samtidigt som gradienter är hanterbara. För klassificering används ofta korsentropi (cross-entropy) eller logistisk förlust, vilka kopplas till negativa log-likelihood och passar probabilistiska modeller. Hinge-förlusten används i marginbaserade metoder som SVM. I vissa sammanhang används också 0-1-förlust, som är ideell men ofta svår att optimera direkt.

Egenskaper hos förlustfunktioner varierar: många är convexa och differentiella eller subdifferentierbara, vilket underlättar optimering. I djupinlärning är förlustfunktionen ofta icke-konvex. Förlusten relateras även till statistisk teori genom begrepp som empirisk risk, förväntad risk och negativa log-likelihood, ofta med regularisering för att motverka överanpassning.