Förlustfunktionen

En förlustfunktion, eller kostnadsfunktion, är en funktion som mäter hur stor felaktighet en modell gör vid en given prediktion. Den tar vanligtvis två argument: det observerade målvärdet y och modellens prediktion f(x), och returnerar ett icke-negativt värde som speglar skillnaden mellan sann och förutsagd utgång. Förlusten används som mått i träningen genom att minimera den sammanlagna förlusten över ett dataset, ofta i form av den empiriska risken.

För olika problemtyper finns vanliga förlustfunktioner. Vid regression används exempelvis kvadratiskt fel (mean squared error, MSE) eller absolut fel (mean absolute error, MAE). Vid klassificering används ofta korsentropi (cross-entropy eller logistikförlust) eller hinge-förlust (används i SVM). För robustare optimering används ofta Huber-förlust, som kombinerar egenskaperna hos L1- och L2-förlust. Valet av förlust påverkar vad modellen lär sig och hur den uppför sig vid utliggningar i data.

Egenskaper hos förlustfunktioner är viktiga för optimeringen. Många förlustfunktioner är konvexa och differentiella, vilket förenklar hitta minimipunkter med gradientbaserade metoder. Vissa funktioner är icke-differentiella (t.ex. L1-förlust) men har subgradienter. En mängd olika förlustfunktioner används också tillsammans med regularisering för att kontrollera överanpassning.

I praktiken är förlustfunktionen en av de centrala byggstenarna i träningsprocessen och ofta kopplad till, men inte identisk med, de utvärderingsmått som används för modellens prestanda.