förlustfunktioner

Förlustfunktioner är mått som används inom maskininlärning för att kvantifiera skillnaden mellan modellens prediktioner och sanna värden. De spelar en central roll när modellen tränas: målet är att minimera förlusten över data, vilket ofta görs genom gradientbaserad optimering. Förlustfunktioner kan tolkas som ett mått på hur svag eller starkt modellen presterar på en given uppgift, och de påverkar hur modellen uppdaterar sina vikter under träningen.

Vanliga kategorier och exempel inkluderar funktioner för regression och klassificering. Vid regression används exempelvis medelkvadratsfel (MSE, (y − ŷ)^2) eller medelabsolutfel (MAE, |y − ŷ|). Mikroanpassade varianter som Huber-förlust blandar de två och är mindre känsliga för outliers. För klassificering används korsentropi, inklusive binär korsentropi och kategorisk korsentropi, som ofta kopplas till sannolikheter från modellens utgångar via softmax. Andra exempel är L1- och L2-förluster (reducerar olika typer av fel) och Poisson-förlust för räknedata. För probabilistiska modeller används ofta negativ log-likelihood eller KL-divergens som förlust, vilket motsvarar maximum likelihood-estimering under vissa antaganden.

Egenskaper som diff­erentiabilitet och konvexitet påverkar optimeringen. Konvexa förluster ger ofta globala minimipunkter för konvexa modeller, medan icke-konvexa eller djupa nätverk kan ha många lokala minimor. Valet av förlust påverkar träningens stabilitet, konvergenshastighet och hur modellen hanterar uteliggare samt hur probabilistisk tolkning av utgångar blir.

Valet av förlust bör anpassas till problembeskrivningen, dataegenskaper och önskad tolkning av utdata, samt till vilken optimeringsalgoritm som används.