Loghäviö

Loghäviö, ofta kallad kors-entropi eller logistisk förlust inom maskininlärning, är en förlustfunktion som används för att mäta skillnaden mellan de predikerade sannolikheterna och de sanna etiketterna i klassificeringsmodeller. Den används främst vid binär och flerkategorisk klassificering och ger ett differentiellt mått som lämpar sig väl för optimeringsprocedurer som gradientbaserad träning. Loghäviö kräver vanligtvis att modellen producerar sannolikheter via funktioner som sigmoid eller softmax.

För binär klassificering med y ∈ {0,1} och predikterad sannolikhet p = P(y=1|x) är loghäviön L(y,p) = - [ y log p + (1 - y) log(1 - p) ]. När p nära 0 eller 1 och y∈{0,1} uppstår stora värden, medan loghäviön når 0 när modellen är exakt korrekt. I neuralnät används ofta logit-lager och p = σ(z) så att L kan diffieras med avseende på z.

I flerkategorisk klassificering med sanningsvektor y ∈ {0,1}^K och predikterad sannolikhetsvektor p ∈ Δ^K är L(y,p) = - ∑_j y_j log p_j. Den uppnår det största värdet när prediktionerna är felaktiga och minskar till 0 när de matchar sanningen. Förlusten motsvarar den negativa log-likelihooden för Bernoulli-/kategoriska fördelningar och kopplar loghäviö direkt till informationsteori.

Gradienten med avseende på modellens logit är ofta p - y, vilket gör loghäviö särskilt lämplig för bakåtspridning i neurala nätverk. Fördelar inkluderar att den ger sannolikheter som utdata och att den är lämplig för optimering. Nackdelar är att den är känslig för över- eller underfitting när modellens sannolikheter aldrig riktigt kalibreras samt att numeriska problem kan uppkomma utan stabilisering, till exempel genom att använda små epsilon-värden för log-funktionerna.