krydskrydsentropien

Krydskrydsentropien, ofte kaldet krydskrydsentropi eller cross-entropy, er et mål for forskellen mellem to sandsynlighedsfordelinger P og Q over det samme domæne. For diskrete variable er den defineret som H(P,Q) = - sum_x P(x) log Q(x), og for kontinuerte variable som H(P,Q) = - ∫ P(x) log Q(x) dx, hvor log normalt er den naturlige logaritme.

Relativt til entropien H(P) = - sum_x P(x) log P(x) er krydskrydsentropien H(P,Q) lig med H(P) + D_KL(P||Q). Dette betyder, at krydskrydsentropien måler både entropien af sandheden og afstanden mellem P og Q (KL-divergensen). I praksis tolkes den som den gennemsnitlige negative log-likelihood af data under modellen Q, når sandheden følger P: - E_{x~P}[ log Q(x) ].

I maskinlæring anvendes krydskrydsentropi som tab i klassifikationsopgaver. Når P er en one-hot-etiket og Q er modellens output (softmax-probabiliteter), reduceres det for en enkelt prøve til L = - log Q(y), hvor y er den sande klasse. For binary klassifikation anvendes binary cross-entropy, og for multi-klasse bruges categorical/softmax-krydskrydsentropi.

Vigtige egenskaber er, at krydskrydsentropien altid er større eller lig entropien, og ligheden opnås når P = Q. Logaritmers base ændrer ikke tabet op til en konstant faktor. Til praktiske formål kræves numerisk stabilitet, for eksempel ved brug af log-softmax og log-sum-exp.