Entropifunktioner

Entropifunktioner är funktioner som tilldelar ett mått på osäkerhet eller oordning till en sannolikhetsfördelning. De vanligaste exemplen är Shannon-entropin, som används inom informationsteori, och dess kontinuerliga motsvarigheter i differential entropi. För en diskret fördelning p med k kategorier är Shannon-entropin definierad som H(p) = - sum_i p_i log p_i, ofta med logaritmen i bas 2 så att enheten blir bitar. Differential entropi för en kontinuerlig variabel X med densitet f(x) är h(X) = - ∫ f(x) log f(x) dx. För båda typerna speglar entropin hur mycket information som krävs i genomsnitt för att beskriva ett slumpmässigt utfall.

Egenskaper och tolkningar. Entropin är alltid icke-negativ för diskreta fördelningar och uppnår sitt maximum när fördelningen är uniform över stödet. Den följer en kedja vid villkorligt uppskattat mått: H(X,Y) = H(X) + H(Y|X). Den är konvex i sannolikhetsfördelningen och för kontinuerliga fall kan differential entropi vara negativ och är inte invariant under alla förändringar av koordinater, vilket skiljer den från diskret entropi.

Generalisationer och relaterade mått. Rényi-entropin H_α(p) inför ett parametervariabel α och inkluderar Shannon-entropin som gränsvärde. Tsallis-entropi S_q(p) är en annan generalisering som används inom icke-standard termodynamik. Hartley-entropin är ett särskilt fallet för en lika sannolik fördelning utan viktning av de individuella utfallens sannolikheter.

Användningar och sammanhang. Entropifunktioner används inom informations- och kodningsteori, statistisk mekanik, maskininlärning och probabilistisk modellering. Principen om maximal entropi används för att välja den mest obundna modellen under givna begränsningar. Begränsningar gäller särskilt när kontinuerlig entropi används, där val av logaritmbasen och koordinatsystem påverkar tolkningen och enhet.