Informationsmängder

Informationsmængder refererer til målinger af information i en besked eller i en tilfældig variabel, og er centrale i informations- og kommunikationsteori. For et afkast x med sandsynlighed p(x) er informationsindholdet i udfaldet i(x) ofte defineret som -log2 p(x) i bits. Den gennemsnitlige mængde information i et udfald er Shannon-entropien H(X) = E[i(X)] = -∑ p(x) log2 p(x) (for diskrete variabler). Ved kontinuerte variable anvendes differentialentropi h(X) = ∫ f(x) log f(x) dx (opmærksomhed på måleenheder).

Informastioner kan også beskrives sammenhængende: Den fælles information i et par (X,Y) gives ved i(X,Y) = -log p(X,Y), og den fælles entropi er H(X,Y) = E[i(X,Y)]. Den betingede entropi H(Y|X) måler uvisheden om Y givet X, og er relateret via H(X,Y) = H(X) + H(Y|X). Samlet information mellem X og Y kaldes mutual information I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X); den angiver hvor meget kendskab til den ene variabel reducerer usikkerheden om den anden.

Anvendelserne af informationsmængder spænder fra kodingsteori og data-kompression til kommunikation og maskinlæring. Enheden er typisk bit for diskrete passerende til log base 2, mens naturlige logaritmer kan føre til nats enheder. Væsentlige egenskaber inkluderer ikke-negativitet, kæderegler og informations- eller dataforarbejdningsligninger, der beskriver hvordan information fordeles og transformeres gennem systemer. Eksempelvis har en retfærdig mynt entropien H(X) = 1 bit, mens en biaseret mønt giver mindre end 1 bit.