informasjonsmengden

Informasjonsmengden er et sentralt begrep i informasjonsteori og beskriver mengden informasjon som et bestemt utfall av en stokastisk kilde gir. For et utfall x med sannsynlighet P(x) defineres informasjonsmengden som I(x) = -log2 P(x) bits. Kort sagt blir sjeldne eller overraskende hendelser tildelt mer informasjon enn vanlige hendelser. For en tilfeldig variabel X med verdier x, er den forventede informasjonsmengden, eller entropien, H(X) = E[I(X)] = -sum P(x) log2 P(x) bits. Enhetene er bits når logaritmen benyttes i base 2; man kan også bruke naturlige enheter kalt nats ved log_e.

Informasjonsmengden har flere viktige egenskaper: for uavhengige hendelser er informasjonsmengden additiv, I(x,y) = I(x) + I(y). Begrepet skiller mellom enkeltutfalls informasjonsinnhold og den gjennomsnittlige informasjonsmengden i en kilde. Entropien gir en høyeste grense for hvor mye informasjon som kan overføres eller representeres per symbol i en optimal kode, noe som ligger til grunn for kilde- og kanal-kodingsteori.

Eksempel: en rettferdig myntkasting gir hver utfall I = -log2(1/2) = 1 bit, mens et sjeldent utfall med sannsynlighet 0,01 har I ≈ log2(100) ≈ 6,64 bits. En urettferdig mynt med P(H)=0,9 har I(H) ≈ 0,152 bits, og I(T) ≈ 3,322 bits; den forventede informasjonen per kast er entropien til mynten.

Relasjoner til andre konsepter: informasjonsmengden er ikke det samme som Kolmogorov-kompleksitet, som måler lengden på den korteste program som genererer en streng. Den har bred anvendelse i data-komprimering, kommunikasjon og analyse av informasjonsstrømmer.

---