Informationsmängd

Informationsmängd är ett begrepp inom informationslära som beskriver hur mycket information ett meddelande eller en händelse avger eller reducerar vår osäkerhet om ett fenomen. Begreppet är modellberoende och används främst inom informationsteori, kommunikation och dataanalys.

För en diskret slumpvariabel X som antar värden x med sannolikhet p(x) är informationsinnehållet hos att observera x givet av I(x) = -log2 p(x) bitar. Den förväntade informationsmängden, eller entropin, är H(X) = −∑x p(x) log2 p(x) bitar. Vid kontinuerliga variabler används differential entropi h(X) = −∫ f(x) log f(x) dx (i nats om loggningen sker med bas e, i bitar om basen är 2). Enheten bitar är den vanligaste.

Informationsmängden kopplas till kodning och kommunikation via satsen om källkodning: i stort sett kan ett meddelande endast komprimeras till en medellängd som inte understiger entropin, och med optimal källkodning kan den genomsnittliga längden närma sig H(X) när blocklängden ökar.

Exempelvis har en rättvis myntfördelning H(X) = 1 bit, medan ett alfabet med 26 jämt sannolika bokstäver ger H ≈ log2 26 ≈ 4,7 bitar per symbol. Informationsmängden används därmed inom dataförädling, överföring av data över kommunikationskanaler och i studier av informationsinnehåll i olika signaler och meddelanden.

Begränsningar inkluderar beroende av den antagna sannolikhetsfördelningen och att informationsmängden är en modellrelaterad måttstock snarare än en universell egenskap hos ett enskilt meddelande.