informationsmängd
Informationsmängd är ett begrepp inom informationslära som beskriver hur mycket information ett meddelande eller en händelse avger eller reducerar vår osäkerhet om ett fenomen. Begreppet är modellberoende och används främst inom informationsteori, kommunikation och dataanalys.
För en diskret slumpvariabel X som antar värden x med sannolikhet p(x) är informationsinnehållet hos att observera
Informationsmängden kopplas till kodning och kommunikation via satsen om källkodning: i stort sett kan ett meddelande
Exempelvis har en rättvis myntfördelning H(X) = 1 bit, medan ett alfabet med 26 jämt sannolika bokstäver
Begränsningar inkluderar beroende av den antagna sannolikhetsfördelningen och att informationsmängden är en modellrelaterad måttstock snarare än