informatiehoeveelheid

Informatiehoeveelheid is een relatiebegrip uit de informatieleer dat aangeeft hoeveel informatie een bericht of gebeurtenis bevat. Het concept gaat uit van de onvoorspelbaarheid van de gebeurtenis: hoe onvoorspelbaarder, hoe groter de informatiehoeveelheid. In de praktijk wordt de hoeveelheid informatie meestal uitgedrukt in bits. Het begrip is fundamenteel voor communicatie, dataopslag en datareductie.

De informatieinhoud van een specifieke uitkomst wordt vaak uitgedrukt met de zelfinformatie I(p) = -log2(p) bits, waarbij p de kans van de uitkomst is. Als een uitkomst waarschijnlijk is, bevat zij weinig informatie; zeldzame uitkomsten leveren veel informatie op. Een bekend voorbeeld is een eerlijke muntworp: elke kant heeft p = 1/2, de zelfinformatie is I = 1 bit per mogelijke uitkomst.

De verwachte hoeveelheid informatie over een bron wordt gegeven door de entropie H(X) = -∑ p(x) log2 p(x) bits. Dit is de gemiddelde hoeveelheid informatie die nodig is om de uitkomsten van X te beschrijven. Bij gelijke waarschijnlijkheid over n uitkomsten is H(X) = log2 n, wat de mate van onzekerheid van de bron quantifyert en direct gerelateerd is aan compressieefficiëntie.

Toepassingen van informatiehoeveelheid omvatten datastructurering, codering en communicatiekanalen. De concepten entropie en zelfinformatie vormen kernbegrippen bij het bepalen van kanaalcapaciteit, redundantie en efficiëntie van informatieoverdracht. Naast deze informatiefilms verbindt men het begrip soms met verwante noties zoals de thermodynamische entropie en de Kolmogorovcomplexiteit, die informatie vanuit ander perspectief benaderen.