Informationslänge

Informationslänge ist ein Begriff aus der Informationslehre und bezeichnet die Menge an Information, die eine Nachricht oder ein Ereignis trägt. In der gebräuchlichsten Form wird sie in Bits gemessen. Die Informationslänge eines konkreten Symbols x mit der Wahrscheinlichkeit p(x) wird durch I(x) = -log2 p(x) angegeben, das sogenannte Selbstinformationsmaß. Für eine Sequenz von Symbolen ergibt sich die Gesamtlänge als Summe der einzelnen Werte.

Der Erwartungswert der Informationslänge über alle möglichen Symbole ist die Entropie H(X) = E[-log2 p(X)]. Die Entropie gilt als Maß für das mittlere Informationsvolumen, das benötigt wird, um ein zufälliges Symbol aus einer Quelle zu beschreiben. In der Praxis dient sie als untere Schranke für die durchschnittliche Code-Länge pro Symbol bei optimaler Codierung (z. B. Huffman- oder Shannon-Fano-Codes).

Zusammenhang und Anwendungen: Die Informationslänge ist zentral in der Datenkompression. Symbole mit geringer Wahrscheinlichkeit tragen mehr Information und benötigen längere Codes, während häufige Symbole kurze Codes erhalten. Dadurch kann die durchschnittliche Informationslänge pro Symbol nahe der Entropie liegen. Die Bezeichnung Informationslänge ist in der deutschen Fachliteratur nicht durchgängig standardisiert; im Englischsprachigen wird oft von self-information oder information content gesprochen.

Beispiel: Für ein Binäralphabet mit p(0)=p(1)=0,5 hat jedes Symbol I(x)=1 Bit. Bei p(x)=0,01 beträgt I(x) ≈ 6,64 Bits. Diese Werte illustrieren, wie Wahrscheinlichkeiten die Informationslänge eines Symbols bestimmen.