Informationsgehalts

Informationsgehalt, auch Selbstinformation genannt, ist eine Maßeinheit dafür, wie viel Information die Beobachtung eines bestimmten Ergebnisses einer Zufallsvariablen X liefert. Für ein diskretes Ereignis x mit Wahrscheinlichkeit p(x) wird der Informationsgehalt definiert als I(x) = -log2 p(x) Bit. Seltenere Ereignisse liefern einen höheren Informationsgehalt und wirken somit informativer.

Der durchschnittliche Informationsgehalt über alle möglichen Ergebnisse wird als Shannon-Entropie H(X) bezeichnet: H(X) = E[I(X)] = -∑ p(x) log2 p(x) Bit. Die Entropie gibt die erwartete Informationsmenge pro Beobachtung an und dient als fundamentale Grenze für die Kompression von Daten. Bei stetigen Verteilungen lautet das Gegenstück differential entropy h(f) = -∫ f(x) log f(x) dx; hier ist Vorsicht geboten, da sie nicht invariant gegenüber Koordinatenänderungen ist und negative Werte annehmen kann.

In Praxis findet der Informationsgehalt Anwendung in Codierung, Kommunikation und Statistik. Er bildet die Grundlage für die Konstruktion optimaler Codes: Nach dem Source-Coding-Theorem kann die durchschnittliche Code-Länge nicht kleiner sein als die Quell-Entropie H(X). Bei unabhängigen Symbolen addieren sich die einzelnen I(x_i).

Beispiele: Bei p(x) = 0,5 beträgt I(x) 1 Bit; bei p(x) = 0,25 beträgt I(x) 2 Bit. Der Begriff wird in der deutschen Fachliteratur oft mit Selbstinformation oder Informationsgehalt bezeichnet und ist ein zentrales Konzept der Informationstheorie.