Informationsteori

Informationstheorie ist das mathematische Fachgebiet, das die Quantifizierung, Speicherung und Übertragung von Informationen behandelt. Es modelliert Quellen, Kanäle und Empfänger und untersucht, wie Information effizient und zuverlässig verarbeitet werden kann.

Zentrale Größen sind die Entropie H(X), der durchschnittliche Informationsgehalt einer Zufallsquelle, die in Bits gemessen wird, sowie bedingte Entropie H(X|Y) und gegenseitige Information I(X;Y), die Zusammenhänge zwischen Signalen beschreiben.

Das Quellenkodierungsprinzip besagt, dass die minimale durchschnittliche Kodierungslänge pro Symbol durch H(X) beschränkt ist, und es Codes gibt, die diese Grenze bei großen Blocklängen annähern. Das Kanalkodierungsprinzip definiert die Kanal-Kapazität C als das Maximum von I(X;Y) über Eingangsverteilungen; bei R < C lassen sich Nachrichten mit vernachlässigbarer Fehlerwahrscheinlichkeit übertragen.

Im Kontinuierlichen führen Konzepte wie die differential entropy und Modelle wie der gaußsche Kanal zu entsprechenden Kapazitätsformen, etwa C = B log2(1 + S/N) Bits pro Sekunde in vielen Praxismodellen.

Anwendungen finden sich in der Datenkompression, der Fehlerkorrektur, der digitalen Kommunikation, Datenspeicherung und Netzwerken.

Historisch begründete Claude E. Shannon 1948 in A Mathematical Theory of Communication die moderne Informationstheorie; weitere Impulse kamen von Nyquist und Hartley. Die Theorie bildet eine Grundlage für Telekommunikation, Statistik, Informatik und verwandte Disziplinen.