informationsteorin
Informationsteorin är en gren av matematik och informationsteknik som studerar hur information mäts, lagras och överförs över kommunikationssystem. Den moderna grundläggningen lades av Claude E. Shannon i 1948 års verk A Mathematical Theory of Communication. Teorin delar ofta upp problem i två huvuddelar: källkodning (datareducering) och kanal-kodning (felkorrigering och robusthet i överföring).
Entropi, H(X), är ett mått på osäkerheten eller informationsinnehållet i en källa X. För diskreta källor definieras
Shannons källkodningssats säger att den genomsnittliga längden på en optimal kod inte kan underskrida källans entropi,
Tillämpningar finns inom datareducering (lossless som ZIP; lossy som ljud- och bildkompression), signalkodning och felkorrigering (t.ex.