informationsteorin

Informationsteorin är en gren av matematik och informationsteknik som studerar hur information mäts, lagras och överförs över kommunikationssystem. Den moderna grundläggningen lades av Claude E. Shannon i 1948 års verk A Mathematical Theory of Communication. Teorin delar ofta upp problem i två huvuddelar: källkodning (datareducering) och kanal-kodning (felkorrigering och robusthet i överföring).

Entropi, H(X), är ett mått på osäkerheten eller informationsinnehållet i en källa X. För diskreta källor definieras den som H(X) = -sum_x p(x) log p(x). Villkorlig entropi och ömsesidig information I(X;Y) beskriver hur mycket information som överförs mellan källa och mottagare genom en kanal.

Shannons källkodningssats säger att den genomsnittliga längden på en optimal kod inte kan underskrida källans entropi, vilket möjliggör effektiv datareducering. Kanal-kodningens sats (noisy-channel theorem) säger att kommunikation kan göras tillförlitlig upp till kanalens kapacitet C, även i närvaro av störningar, med tillräckligt lång kodlängd.

Tillämpningar finns inom datareducering (lossless som ZIP; lossy som ljud- och bildkompression), signalkodning och felkorrigering (t.ex. LDPC- och Turbo-koder), telekommunikation och digital lagring. För kontinuerliga variabler används differentialentropi. Informationsteorin ger ett teoretiskt ramverk som beskriver fundamentala begränsningar och möjligheter för hur mycket information som kan överföras, komprimeras och bevaras i praktiska system.