informasjonsteori

Informasjonsteori er en gren av matematikk og telekommunikasjon som studerer kvantifisering, lagring og overføring av informasjon. Teorien ble grunnlagt av Claude E. Shannon tidlig på 1940-årene, og dens resultater har hatt stor innflytelse på digital kommunikasjon og databehandling. Hovedideen er å modellere informasjon som en mengde uavhengige hendelser og å måle dens mengde i enhet av bit, ved bruk av logaritmer (vanligvis base 2).

En sentral størrelse er entropi, H(X), som angir forventet informasjonsinnhold per kildeutgang. Entropi bestemmer den teoretiske minste gjennomsnittlige antall bits som trengs for å representere meldingene fra kilden. Kildekodingsteoremet sier at det er mulig å komprimere data til omtrent entropien i gjennomsnitt, uten tap på langsiktig sikt, og at man ikke kan gjøre det bedre enn entropien i langsiktig gjennomsnitt.

Mutuell informasjon, I(X;Y), måler hvor mye informasjon om X som kan avledes fra observasjonen av Y. Dette danner grunnlaget for å analysere kanaler og avgrense hvor mye informasjon som kan overføres med lav feil over en støyet forbindelse. Shannon-Hartley-teoremet gir den teoretiske kapasiteten for en kontinuerlig kanal med båndbredde B og signal-til-støy-forhold S/N: C = B log2(1 + S/N) bits per sekund.

Kanalkoding og kildkodingsprinsippene utgjør kjernen i informasjonsteorien. Kildoding fokuserer på effektiv komprimering av data, mens kanalkoding introduserer nødvendig redundans for å oppdage og korrigere feil i kommunikasjonen. Rate-distortion-teori undersøker avveiningen mellom komprimeringsgrad og tap av informasjon når tap er tillatt. Til sammen har disse konseptene muliggjort effektive digitale systemer, fra filkompresjon og streaming til satellittkommunikasjon og Internett.