informaatioteorian

Informaatioteoria, lyhyesti I-teoria, on tieteenala, joka tutkii tiedon mittaamista, varastointia ja siirtämistä epävarmuuden näkökulmasta. Se sai alkunsa 1940-luvulla Claude Shannonin töistä A Mathematical Theory of Communication (1948). Teorian keskeinen ajatus on, että tieto voidaan mitata epävarmuuden vähentämisen määränä. Informaatioteoria tarkastelee sekä yksittäisen tietolähteen että viestintäkanavan ominaisuuksia sekä keinoja pakata, suojata ja välittää tietoa mahdollisimman tehokkaasti.

Peruskäsitteitä ovat entropia, mutual information ja differentiaalientropia. Diskreetin lähteen tapauksessa entropia H(X) kuvaa yhden symbolin keskimääräistä informaatioarvoa ja määritelmä voidaan kirjoittaa H(X) = - sum p(x) log2 p(x). Mitä suurempi entropia, sitä vähemmän ennustettavissa oleva tieto. Konditionaalinen entropia H(Y|X), yhteisentropia H(X,Y) ja riippuvuus I(X;Y) mittaavat, kuinka paljon Y paljastaa X:stä. Kanavien kapasiteetti C määrittelee suurimman mahdollisen virheettömän tiedonsiirtokeston; Shannonin kanavakapasiteetti saadaan maksimoimalla I(X;Y) syöttötilan p(x) yli. Teoria käsittelee sekä diskreettejä että jatkuvia lähteitä; jatkuvilla muuttujilla käytetään differentiaalientropiaa.

Keskeisiä sovelluksia ovat viestintäverkot, tiedon pakkaaminen sekä virheenkorjauskoodeja. Esimerkkejä koodeista ovat LDPC ja Reed–Solomon. Informaatioteorian periaatteet ovat vaikuttaneet laajalti tietojenkäsittelyyn, koneoppimiseen ja signaalityöhön; ne tarjoavat yleisiä periaatteita siitä, miten epävarmuutta hallitaan, miten tietoa tiivistetään ja miten se voidaan välittää kustannustehokkaasti.