informaatioteoriasta

Informaatioteoria on matematiikan, tietoliikenteen ja signaalinkäsittelyn ala, joka tutkii tiedon mittaamista, välittämistä ja pakkaamista sekä siihen liittyvää epävarmuutta ja rajoitteita. Teorian keskeinen idea on käsitellä informaatiota numeerisesti ja määrittää, kuinka tehokkaasti tiedon voi lähettää tai tallentaa häiriöolosuhteissa.

Historian merkittävä virstanpylväs on Claude E. Shannoniin vuonna 1948 julkaistu teos A Mathematical Theory of Communication, jossa esitettiin entropia- ja kanavakapasiteettiteoriat. Entropia mittaa satunnaisen lähteen keskimääräistä informaation määrää; perusyksiköt ovat bitit. Yhteisentropia H(X,Y) ja ehdollinen entropia H(X|Y) kuvaavat epävarmuuden jakautumista. Tiedon keskinäinen tieto I(X;Y) mittaa, kuinka paljon tieto Y paljastaa X:stä. Kanavakapasiteetti C määrittelee suurimman mahdollisen tiedonsiirtanopeuden, jonka ehjä viestintä voidaan saavuttaa ideaalissa olosuhteissa.

Shannonin koodauslauseet muodostavat teoreettiset rajat: lähdeviestin pakkaamisen ja tiedon esittämisen riittävyys sekä kanavavirheen torjunta. Informaatioteoria kattaa sekä diskreetin että jatkuvan signaalin ilmiöt (differential entropy). Käytännön sovelluksissa teoriaa hyödynnetään tiedonsiirrossa, tallennuksessa sekä virheenkorjauksessa ja pakkausmenetelmissä, kuten Huffman- ja aritmeettisissa koodeissa sekä nykyaikaisissa videon ja tekstin pakkausalgoritmeissa.