tietoteorian

Tietoteoria on tietojen mittaamisen, siirtämisen ja tallentamisen matemaattinen teoria. Sen tavoitteena on kuvata ja kvantifioida informaation määrää, mahdollisia pakkausmenetelmiä sekä viestinnän ja tallennuksen rajoja. Teoria yhdistää matematiikan, tilastotieteen ja sähkö- sekä tietotekniikan alueita.

Historian merkittävin virstanpylväs on Claude Shannonin vuonna 1948 julkaisema A Mathematical Theory of Communication, joka esitteli entropian käsitteen ja kanavien kapasiteetin idean. Shannonin teoreettiset tulokset johtivat lähde- ja kanavakoodaukseen sekä pakkausteorioiden kehittämiseen, ja ne ovat sittemmin laajentuneet moniin alahankkeisiin kuten tilastolliseen tiedon käsittelyyn, virheenkorjaukseen ja pakkausteorioihin.

Keskeiset käsitteet ja teoreemat liittyvät entropiaan H, joka mittaa epävarmuuden määrää tai informaation keskikokoista sisältöä. Kanavakapasiteetti C määrittelee suurimman mahdollisen virheettömän tiedonsiirtotaajuuden kanavalla, kun taas yhteinen informaatio I(X;Y) kuvaa miten paljon tieto X ja Y jakavat. Lähde- ja kanavakoodauksen teoreemat osoittavat, että tietoa voidaan pakata kohtuullisesti pienempään tilavuuteen (lähdekoodeja) ja virheitä voidaan vähentää entistä luotettavammaksi (kanavakoodeja), sekä mikä on optimaalisen kauko- ja pakkaussuhteen rajat (rate-distortion-teoria).

Sovellukset ulottuvat digitaalisista viestintäjärjestelmistä ja verkkoliikenteestä data-pakkauksiin sekä virheenkorjauksiin käytettäviin koodauksiin. Tietoteoria on keskeinen työkalu sekä sähkö- ja tietotekniikassa että tilastollisessa inferenssissä, ja sen vaikutus näkyy laajasti nykyajan tietoverkoissa ja tiedonhallinnassa.