Informaatioteoreettinen

Informaatioteoreettinen on adjektiivi, joka viittaa informaatioteoriaan, matemaattiseen kehykseen tutkimaan tiedon käsittelyä, siirtoa ja pakkaamista. Sillä viitataan usein lähestymistapaan, jossa ongelmia tarkastellaan informaation määrän, epävarmuuden ja jakelun rajoja määrittävien suureiden kautta. Käytännössä informaatioteoreettinen lähestymistapa pyrkii ymmärtämään, kuinka tehokkaasti dataa voidaan tallentaa, välittää ja tulkita.

Keskeisiä käsitteitä ovat entropia (mitattuna H), joka kuvaa epävarmuutta tai ylipäätään tiedon määrää; ehdollinen entropia; sekä mutual information I(X;Y), joka mittaa kahden satunnaismuuttujan välistä riippuvuutta. Kanavakapasiteetti C määrittää suurimman siirtonopeuden, jonka kanava voi virheettömästi tai kohtuullisella virheellä tukea. Rate-distortion-teoria tarkastelee, kuinka tiiviisti tietoa voidaan pakata hyväksyttävällä virheellä: laatua ja kohtuullisuutta tasapainotetaan bitin määrällä. Näiden perusmittojen avulla voidaan muotoilla optimaalisen koodauksen, pakkaamisen ja viestinnän rajat.

Sovelluksia ovat tiedon pakkaaminen, tiedonsiirto ja koodaus sekä signaalinkäsittely ja tilastotiede. Informaatioteoreettinen näkökulma auttaa tutkimaan esimerkiksi pakkausalgoritmien teoreettisia rajoja, kanavien kapasiteettia sekä tiedon käsittelyn epävarmuuden hallintaa. Alalla kehittyy myös koneoppimisen ja tietojenkäsittelytieteen yhteydessä informaatioteoreettisia menetelmiä, kuten informaation bottleneck -periaatetta koskevat lähestymistavat.

Historia: käsitteet juontuvat Claude Shannonin vuonna 1948 julkaisemasta teoksesta A Mathematical Theory of Communication, joka muodosti informaatioteorian perustan. Käytännön mittayksiköinä käytetään bittiä, joka kuvaa kahden tilan eroa. Informaatioteoreettinen lähestymistapa on siten laajasti levinnyt sekä viestintätekniikassa että tietojenkäsittelytieteessä.