Entropiakoodaus

Entropiakoodaus, tunnettu myös nimellä entropiapohjainen pakkaus tai häviötön pakkaus, on tiedonpakkausmenetelmä, joka pyrkii poistamaan redundanssia datasta ilman informaation häviämistä. Sen perusperiaate perustuu Claude Shannonin informaatioteoriasta johdettuun entropian käsitteeseen. Entropia kuvaa tietyn tietolähteen epävarmuutta tai satunnaisuutta. Mitä korkeampi entropia, sitä vähemmän dataa voidaan tehokkaasti pakata.

Entropiakoodausalgoritmit pyrkivät antamaan lyhyempiä koodeja usein esiintyville symboleille ja pidempiä koodeja harvemmin esiintyville. Tavoitteena on saavuttaa keskimääräinen koodin pituus lähellä lähteen entropiaa. Yleisiä entropiakoodausmenetelmiä ovat Huffman-koodaus ja aritmeettinen koodaus. Huffman-koodaus rakentaa puurakenteen, jossa pisimmät koodit ovat lehtisolmuissa ja lyhyimmät juurella. Aritmeettinen koodaus sen sijaan edustaa koko tiedostoa yhtenä erittäin pienenä lukuna välillä [0, 1], ja koodin pituus määräytyy sen mukaan, kuinka tarkka esitys tarvitaan.

Nämä menetelmät ovat olennaisia monissa tiedonpakkausformaateissa, kuten ZIP-, PNG- ja JPEG-tiedostoissa, ja niitä käytetään laajasti tiedonsiirrossa ja tallennuksessa vähentämään tarvittavan tilan tai kaistanleveyden määrää. Entropiakoodauksen tehokkuus riippuu datan ennustettavuudesta; mitä vähemmän ennustettavaa data on, sitä vähemmän sitä voidaan pakata.