Informationsteoretiska

Informationsteoretiska frågor handlar om hur information kvantifieras, lagras och överförs i kommunikationssystem. Inom informationsteorin studeras hur mycket information ett meddelande innehåller, hur effektivt information kan kodas för lagring och överföring samt hur mycket som går förlorat vid kompression eller kommunikation under viss felexponering. Fältet omfattar källkodning, kanal- eller kodningsteori och gränser för vad som är teoretiskt möjligt.

Historiskt grundades informationsteorin av Claude Shannon i slutet av 1940-talet. Han introducerade entropi som ett mått på information och osäkerhet, samt centrala resultat som källkodningens teorem och kanalens kapacitets teorem. Dessa teorier beskriver hur man bäst komprimerar data och hur mycket information som kan överföras på en given kommunikationskanal utan fel i närvaro av brus. Andra viktiga begrepp är ömsesidig information och kanalens kapacitet, som anger den maximala säkra överföringshastigheten för en kanal under optimala förhållanden.

Huvudbegrepp inom informationsteoretiska studier inkluderar entropi (mängden information i ett slumpmässigt utfall), ömsesidig information (informativt samband mellan två variabler), samt rate-distortion-teori (minsta möjliga nedströms överföringsrate för en angiven distortionsnivå). Metoderna används inom dataförlustfri och förlustbaserad kompression, telekommunikation, nätverk, och felkorrigerande kodning. Fältet överlappar även med områden som kryptografi, biologi och maskininlärning där explicita mått på information och effektivitet är centrala. Informationsteori står i relation till algoritmisk informationsteori och statsvetenskaplig sannolikhet, men fokuserar främst på probabilistiska modeller av kommunikation och överföring av information.