informationsteoretiska
Informationsteoretiska frågor handlar om hur information kvantifieras, lagras och överförs i kommunikationssystem. Inom informationsteorin studeras hur mycket information ett meddelande innehåller, hur effektivt information kan kodas för lagring och överföring samt hur mycket som går förlorat vid kompression eller kommunikation under viss felexponering. Fältet omfattar källkodning, kanal- eller kodningsteori och gränser för vad som är teoretiskt möjligt.
Historiskt grundades informationsteorin av Claude Shannon i slutet av 1940-talet. Han introducerade entropi som ett mått
Huvudbegrepp inom informationsteoretiska studier inkluderar entropi (mängden information i ett slumpmässigt utfall), ömsesidig information (informativt samband