Informatietheorie

Informatietheorie is een vakgebied binnen de wiskunde en informatica dat de kwantificering, opslag en communicatie van informatie bestudeert. Het ontstond in de jaren veertig met bijdragen van Claude E. Shannon en vormt de theoretische basis voor moderne digitale communicatie en datareductie.

Belangrijke concepten zijn onder meer entropie, mutual information en kanaalcapaciteit. Voor een discrete informatiebron X met verdeling p(x) is de entropie H(X) een maat voor de gemiddelde hoeveelheid informatie per bericht: H(X) = -∑ p(x) log2 p(x). De mutual information I(X;Y) meet hoeveel informatie Y levert over X en geeft het effect van toegang tot Y weer. Bij een communicatiekanaal met invoer X en uitvoer Y, beschreven door p(y|x), bepaalt I(X;Y) hoe veel informatie over X via Y kan worden overgebracht.

Belangrijke stellingen omvatten de broncoderings- en kanaalcoderingstheorema’s. De broncoderingsstelling stelt dat een bron met entropie H zo kan worden gecodeerd dat de gemiddelde codegrootte zo dicht mogelijk bij H ligt, maar niet minder. De noisy-channel coderingsstelling bewijst dat betrouwbare communicatie mogelijk is bij een coderingssnelheid R die kleiner is dan de kanaalcapaciteit C, waarbij C de maximale mutual information over invoerdistributies is.

Aanvullende concepten zijn rate-distortiontheorie, die de minimale informatierate voor een gewenste distorsie R(D) beschrijft, en de aard van typische sequenties via de asymptotische equipartition properties. Informatietheorie heeft brede toepassingen in datacompressie, foutenkorrigerende codes, communicatiesystemen en netwerktheorie.