Informationsindhold

Informationsindhold, også kendt som selvinformation, er et mål for hvor overraskende eller informativ en bestemt udfald af en tilfældig variabel er. For et udfald x med sandsynligheden p(x) defineres informationsindholdet som I(x) = -log_b p(x), hvor logaritmen bestemmer enheden. Brugen af base 2 giver måleenheden bits, base e giver nats, og base 10 giver dits.

For en tilfældig variabel X med distributionen p(x) er den gennemsnitlige informationsindhold eller entropi H(X) = E[I(X)] = -sum_x p(x) log_b p(x). Entropien måler den gennemsnitlige information pr. symbol i et kildeudtryk og giver et teoretisk nedre grænse for gennemsnitlig kodningslængde i effektiv datakompression.

Eksempler: Et udfald med sandsynlighed p = 1/2 har I(x) = 1 bit. Et udfald med p = 1/4 har I(x) = 2 bits, mens et udfald med p = 1 har I(x) = 0 bits (ingen ny information udbydes af et vist udfald). Sjældnere udfald giver højere informationsindhold.

Anvendelser: Informationsindhold er centralt i informations- og kommunikationsteori, dataretrieval og kodning. Det bruges til at vurdere hvor meget information et signal eller en besked formidler og til at udforme effektive koder og kompressionsalgoritmer. Per-basis information (I(x)) beskriver et enkelt udfald, mens entropien beskriver kildens gennemsnitlige informationsstrøm.

Vigtige forbehold: Informationsindhold afhænger af den anvendte sandsynlighedsmodel; ændres vores forventninger ændres også I(x) og H(X). Det er derfor et modellensbaseret mål snarere end en absolut egenskab ved et dataudfald.