informatievergelijking

Informatievergelijking is een term die in informatica, wiskunde en aanverwante vakgebieden wordt gebruikt voor wiskundige uitdrukkingen die informatierelaties tussen variabelen beschrijven. Het is geen vaste, officiële term met een universele definitie; in verschillende bronnen kan het gebruikt worden als overkoepelende aanduiding voor vergelijkingen die informatie kwantificeren, testen of optimaliseren. De term refereert doorgaans aan concepten uit de informatietheorie of aan modellen van informatieoverdracht en informatieverwerking.

Veelvoorkomende vormen zijn entropie en verwante concepten zoals H(X) en I(X;Y). Entropie H(X) meet de hoeveelheid informatie in een variabele X: H(X) = - ∑ p(x) log p(x). Mutual informatie I(X;Y) meet de hoeveelheid informatie die X en Y gemeen hebben: I(X;Y) = H(X) - H(X|Y). In communicatie- en datawetenschap worden dergelijke vergelijkingen gebruikt om datastromen, kanalen en afhankelijkheden tussen variabelen te kwantificeren, en om features te selecteren op basis van informatiegewichten.

Toepassingen en kanttekeningen: informievergelijkingen worden gebruikt in feature selectie, modelbeoordeling en analyse van informatie-overdracht in communicatiekanalen. Ze vereisen vaak aannames over discretisatie en statistische onafhankelijkheid, en de resultaten zijn gevoelig voor schattingen van kansverdelingen. De term is contextafhankelijk; in sommige bronnen kan zij een bredere of juist specifieke betekenis hebben.