informationsmätningar

Informationsmätningar är verktyg och mått som används för att kvantifiera informationens innehåll, mängd eller effektivitet i data och kommunikation. Begreppet används inom informations- och kommunikationsteori såväl som i statistik och dataforskning.

Centrala mått är entropi, som beskriver den genomsnittliga informationen i ett stokastiskt fenomen; ömsesidig information mäter hur mycket information två variabler delar, och Kullback–Leibler-divergens bedömer skillnaden mellan två sannolikhetsfördelningar. Inom maskinlärning används ofta informationsvinster eller andra informationsmått för att utvärdera beslutsträd och funktioner.

Mätningarna bygger på statistiska modeller av data eller kommunikationskanaler. Data samlas in, förbehandlas och analyseras för att uppskatta sannolikhetsfördelningar och beroenden. Resultaten används för att jämföra källor, övervaka systemets prestanda, optimera kompression eller säkerställa integritet och säkerhet i kommunikation.

Praktiska frågor som identitet av källor, provstorlek, stationäritet och bias påverkar tillförlitligheten i informationsmätningar. Tolkningsaspekter varierar mellan teoretiska mått och kontextuella mål. Sammanfattningsvis är informationsmätningar en bred uppsättning av principer och metoder för att kvantifiera informationens innehåll och dess överföring i olika system.