Entropimåttet

Entropimåttet är ett svenskt begrepp som vanligtvis används för att beteckna ett mått på entropi eller osäkerhet i ett system. Begreppet är generellt och kan i olika sammanhang referera till olika matematiska definitioner som beskriver hur mycket slumpmässighet eller ordning som finns i ett tillstånd.

I informationsvetenskapen kopplas entropimåttet ofta till Shannon-entropin, H(X) = -∑ p(x) log p(x). Enheten beror på logbasen; med bas 2 fås bitar. Entropimåttet är som mest vid uniform fördelning och minskar när sannolikheter koncentreras.

I termodynamik och statistisk mekanik används entropimåttet i form av Boltzmann–Gibbs- eller liknande definitioner. Den traditionella Boltzmann-formeln S = k_B ln Ω kopplar entropin till antalet mikrostatstillstånd. Vid kontinuerliga fördelningar används ofta S = -k_B ∫ p(x) log p(x) dx.

Gemensamma egenskaper inkluderar att entropimåttet är icke-negativt, att det ökar med osäkerhet och att det uppvisar kedjeregel och subadditivitet för sammanställda system.

Användningar omfattar dataöverföring och komprimering, statistisk inferens, maskininlärning och ekologisk mått av mångfald. Att uppskatta entropimåttet från data kräver sannolikhetsuppskattningar; små prov ger skevheter som ofta korrigeras med bias‑korrigeringar eller jackknife-/bootstrap‑metoder.

Se även: Shannon-entropi, Boltzmann–Gibbs-entropi, Renyi-entropi. Eftersom entropimåttet används i flera discipliner kan betydelsen variera med kontexten.

---