Entropiberäkningar

Entropiberäkningar beskriver hur entropi beräknas i olika vetenskapsområden. Entropi är ett mått på osäkerhet, oordning eller informationens innehåll hos ett stokastiskt system. Inom termodynamik och statistik används den för att koppla makrostatusar till deras miljontals möjliga mikrostaters antal, medan informationsteori behandlar den som ett mått på fördelad information i slumpmässiga variabler.

Inom informationsvetenskapen definieras den diskreta entropin som H(X) = - sum_x p(x) log_b p(x). Basen b bestämmer enheten: 2 ger bitar, e ger nats. För kontinuerliga variabler används differentialentropi h(X) = - ∫ p(x) log p(x) dx, men den har särskilda egenskaper och är inte invariant under förändringar av måttenhet eller transformationer på samma sätt som den diskreta entropin.

I termodynamik och statistisk mekanik ges entropi ofta av S = k_B ln W, där W är antalet mikrostaters konfigurationer för ett givet makrostat. I en ensemble kopplas S till sannolikhetsfördelningen över tillstånd och till partitionfunktioner; olika gränsvillkor ger olika relationer mellan entropi, energi och temperatur.

Beräkningar följer vanligtvis att identifiera systemet och relevanta tillstånd, bestämma deras sannolikheter och tillämpa lämplig entropiformel. För enkla modeller räcker det med analytisk räkning; för data används uppskattning av fördelningar från observationer (plug-in estimatorer) och, i fall med begränsad information, Maximum Entropy-principen för att välja en rimlig fördelning.

Användningsområden inkluderar termodynamiska beräkningar, informations- och kodningssystem, maskininlärning och ekologiska mått på mångfald. Viktiga begränsningar är att entropi beror på hur man mäter och på valet av enheter samt att differentialentropi inte är invariant under förändringar av variabelns mått och ofta kan vara negativ.