Entropibaserad

Entropibaserad är en beskrivning av metoder, kriterier och tillvägagångssätt som vilar på begreppet entropi. Entropi används som mått på osäkerhet, information eller oordning i olika sammanhang, och termen entropibaserad signalerar att analysen eller beslutsreglerna bygger på detta mått. Begreppet förekommer inom informationslära, termodynamik och statistik och används brett i teknikfält där osäkerhet och informationsinnehåll är centrala.

Inom informationsvetenskap används Shannon-entropi som definierar den genomsnittliga informationen i en sannolikhetsfördelning: entropin är ett mått på hur oförutsägbart ett symbolsystem är. Entropibaserade metoder används bland annat i data­kompression, kodning och i maskinlärning för att bedöma osäkerhet och för att utvärdera hur effektivt en modell minskar överraskningen i data.

I maskininlärning och statistiska metoder används entropi bland annat i byggandet av beslutsträd där information gain avgör hur attribut partitionerar data, i klustring och i bildbehandling där lokala entropimått används för att bedöma kantighet eller textur. Generellt används entropibaserade kriterier för att välja, vikta eller pröva olika modeller baserat på hur mycket osäkerhet de minskar.

Praktiska frågor inkluderar hur entropiberäkningar görs från begränsade data; små provstorlekar kan ge skeva estimat och kräver bias-korrigering eller smidning. Val av logaritmbasen (t.ex. log2 för bitar och naturliga logaritmer för nats) påverkar enhetsmåttet men inte grundläggande egenskaper hos entropi.