differentiaalientropia

De differentiële entropie, ook wel differential entropy genoemd, is een maat voor de onzekerheid van een continue kansverdeling. Voor een continue variabele X met dichtheidsfunctie f(x) en ondersteuning op het gehele R wordt de differentiële entropie gedefinieerd als h(X) = -∫ f(x) log f(x) dx, waarbij de logaritme kan worden genomen in verschillende basissen (nats bij natuurlijke log, bits bij log2).

Eigenschappen en interpretatie: differentiële entropie kan negatief zijn en is niet invariant onder coördinaattransformaties. Bij een transformatie Y = g(X) geldt h(Y) = h(X) + E[log|J_g(X)|], waarbij J_g de Jacobiaan van de transformatie is. Daardoor is h geen absolute maat voor onzekerheid, maar een relatieve maat die nuttig is bij vergelijkingen en in verband met KL-divergentie en mutual information.

Verband met discrete entropie en grenzen: de differentiële entropie is de continue tegenhanger van Shannon-entropie. Voor een variabele met vaste variantie σ^2 geldt de ongelijkheid h(X) ≤ 1/2 log(2π e σ^2), met gelijkheid voor de normale verdeling. Voor een variabele met een vast bereik [a,b] geldt h(X) ≤ log(b-a), met gelijkheid bij uniforme verdeling.

Voorbeelden: een uniforme verdeling op [0,1] heeft h(X) = log(1) = 0 (nats). Een standaardnormale verdeling N(0,1) heeft h(X) = 1/2 log(2π e) (in nats).

Toepassingen: differentiële entropie wordt toegepast in informatie-theorie, signaalverwerking en statistiek, onder andere bij schattingen van informatie, analyse van kanalen met ruis en in berekeningen van onderlinge informatie. Let op dat de maat afhankelijk is van de eenheid en transformaties, waardoor ze vooral geschikt is voor relatieve vergelijkingen en in combinatie met andere maatstaven zoals KL-divergentie.