RényiEntropien

Rényi-Entropien bezeichnen eine Familie von Entropie-Maßen, die von dem ungarisch-französischen Mathematiker Alfréd Rényi eingeführt wurden. Sie erweitern das Konzept der Informationstheorie um einen Parameter α, der je nach Ausprägung das Gewicht der Wahrscheinlichkeiten unterschiedlich betont. Für eine diskrete Wahrscheinlichkeitsverteilung P = {p_i} über einer endlichen oder abzählbar unendlichen Menge definiert sich die Rényi-Entropie als H_α(P) = 1/(1−α) log(∑_i p_i^α), wobei das Logarithmus die Basis und damit die Einheit bestimmt (Basis e liefert Nats, Basis 2 liefert Bits). Gilt α=1, nimmt man den Grenzwert und erhält die Shannon-Entropie H(P) = −∑_i p_i log p_i.

Spezialfälle und Eigenschaften: Für α=0 ergibt sich H_0(P) = log|Supp(P)|, dem Logarithmus der Anzahl der nicht Null-Wahrscheinlichkeiten. Für α→∞ strebt H_α(P) dem Min-Entropy-Ansatz zu: H_∞(P) = −log max_i p_i. Die Rényi-Entropien bilden eine ein-Parameter-Familie, deren Werte mit steigendem α tendenziell kleiner werden; für feste P ist H_α nichtincreasing in α. Die Familie enthält bekannte Spezialfälle wie die Collision-Entropy (α=2) und die Min-Entropy (α=∞).

Bezug und Anwendungen: Die Rényi-Entropien sind eng verwandt mit Diversitätsmaßen (Hill-Zahlen) über den Zusammenhang D_α = exp(H_α). Praktische Anwendungen finden sich in der Informationstheorie (Quellencodierung, Hypothesentests), Statistik, Ökologie zur Messung von Artenvielfalt, Maschinellem Lernen bei robusten Schätzungen von Entropie und in der Kryptographie, wo Min-Entropy für Sicherheitsbewertungen zentral ist.