Perplexität

Perplexität ist eine Kennzahl in der Informationstheorie und der Sprachmodellierung, die misst, wie gut ein Wahrscheinlichkeitsmodell eine Folge von Wörtern vorhersehen kann. Sie wird häufig verwendet, um die Leistungsfähigkeit von Sprachmodellen wie n-grammen oder neuronalen Netzen auf Textkorpora zu bewerten. Die Perplexität gibt an, wie „überraschend“ die beobachteten Daten für das Modell sind, und dient als praktischer Indikator für die Güte der Wahrscheinlichkeitsabschätzungen.

Metrische Definition: Für ein Modell M, das p(wi | w1,...,w_{i-1}) schätzt, und einen Korpus S mit N Wörtern, ist die Perplexität PP(M,S) definiert als PP(M,S) = exp( - (1/N) ∑_{i=1}^N log p_M(wi | w1,...,w_{i-1}) ). Wird der Logarithmus in einer anderen Basis verwendet, ändert sich die Form entsprechend (z. B. Basis 2 ergibt PP = 2^{H}).

Interpretation: Die Perplexität lässt sich als der effektive Anzahl möglicher nächster Tokens interpretieren. Ein niedriger Wert bedeutet, dass das Modell das nächste Wort mit geringerem Überraschungsgrad vorhersagt. Für eine gleichverteilte Verteilung über V Wörter wäre die Perplexität V.

Zusammenhang zu anderen Größen: Die Perplexität entspricht dem Exponenten der durchschnittlichen negativen Log-Wahrscheinlichkeit (Cross-Entropy) des Modells. Sie ist ein praktischer Indikator, misst aber nicht notwendigerweise Textkohärenz oder semantische Qualität.

Anwendungen und Grenzen: Perplexität wird zur Modellselektion, zum Vergleich von Architekturen oder zur Überwachung des Lernfortschritts verwendet. Sie hängt stark vom Korpus, der Tokenisierung und dem Vokabular ab und liefert kein umfassendes Urteil über generative Fähigkeiten oder stilistische Qualitäten einzelner Texte.