Unigrammodell

Ein Unigrammodell, auch Unigrammodell genannt, ist ein einfaches statistisches Sprachmodell, das die Wahrscheinlichkeit einer Wortfolge anhand der Häufigkeit einzelner Wörter schätzt und eine Unabhängigkeitsannahme zwischen aufeinanderfolgenden Wörtern trifft. Formal wird die Wahrscheinlichkeit einer Folge w1, w2, ..., wn durch P(w1, w2, ..., wn) ≈ ∏i P(wi) angenähert. Die Einzelwahrscheinlichkeit P(w) eines Wortes entspricht der relativen Häufigkeit des Wortes im Trainingstext.

Training und Schätzung erfolgen aus einem Korpus. Zählt man die Vorkommen jedes Wortes und teilt durch die Gesamtzahl der Token, erhält man P(w) = count(w) / N. Um Nullwahrscheinlichkeiten zu vermeiden und auch seltenen Wörtern eine gewisse Wahrscheinlichkeit zu geben, kommen Glättungstechniken zum Einsatz, zum Beispiel Add-one (Laplace) Glättung, Lidstone-Glättung oder Good-Turing-Glättung. Oft wird auch ein spezielles unbekanntes Token (OOV) verwendet, um unbekannte Wörter zu repräsentieren.

Anwendungen finden sich vor allem als Basismodelle in der statistischen Sprachmodellierung, Information Retrieval, Spracherkennung und Textklassifikation. Als Merkmalsquelle dient es auch in naive-Bayes-Klassifikatoren. Aufgrund seiner Einfachheit wird das Unigrammodell häufig als Referenz- oder Vorstufenmodell genutzt und dient zum schnellen Vergleich mit komplexeren n-Gramm-Modellen.

Limitierungen umfassen die fehlende Berücksichtigung von Wortreihenfolge und Kontextabhängigkeiten, das Fehlen von Syntax- oder Semantikinformationen sowie oft eine schlechte Perplexität im Vergleich zu Modellen mit größeren n. Es ist das n = 1-Glied in der Familie der n-Gramm-Modelle und lässt sich durch Glättung und Vorverarbeitung verbessern, bleibt aber im Kern ein sehr einfaches Modell.