NGrammModelle

nGrammModelle, auch n-Gramm-Modelle genannt, sind statistische Sprachmodelle, die die Wahrscheinlichkeit einer Wortfolge anhand der Häufigkeit von n-grammen schätzen. Sie basieren auf dem Markov-Ansatz, der annimmt, dass jedes Wort w_t abhängig ist von den vorherigen n−1 Wörtern. Die Wahrscheinlichkeit einer Sequenz w1,...,wT wird approximativ als Produkt von P(w_t | w_{t-n+1}, ..., w_{t-1}) berechnet.

Je nach Granularität unterscheidet man Wort-n-Gramme und Zeichen-n-Gramme. Typische Werte für n liegen zwischen 1 und 5, oft 2–3. Die Modelle werden aus großen Textkorpora trainiert; da viele n-Gramme in der Trainingsepoche nicht auftreten, kommen Glättungstechniken (Laplace, Lidstone, Good-Turing, Kneser-Ney) sowie Backoff- oder Interpolations-Strategien zum Einsatz, um Wahrscheinlichkeiten für unbekannte n-Gramme abzuleiten.

Anwendungsgebiete umfassen Spracherkennung, Textgenerierung, Autovervollständigung, maschinelle Übersetzung (als Baustein) sowie die statistische Analyse von Texten. N-Gramm-Modelle sind relativ einfach zu verstehen und zu implementieren, benötigen jedoch große Datenmengen und weisen begrenzten Kontextumfang auf, weshalb sie langfristig durch neuronale Sprachmodelle ersetzt wurden. Sie bleiben dennoch eine nützliche Basismethode in historischen Systemen, Lehreinheiten und Anwendungen mit eingeschränkten Ressourcen.