Sprachmodellierung

Sprachmodellierung ist ein Teilgebiet der natürlichen Sprachverarbeitung (NLP), das die Wahrscheinlichkeit einer Folge von Wörtern oder Zeichen in einer Sprache schätzt. Ein Sprachmodell ordnet jeder möglichen Textsequenz eine Wahrscheinlichkeit zu und ermöglicht damit Aufgaben wie Vorhersage des nächsten Tokens, Generierung von Texten oder Bewertung von Sprachflüssen. Typische Ziele sind die Wahrscheinlichkeitsabschätzung von Wortfolgen und die Modellierung von Sprachstrukturen.

Historisch begann Sprachmodellierung mit statistischen Modellen wie n-gram-Modellen, die Wahrscheinlichkeiten von Wortfolgen anhand vorheriger n−1 Tokens schätzen. Sie nutzten Glättungstechniken und Backoff-Strategien. Mit zunehmender Rechenleistung entwickelten sich neuronale Netzwerke, darunter rekurrente Netze (RNN, LSTM) und schließlich Transformer-Modelle. Autoregressive Modelle wie GPT-Varianten generieren Text, indem sie das nächste Token basierend auf vorherigen Tokens vorhersagen; Encoder-Decoder-Architekturen adressieren auch Aufgaben wie Übersetzung oder Zusammenfassung.

Anwendungen umfassen Textgenerierung, Autovervollständigung, Spracherkennung, maschinelle Übersetzung, Chatbots, Suchmaschinen-Ranking sowie Textzusammenfassung. Die Modelle werden auf großen Textkorpora trainiert, typischerweise durch Maximum-Likelihood-Training und Optimierung der Kreuzentropie. Wichtige Bewertungsgrößen sind Perplexity und andere Metriken der Verständlichkeit und Kohärenz.

Herausforderungen umfassen hohen Rechenaufwand, Datenbias, Sicherheit, Datenschutz und das Risiko von Halluzinationen, d. h. das Generieren plausibler, aber falscher Informationen. Die Sprachmodellierung hat sich in den letzten Jahren durch Transformer-Modelle grundlegend verändert und bleibt ein zentrales Element moderner NLP-Systeme.