Lexikalanalyse

Lexikalanalyse bezeichnet die systematische Untersuchung des Lexikons einer Sprache – der Gesamtheit der Wortformen, ihrer Bedeutungen, Verwendungen und ihrer Beziehungen zueinander. Der Begriff wird in verschiedenen Disziplinen verwendet, wobei der Schwerpunkt variieren kann: in der theoretischen Lexikologie analysiert man Wortbedeutungen, Wortbildung, Wortarten, Kollokationen und semantische Felder; in der computerlinguistischen Praxis wird der Begriff oft breiter verwendet und schließt auch automatische Verarbeitung ein. Ziel ist es, Struktur, Herkunft und Nutzung des Wortschatzes abzubilden und zu erklären.

Zu den typischen Aufgaben der linguistischen Lexikalanalyse gehören die Erfassung von Lexemen und Lemmas, die Bestimmung von Bedeutungsnähe und Polysemie, die Zuordnung von Wörtern zu semantischen Netzen sowie die Untersuchung von Kollokationen, Registergebundenheit und lexikographischen Aspekten. Methoden umfassen korpusgestützte Analysen, Häufigkeits- und Verteilungsstatistiken, Semantikanalysen, Taxonomien von Wortfeldern sowie die Erstellung oder Erweiterung von Wörterbüchern und Lexika.

In der Informatik wird Lexikalanalyse häufig als der erste Schritt der Übersetzung oder Interpretation von Quelltext verstanden: ein Lexer teilt den Text in Tokens wie Schlüsselwörter, Operatoren, Bezeichner und Literale auf und übergibt sie dem Parser. Die Umsetzung erfolgt mit regulären Ausdrücken, endlichen Automaten oder spezialisierten Generierungswerkzeugen. Neben der Programmierung wird der Begriff auch in der Verarbeitung natürlicher Sprache verwendet, wo Lexikalanalyse Wortformen, Zahlen und Zeichensequenzen identifiziert und als Vorstufe weiterer Analysen dient.