Subwortbasierte

Subwortbasierte Verfahren in der Verarbeitung natürlicher Sprache beziehen sich auf Ansätze, bei denen Texte in Subwort-Einheiten statt in ganzen Wörtern verarbeitet werden. Ziel ist es, das Vokabular klein zu halten und gleichzeitig die Fähigkeit zu erhalten, mit Morphologie und Neologismen umzugehen. Diese Methoden sind besonders vorteilhaft für Sprachen mit komplexer Wortbildung sowie für mehrsprachige Anwendungen.

Zu den gängigen Subword-Verfahren gehören Byte-Pair Encoding (BPE), WordPiece und SentencePiece. BPE erzeugt eine Hierarchie von Subwörtern durch schrittweises Zusammenführen der häufigsten Wortpaare. WordPiece arbeitet ähnlich, wählt Subword-Einheiten nach Wahrscheinlichkeitskriterien. SentencePiece bietet eine sprachunabhängige Tokenisierung, oft basierend auf einem Unigram-Modell, und erzeugt Subword-Einheiten direkt aus dem Rohtext, ohne Leerzeichen als Voraussetzung.

Anwendungen: In der maschinellen Übersetzung, der Sprachmodellierung, der Spracherkennung und der Textklassifikation ermöglichen subwortbasierte Modelle robuste Leistung bei offenen Vokabeln.

Vorteile: Reduzierte Vokabulargröße, bessere Generalisierung auf Neologismen, bessere Verarbeitung morphologisch reichhaltiger Sprachen, Kompatibilität mit neuralen Architekturen wie Transformern. Nachteile: Tokenisierung kann Einfluss auf Semantik der Einheiten haben, Lernkurve, Effekte der Segmentierung und längere Sequenzen können den Modellbedarf erhöhen; gelegentlich kann die Interpretierbarkeit der Subword-Einheiten eingeschränkt sein.

Historisch entstanden subwortbasierte Ansätze in den 2010er Jahren, mit dem BPE-Verfahren (Sennrich, Haddow, Birch, 2016) und der Einführung von WordPiece (Devlin et al., 2018) sowie SentencePiece (Kudo, Richardson, 2018). Seitdem gehören sie zur Standardausrüstung moderner NLP-Systeme, insbesondere in Transformer-basierten Modellen.