tokenisierten

Tokenisierten ist die Partizip-Perfekt-Form des Verbs tokenisieren und bezieht sich auf den Prozess, Daten oder Texte in einzelne Tokens zu zerlegen. In der deutschen Fachsprache wird tokenisiert oder tokenisieren entsprechend konjugiert; tokenisiert wird häufig in perfect- oder passive Formulierungen wie „Die Daten wurden tokenisiert“ verwendet. Der Begriff findet in mehreren Fachgebieten Anwendung, darunter Informatik, Linguistik und Datenschutz.

In der natürlichen Sprachverarbeitung (NLP) bezeichnet Tokenisierung das Zerlegen von Text in Tokens, die typischerweise Wörter, Zahlen, Satzzeichen oder Subwörter darstellen. Tokens dienen als Grundbausteine für weitere Analysen wie Wortartenbestimmung, Parsing oder maschinelles Lernen. Die konkreten Regeln der Tokenisierung variieren je nach Sprache und Anwendungsfall, da etwa die Behandlung von Großschreibung, Hyphenation oder zusammengesetzten Wörtern unterschiedlich sein kann.

Im Kontext der Datensicherheit und des Zahlungsverkehrs bezieht sich Tokenisierung auf den Austausch sensibler Daten durch nicht sensible Tokens. Diese Tokens haben keinen eigenen nutzwert ohne die Abbildung im sicheren Vault, ermöglichen aber Verarbeitung, Abrechnung oder Analytics, während das ursprüngliche Material geschützt bleibt. Tokenisierung reduziert das Risiko des Umgangs mit vertraulichen Daten und kann Compliance-Anforderungen wie PCI DSS erleichtern.

Historisch entstand der Begriff in der Informationssicherheit und hat sich auf weitere Felder ausgedehnt, unter anderem auf die sichere Verarbeitung von Daten sowie auf Sprachtechnologie und Textanalyse. Siehe auch Tokenisierung, Tokenisierung in der Informatik.