woordafbakening

Woordafbakening is het proces van het opdelen van tekst in afzonderlijke tokens die als woorden gelden. In de linguïstiek en de informatica is dit essentieel voor analyse, zoektechnologie en taaltechnologie. De exacte definitie van wat een woord is, verschilt per taal en orthografie: in veel westerse talen wordt een woord meestal gezien als eenheid gescheiden door spaties, maar koppeltekens, apostrofs en samenstellingen compliceren de grens.

In de natuurlijke taalverwerking (NLP) is tokenisatie de eerste stap in de pipeline. De tokenisatie houdt rekening met leestekens, cijfers, afkortingen en samengestelde woorden; sommige systemen beschouwen bepaalde leestekens als aparte tokens, anderen hechten ze aan de omliggende tokens. Concreet kan men kiezen uit regelgebaseerde tokenizers, statistische modellen of hybride methodes. Voor talen met vrije woordvolgorde of zonder duidelijke spaties, zoals Chinees of Japans, vereist woordafbakening taalspecifieke segmentatie-algoritmes.

Ambiguïteit ontstaat bij afgebakende vormen: bijvoorbeeld afkortingen, contracties, klitische vormen (zoals 't) en meervouds- of vervoegingsvormen die als aparte tokens lijken maar morfologisch één woord vormen.

Het begrip is verwant aan lemmatizatie en stemming: tokenisatie levert de vorm die nader geanalyseerd kan worden, waarna lemmatizatie de basisvorm bepaalt.

Toepassingen omvatten zoekmachines, informatiesystemen, lexicografie en corpora-onderzoek. Correcte woordafbakening is cruciaal voor nauwkeurige metingen van woordfrequentie, morfologisch analysetools en semantische verwerking.