tekstgelijkenheid

Tekstgelijkenheid is de mate waarin twee tekstfragmenten dezelfde betekenis overbrengen. Het is semantisch van aard: oppervlakkelijke overeenkomst telt minder dan de werkelijke betekenis. In de informatica wordt tekstgelijkenheid gebruikt om relaties tussen teksten vast te stellen, zoals parafrase of plagiaatdetectie.

Methoden variëren van traditionele lexicale technieken tot semantische benaderingen. Lexicale maten kijken naar woordvolgorde en aanwezigheid, bijvoorbeeld Levenshteinafstand of Jaccard-gelijkenis op tokens. Semantische benaderingen gebruiken vectorrepresentaties zoals TF-IDF of zins-embeddings (BERT, SBERT). De overeenkomst wordt vaak uitgedrukt in cosine-similariteit.

Er is een onderscheid tussen oppervlakkige en semantische gelijkenis. Monolinguale en meertalige (cross-linguale) gelijkenheid komen voor, afhankelijk van de modellen. Parafrase-detectie en plagiaatcontrole zijn veelvoorkomende toepassingen; ook vergelijking tussen samenvattingen, vragen en documenten komt voor.

Toepassingen zijn onder meer informatieophaling, duplicaatdetectie, vraag-antwoord systemen en kwaliteitsbeoordeling van vertalingen of samenvattingen. Evaluatie gebeurt met gelabelde datasets en menselijke beoordelingen; bekende bronnen zijn SemEval-STS en Quora Question Pairs, en benchmarks zoals STS Benchmark.

Uitdagingen omvatten korte teksten, ruis, ironie en taalkundige varianten. Domeinspecifieke terminologie en culturele context kunnen de metingen bemoeilijken. Data-privacy en bias in trainingsdata zijn belangrijke aandachtspunten.

Recente trends richten zich op diepe leermodellen en meertalige systemen, vaak met zins-embeddings. Deze modellen verbeteren zowel monolinguale als cross-linguale tekstgelijkenheid en worden ingezet in parafrase-detectie en automatische evaluatie.