Zinvectoren

Zinvectoren, ook wel zin-embeddings genoemd, zijn numerieke vectorrepresentaties die de betekenis van een volzin samenvatten in een continue vectorruimte. Ze dienen om semantische gelijkenissen tussen zinnen vast te leggen en om zinnen als input voor machine learning-modellen te gebruiken zonder expliciete symbolische representaties. In tegenstelling tot losse woordvectoren proberen zinvectoren de combinatie van woorden, hun volgorde en de intentie van de zin te weerspiegelen.

Historisch werden zinvectoren vaak geproduceerd door de woorden in een zin te vervangen door vectoren en deze vectoren vervolgens te combineren, bijvoorbeeld door middel van een gemiddelde of som. Nieuwere methoden gebruiken transformer-gebaseerde modellen die zinnen direct coderen tot een representatie. Bekende voorbeelden zijn Sentence-BERT en de Universal Sentence Encoder, getraind op taken zoals semantische gelijkenis en parafrasedetectie, die consistente zinsrepresentaties opleveren over verschillende contexten en talen.

Toepassingen omvatten informatieopvraging en zoek, semantische vergelijkingsanalyse tussen zinnen, parafrasedetectie, clustering en samenvatting. Ze kunnen ook worden gebruikt om tekst te indexeren voor betere retrieval en om vertaal- of cross-linguistische alignments te ondersteunen in meertalige systemen.

Beperkingen zijn onder meer dat zinvectoren gevoelig kunnen zijn voor domeinspecifieke taal en dat polysemie en context soms moeilijk te vangen zijn. Daarnaast vereisen transformer-gebaseerde modellen aanzienlijke rekencapaciteit en geheugen, en de kwaliteit van de vectoren hangt af van de data waarop ze zijn getraind. Evaluatie gebeurt vaak met intrinsieke taken zoals semantische gelijkenis en extrinsieke taken zoals vraag-antwoord en retrieval-systemen. Zie ook woordvectoren en sentence embeddings.