setningsvektor

En setningsvektor er en fast lengde, numerisk representasjon av en setning som tar sikte på å fange dens innhold og semantikk. Slike vektorer brukes i naturlig språkbehandling (NLP) for å måle likhet mellom setninger, gjøre søk etter mening og legge grunnlag for maskinlæringsmodeller som arbeider med tekst.

Tilnærminger varierer fra enkle til avanserte. Tradisjonelt kan setningsvektorer skapes ved bag-of-words eller TF-IDF, eller ved å lære en setningsrepresentasjon som tar kontekst i betraktning (doc2vec/paragrafvektor). En enkel metode er å beregne gjennomsnittet av ordvektorene i setningen, eventuelt vektet etter ordets betydning. Mer avanserte metoder bruker nevrale nettverk og transformerbaserte modeller som produserer setningsvektorer direkte, som InferSent, Universal Sentence Encoder og Sentence-BERT.

Dimensjonalitet og egenskaper: Setningsvektorer har vanligvis fast lengde, for eksempel 256, 512 eller 768 dimensjoner, og er ofte normalisert. De forsøker å reflektere semantisk likhet, slik at setninger med lignende mening ligger nær hverandre i vektorrommet. Likevel kan de ha begrensninger med hensyn til syntaks, pragmatisering og domenespesifikk språkbruk.

Bruksområder: Semantisk likhetssøk, klustring, tekstklassifisering, paraphrase-detektering og spørsmål-svar-systemer, samt som inngangsrepresentasjoner i større NLP-modeller.

Evaluering: Setningsvektorer vurderes ofte ved oppgaver for semantisk likhet og paraphrase-detektering, og i nedstrøms oppgaver som tekstoppsummering og informasjonsinnhenting. Forskning benytter benchmarker som STS-sett og ulike språkspesifikke tester for å måle ytelse.