meningsvektorer

Meningsvektorer, eller semantiske vektorer, er dense numeriske representasjoner av betydningen til ord, uttrykk eller dokumenter. De plasseres i et vektorrom der avstanden mellom vektorer reflekterer semantisk likhet, slik at ord med lik betydning ligger nær hverandre. Vektorene læres fra store tekstkorpus ved hjelp av maskinlæringsmetoder og brukes til å gjøre språkforståelse numerisk og multippel.

Det finnes to hovedtyper: statiske og kontekstuelle. Statisk meningsvektorer knytter hvert ord til én fast vektor (for eksempel Word2Vec, GloVe og FastText). Kontekstuelle meningsvektorer gir ordvektorer som tilpasses konteksten ordet forekommer i (for eksempel ELMo, BERT). For setninger og dokumenter brukes ofte spesialiserte vektorer eller metoder som kombinerer ordvektorer til setnings- eller dokumentsrepresentasjoner (for eksempel Sentence-BERT).

Anvendelser inkluderer semantisk søk, tekstanalyse, dokumentklassifisering, klustring, maskinoversettelse og anbefalingssystemer. Vektorer brukes sammen med mål som kosinuslikhet eller Euklidisk avstand for å måle likhet, eller som innganger til andre maskinlæringsmodeller.

Fordeler inkluderer at de fanger semantiske relasjoner mellom ord og gjør språklige oppgaver mer effektive. Begrensninger omfatter avhengighet av treningsdata, risiko for skjevheter, og i tilfelle statiske vektorer utfordringer med polysemi som kontekstuell dekoding ofte løser bedre. Evaluering skjer både gjennom intrinsic tester (ordlikhet, analogier) og extrinsic tester i nedstrømoppgaver. Historisk har modeller som Word2Vec, GloVe og FastText etterfulgt av kontekstuelle modeller som ELMo og BERT formet feltet.