Ordvektorer

Ordvektorer er numeriske representasjoner av ord i et lavdimensjonalt vektorrom. Hver ordinær ordvektor er en vektor av tall som er lært fra store tekstkorpora. Avstanden eller vinkelen mellom to ordvektorer reflekterer ofte semantiske og syntaktiske relasjoner, slik at ord med lik bruk ligger nær hverandre i rommet. Dette gjør ordvektorer nyttige for oppgaver som ordlikhet, søk og maskinlæring.

Produksjon og hovedtyper

Ordvektorer læres vanligvis ut fra hvor ord forekommer i forhold til hverandre. To hovedfamilier dominerer: prediktive modeller som word2vec (CBOW og Skip-gram) og tellbaserte modeller som GloVe. En nyere gruppe fokuserer på subordverdi ved å innlemme tegn-grammer (f.eks. fastText), noe som hjelper ved out-of-vocabulary ord og språk med morfologi rik. Tradisjonelle ordvektorer er statiske: hver ord har én konstant vektor. Nyere kontekstuelle tilnærminger (som BERT) gir ordvektorer som varierer med konteksten, men betegnes ofte som en annen kategori av representasjoner.

Bruksområder og evaluering

Ordvektorer brukes til å måle ordlikhet og analogier, til tekstanalyse, som trekk i maskinlæringsmodeller og i søke- eller anbefalingssystemer. Evaluering skjer ofte gjennom intrinsiske oppgaver (ordlikhet, analogier) og ekstrinsiske oppgaver (klassifisering, oversettelse). Nye multilingual eller kryss-språkige ordvektorer muliggjør parallellisering mellom språk.

Begrensninger

De er statiske og reflekterer treningsdataene de ble lært fra, noe som kan forsterke skjevheter og bias. De håndterer ikke kontekstuell betydninglike bra som nyere kontekstuelle modeller, og ytelse avhenger av stor og representativ data. Tilpassede ordvektorer kan være nødvendig for spesifikke domener eller språk med rik morfologi.