Ordrepresentasjoner

Ordrepresentasjoner er numeriske vektorer som representerer ord i naturlig språkbehandling (NLP). De gjør det mulig å behandle språk i matematiske modeller ved å konvertere ord til tall og dermed tilrettelegge for maskinlæring. Representasjonene varierer i sparsitet og i hvor mye kontekst de tar hensyn til.

Historisk har one-hot-koding og TF-IDF vært vanlige sparsede metoder. One-hot-koding gir hvert ord en unik dimensjon i en stor vektor, ofte med nuller i andre posisjoner. TF-IDF gir vektede ord-frekvenser som reflekterer ordets betydning i et dokumentsett, men bevarer ikke semantiske likheter mellom ord.

Statiske, tett embeddings-metoder som word2vec og GloVe produserer dense vektorrepresentasjoner der ord med lignende betydning ligger nær hverandre i vektorrommet. De trenes på store tekstdatabaser og fanger semantiske og syntaktiske relasjoner, ofte målt gjennom analogioppgaver og likhet.

Mer avanserte, kontekstuelle representasjoner som ELMo, BERT og GPT tilpasser ordvektorene basert på konteksten i setningen. Dette hjelper med polysemi ved å la ord få ulike betydninger i forskjellige setninger. Slike modeller krever store mengder treningsdata og ofte finjustering for spesifikke oppgaver.

Ordrepresentasjoner brukes i en rekke NLP-applikasjoner, inkludert informasjonsinnhenting, maskinoversetting, spørsmålsbesvarelse og sentimentanalyse. Evaluering gjøres både intrinsisk (likhet og analogier) og ekstrinsisk i faktiske oppgaver, men representasjonene kan bære skjevheter og være avhengige av språk eller domene.