Tokenrepresentasjoner

Tokenrepresentasjoner er numeriske fremstillinger av enkeltord eller andre tokens som brukes i naturlig språkbehandling for å konvertere tekst til tallverdier som maskiner kan prosessere. Representasjonene fanger informasjon om betydning, syntaks og kontekst og brukes som innganger til maskinlæringsmodeller.

Det finnes hovedsakelig to typer representasjoner: ikke-kontextuelle og kontekstuelle. Ikke-kontextuelle inkluderer en-hot encoding og ord-embeddings som Word2Vec og GloVe, samt frekvensbaserte metoder som TF-IDF. Disse representasjonene er faste for et gitt ord og avhenger ikke av ordets sammenheng.

Tokenisering og underordnede enheter er sentrale. Subword-tokenisering som BPE, WordPiece og SentencePiece deler ord i mindre enheter for å håndtere ukjente ord og redusere vokabularstørrelsen. Det finnes også karakterbaserte representasjoner.

Kontekstuelle representasjoner produseres av nevrale modeller og varierer med konteksten. Transformerbaserte modeller som BERT, GPT og T5 gir kontekstualiserte tokenrepresentasjoner som kan endre betydning av samme token i ulike setninger. Disse brukes som innganger til oppgaver som klassifisering, oversettelse eller spørsmål-svar.

Egenskaper som dimensjon, avstand i representasjonsrom og evne til å fange semantikk og syntaks er sentrale. Evaluering skjer både gjennom intrinsiske oppgaver (ordlikhet, semantiske relasjoner) og gjennom nedstrømsoppgaver. Utfordringer inkluderer flerspråklighet, lange kontekster, bias og beregningseffektivitet.