Subwordinformasjon

Subwordinformasjon er informasjon knyttet til delordnede enheter i ord, for eksempel tegnbaserte n-gram, morfemer eller subword-tokener produsert av metoder som byte-pair encoding (BPE) eller SentencePiece. I naturlig språkprosessering brukes subwordinformasjon til å bygge ordrepresentasjoner fra mindre enheter, slik at modeller kan håndtere ord som ikke finnes i treningsdataene og bedre tilpasse seg språk med rik bøyning eller sammensetninger.

Subwordenheter skapes ofte ved to hovedretninger: tegnbaserte n-gram og lærte tokenizer-enheter via metoder som BPE eller SentencePiece. Begge tilnærmingene deler ord inn i mindre enheter som deles mellom ord, slik at representasjoner kan genereres for sjeldne eller nyord gjennom felles delkomponenter.

Fordeler inkluderer forbedret håndtering av ord som ikke finnes i treningsdataene, spesielt i språk med rik morfologi eller lavressurs språk. Subwordinformasjon bidrar til bedre generalisering i ordrepresentasjoner, reduserer vokabularstørrelsen og letter kryss-språklig overføring. Begrensninger omfatter avhengighet av kvaliteten på inndelingen; kan i noen tilfeller redusere semantisk presisjon hvis enheter blir for små eller for upresise, og det øker beregningskostnader ved trening og inferens.

Bruksområder inkluderer tekstanalyse, informasjonsgjenfinning, maskinoversettelse og språklige språkmodeller som bruker subwordtokenisering, for eksempel fastText sin ordrepresentasjon og transformerbaserte modeller som bruker WordPiece eller SentencePiece. Subwordinformasjon gjør det mulig å modellere ord og morfologi på en robust måte, samtidig som man reduserer vokabularstørrelse og bedre håndterer nyord og dialekter.