Subwordtokenointi

Subwordtokenointi tarkoittaa tekstin esikäsittelyvaihetta, jossa sanat jaetaan pienempiin, joskus tuntemattomiin tai harvinaisempiin merkkiyksiköihin. Tavoitteena on käsitellä joustavasti kasvaneita sanastoja ja kielten morfologista vaihtelua sekä mahdollistaa oppiminen suurella sanavälillä. Subword-yksiköt mahdollistavat uuden sanan rakentamisen yhdistämällä tunnettuja osia, mikä vähentää out-of-vocabulary-ongelmia ja parantaa kielimallien yleiskäyttöä.

Yleisimmät menetelmät ovat BPE (Byte Pair Encoding), Unigram-malliin perustuva lähestymistapa sekä WordPiece. BPE aloittaa merkkien tai tavujen parien yhdistämisen ja laajentaa sitä kunnes saavutetaan ennalta määritelty sanavarasto. Unigram-malli etsi alimerkkien joukosta todennäköisimmät kokonaisuudet tilastollisella koulutuksella. WordPiece on vastaavaan ideaan perustuva lähestymistapa, joka optimoi todennäköisyyden perusteella valittuja kohdevyöhykkeitä. SentencePiece on kirjastoprojekti, joka mahdollistaa hyödyntämisen monilla kielillä ja riippumattomasti merkkipohjaisesta syötteestä; se tukee sekä BPE- että Unigram-tyylisiä malleja.

Subwordtokenoinnin edut ovat huomattavat: se pienentää sanaston vaikutusta, parantaa harvinaisten tai uudelleen muotoiltujen sanojen yleiskäyttöä sekä helpottaa monikielistä tai morfologisesti rikas kieliä käsittelevää koneoppimista. Haasteita ovat valittava sanaston koko, tokenisaation tulkittavuus sekä koulutusvaatimukset. Lisäksi subword-yksiköiden semanttinen tulkinta voi joskus olla vaikeampaa ja muutos kielikohtaisissa teksteissä vaikuttaa mallin suorituskykyyn.

Käytössä subwordtokenointi on keskeinen osa suurissa kielimalleissa, konekäännöksessä ja puheentunnistuksessa. Se mahdollistaa dynaamisen sanaston ja joustavan käsittelyn monikielisissä tai taipuvaisissa kielissä, mikä parantaa entropian hallintaa ja mallin yleistä suorituskykyä. Historiaan kuuluu merkittäviä virstanpylväitä 2010-luvun puolesta välistä lähtien, kun BPE, WordPiece ja Unigram ovat muokanneet huomattavasti nykyisiä kielimallien käytäntöjä.