Subwordtokenoinnin

Subwordtokenointi on luonnollisen kielen käsittelyn (NLP) tekniikka, jossa teksti pilkotaan sanoja pienempiin yksiköihin, joita kutsutaan alimerkeiksi. Tämän lähestymistavan tavoitteena on hallita sanaston kokoa sekä parantaa kielimallien kykyä käsitellä morfologisesti runsaasti taivutettuja sanoja sekä uusia, koulutusaineistossa harvoin esiintyviä ilmauksia.

Yleisimmät menetelmät jakavat tekstin alimerkeiksi sovitun sanaston mukaan. Esimerkkejä ovat Byte Pair Encoding (BPE), WordPiece ja Unigram-malli. BPE rakentaa alimerkkien joukon yhdistämällä toistuvasti merkkijonoja, kunnes saavutetaan ennalta määritelty sanastokoko. WordPiece ja Unigram-malli valitsevat alimerkit tilastollisesti: WordPiece maksimoi sanojen todennäköisyyden, kun taas Unigram-mallissa alimerkit voivat poistua, kun niiden käytön kokonaisvaikutus parantaa mallin suorituskykyä. Ennen tokenisointia teksti esikäsitellään ja jaetaan valitun menetelmän mukaan.

Subwordtokenoinnin käyttöönotto vapauttaa mallin sanastorajojen paineesta: se vähentää tuntemattomien sanojen ongelmaa ja helpottaa uusien tai agglutinoitujen muotojen käsittelyä. Tämä on erityisen hyödyllistä morfologisesti rikkaissa kielissä, kuten suomessa, sekä laajassa käytössä suurissa kielimalleissa, konekäännöksessä ja puheentunnistuksessa.

Haasteina ovat optimaalisen sanaston koon valinta sekä alimerkkien jakamisen huomioiminen kielen ominaispiirteisiin. Liian pieni sanasto johtaa pitkien alimerkkijonojen tarpeeseen ja epäloogisiin tuloksiin; liian suuri sanasto kasvattaa muistivaatimuksia ja voi heikentää yleistä suorituskykyä. Lisäksi domain- tai sovelluskohtainen vaihtelu voi vaatia mukautettuja treeningaineistoja.