Tokenointitapoja

Tokenointitapoja tarkoitetaan tekstin pilkkomista pienempiin yksiköihin, joita tietokonemallit voivat käsitellä. Yleisimmät yksiköt ovat sanat, mutta modernit mallit voivat käyttää myös alamerkkejä (subwordeja) tai yksittäisiä merkkejä. Valinta vaikuttaa sekä suorituskykyyn että ymmärrettävyyteen downstream-tehtävissä.

Sana- tai sanalähtöinen tokenointi jakaa tekstin sanoiksi ja erismerkeiksi yleensä välilyöntien ja välimerkkien perusteella. Tämä on nopeaa ja läpinäkyvää, mutta altistaa harvoin esiintyvät sanat OOV-ongelmallisuudelle eli tuntemattomille sanoille.

Subword-tokenointi on nykyisin yleistä suurissa kielimalleissa. Menetelmät kuten Byte-Pair Encoding (BPE), WordPiece ja Unigram jakavat sanat pienempiin osiin, jolloin myös uusia sanoja voidaan edustaa olemassa olevien osien yhdistelminä. Tämä parantaa yleisyyttä, stabiliteettia ja kielten monimuotoisuutta käsittelevien tehtävien suorituskykyä.

Merkkikohtainen tokenointi käsittelee tekstin jokaisen merkin erillisenä tokenina. Tämä on erityisen robusti kirjoitusvirheitä ja koodausvikoja vastaan, mutta kasvattaa puskuri- sekä laskentatarvetta ja voi hämärtää sanojen semanttisen koostumuksen.

Morfologinen ja dekomponentointi, sekä dekomponointi yhdys sanoiksi erityisesti suomessa, tähtää siihen, että monimutkaiset taivutukset ja yhdyssanat pilkotaan käyttökelpoiseen muotoon. Tämä on tärkeää kielille, joissa affiksit ja yhdyssanat ovat yleisiä.

Kielteisesti mainitut: kielen ominaisuudet, kuten taivutus, sanajärjestys ja kirjoitusnormit, vaikuttavat valintaan. Unicode-normalisointi, diakriittisten merkkien käsittely ja käyttöön soveltuvat esikäsittelyt ovat osa tehokasta tokenointiprosessia.

Käytännössä valinta riippuu kielestä, käytettävästä tehtävästä, datan määrästä ja laskentaresursseista. Tunnetuimpia työkaluja ovat spaCy, Stanza, HuggingFace Tokenizers sekä SentencePiece.