tokenisoinnista

Tokenisointi on tekstin pilkkomista erillisiksi yksiköiksi, joita kutsutaan tokeneiksi. Se on perusta monille luonnollisen kielen käsittelyn (NLP) tehtäville, kuten tekstin luokittelulle, käännökselle ja kielen mallinnukselle. Tokenisointi määrittelee, mitä pidetään yksittäisenä tuloksena ja millä tavoin sanojen, merkkien tai morfeemien rajoja tulkitaan.

Tyypillisiä menetelmiä ovat sanatasoinen (word-level) tokenisointi, jossa teksti jaetaan sanoiksi; sekä merkkipohjainen tokenisointi, jossa teksti pilkotaan yksittäisiin merkkeihin. Lisäksi käytetään subword-tokenisointia, kuten Byte Pair Encoding (BPE), WordPiece ja SentencePiece, joiden avulla sanojen sisällä jaetaan yleisiä osia. Subword-tekniikat parantavat mallien kykyä käsitellä harvinaisia sanoja ja muodostaa sanoja havainnoimatta etukäteen kaikilla mahdollisilla yhdistelmillä.

Kielikohtaiset ominaisuudet vaikuttavat tokenisointiin. Suomen kieli on agglutinatiivinen ja muodostaa pitkien yhdyssanojen kautta monimutkaisia morfeemirakenteita, mikä tekee morfeemipohjaisesta tai subword-pohjaisesta tokenisoinnista usein hyödyllistä. Toisaalta perinteiset merkki- ja sanarajojen käsittelyt voivat tarvita tarkkaa välimerkkien huomioimista, etenkin lähdekielien erityispiirteet huomioiden.

Käyttökohteita ovat suurten kielimallien koulutus ja sovellukset, kuten konekäännökset, hakukoneet, tekstin analyysi sekä tiedonhaku. Työkaluina käytetään muun muassa NLTK:ta, spaCyä, HuggingFace:n tokenizers -kirjastoja sekä SentencePiecea. Tokenisoinnin valintaan vaikuttavat kieli, tehtävä ja laskennalliset rajoitteet.