tokenisoida

Tokenisoida on toiminto, jossa merkkijono tai teksti jaetaan pienempiin yksiköihin, joita kutsutaan tokeneiksi. Tokenisointia käytetään laajasti tietojenkäsittelyssä ja luonnollisen kielen käsittelyn (NLP) esikäsittelyvaiheessa sekä yksityisyyden suojaamiseen liittyvissä prosesseissa. Esimerkiksi lause "Kissa istuu pöydällä" voidaan tokenisoida sanoiksi tai pienemmiksi alimerkeiksi riippuen sovelluksesta.

NLP:ssä tokenointi on perusmenetelmä, jolla teksti muunnetaan säännölliseen muotoon, jota koneoppimismallit voivat käsitellä. Toteutustapoja ovat sanaväli-tokenointi (word-level), merkkikohtainen tokenointi (character-level) sekä alimerkeistä koostuva tokenointi (subword), kuten Byte-Pair Encoding (BPE), WordPiece tai SentencePiece. Tokenoinnin valinta vaikuttaa kielen malleihin ja suorituskykyyn, erityisesti muuttuvissa kielissä ja harvinaisten sanojen käsittelyssä.

Toisaalta tokenisointia käytetään myös tiedon suojaamisessa. Tällöin herkkä tieto korvataan ei-herkällä tokenilla, jota muokataan järjestelmän toiminnan ylläpitämiseksi, esimerkiksi maksutietojen käsittelyssä PCI DSS -vaatimusten nojalla. Tämän tyyppinen tokenointi on usein palautettavissa vain tietyllä avaimella tai tiedonhallintajärjestelmällä, ja se vähentää tietovuotojen riskiä.

Etymologia ja käyttö: suomen kielen termi tokenisoida on lainattu englannista tokenize. Sana esiintyy yleisesti IT- ja tekoälyalalla sekä dataturvallisuuden yhteydessä. Taivutusmuotoja ovat tokenisoinnin, tokenisoiva ja tokenisoida.