tokenointitavat

Tokenointitavat ovat menetelmiä, joilla data muunnetaan tunnisteiksi, joita kutsutaan tokeneiksi. Niitä sovelletaan sekä luonnollisen kielen käsittelyssä (NLP) että tietoturvassa. Tokenoinnin perusidea on, että alkuperäisen tiedon palauttaminen ei ole mahdollista ilman lisätietoja.

NLP:ssä tokenointi tarkoittaa tekstin jakamista pienempiin yksiköihin. Yleisimmät lähestymistavat ovat sanastopohjainen (word-level), merkkikohtainen sekä aliosatekijöihin perustuva (subword) tokenointi. Subword-menetelmiin kuuluvat esimerkiksi Byte-Pair Encoding (BPE), WordPiece ja SentencePiece (Unigram- sekä BPE- tai SPM-mallit). Tokenointia voidaan käyttää hallitsemaan sanastoa, käsittelemään tuntemattomia sanoja ja tukemaan morfologista vaihtelua eri kielissä. Hyödyt: pienempi sanavarasto, parempi kyky käsitellä uusia sanoja. Haitat: riippuvuus valitusta menetelmästä sekä mahdolliset kontekstin tai merkityksen menetykset.

Tietoturvassa tokenointi korvaa arkaluonteisen tiedon tokenilla. Tavoitteena on, että alkuperäistä dataa ei voi palauttaa ilman asianmukaisia avaimia tai mapparakennetta. Yleisimmät tyypit ovat deterministinen tokenointi (sama syöte tuottaa saman tokenin) sekä satunnaistettu tokenointi (tokenit vaihtelevat). Lisäksi on format-preserving tokenointia (FPT), jossa tokenin pituus ja merkkijoukko säilyvät samanlaisina kuin alkuperäisessä tiedossa, jotta se sopii nykyisiin kenttiin. Tokenointia käytetään laajasti maksutietojen sekä terveydenhuollon suojauksessa. On tärkeää huomioida turvallisuusvaatimukset ja hallinnanjärjestelyt: avain- ja mapparakenteiden suojaus, pääsynvalvonta ja auditointi.