Tokenisointi

Tokenisointi on termi, jota käytetään kahdessa kontekstissa: luonnollisen kielen käsittelyssä (NLP) sekä tietoturvassa ja maksujenkäsittelyssä. Yleisesti kyse on joko tekstin jakamisesta pienempiin yksiköihin tai sensitiivisen tiedon korvaamisesta ei-herkällä tunnisteella. Molemmissa käyttötarkoituksissa tavoitteena on tehdä datasta hallittavaa, analysoitavissa olevaa ja suojattua.

NLP-tokenisaatio jakaa merkkijonon pienempiin yksiköihin, joita kutsutaan tokeniksi. Yleisimmät muodot ovat sanapohjainen tokenisointi, subword-tokenisointi (esim. BPE, SentencePiece) sekä merkkitasoinen tokenisointi. Käytännössä ratkaisut voivat perustua sääntöihin tai tilastollisiin malleihin; monikielisissä teksteissä on haasteita kuten yhdyssanat ja erikoismerkit. Kirjastot kuten spaCy tai NLTK tarjoavat valmiita tokenisoijia.

Tietoturva-tokenisointi vaihtaa arkaluontoisen tiedon ei-herkällä tunnisteella. Alkuperäinen data tallennetaan suojattuun vaultiin ja sovellukset käyttävät vain tokenia. Tämä vähentää tietovuotojen riskiä sekä helpottaa vaatimustenmukaisuutta, kuten PCI DSS:ää maksukorteista. Tokenit voivat olla palautettavia tai ei-palautettavia riippuen toteutuksesta; usein käytetään formaattiin säilyvää tokenointia, jotta järjestelmien rakenne säilyy.

Suunnittelussa painottuvat avaintenhallinta, tokenien elinkaari sekä pääsynvalvonta. NLP-puolella huomio kiinnittyy kielen erityispiirteisiin, sanaston laajuuteen ja suorituskykyyn. Tietoturvassa keskeisiä ovat vaultin ylläpito ja jatkuva valvonta.

Tokenisointi on keskeinen käsite sekä kielen käsittelyssä että tietoturvassa.