tokeniseerimine

Tokeniseerimine on protsess, mille käigus jagatakse teksti või andmesse sisend väiksemateks üksusteks, mida nimetatakse tokeniteks. Keelevaldkonnas eraldatakse sageli sõnad, märgid ja morfeemid, et teksti analüüsida ning esitada masinõppe mudelitele sobivas vormis. Andmeturvalisuse kontekstis asendab tokeniseerimine tundlikke väärtusi mittetundlike tokenitega, mis vähendab riske andmete jagamisel.

Keeles saab tokeniseerimist jagada kolme peamise tüübi vahel: sõnavõrdne (word-level), alamtokenite (subword) ning märgisekvenseerimine (character-level). Subword-tehnikad, näiteks Byte-Pair Encoding (BPE), WordPiece ja SentencePiece, lahendavad haruldaste sõnade probleemi ja vähendavad vokabulaari suurust, pakkudes head generaliseerimist. Sõnavõrdne lähenemine jagab teksti peamiselt sõnadeks; character-level jagamine sobib keelte eripärade ja märginktikega töötamiseks.

Turvalisuse kontekstis kasutatakse tokeniseerimist tundlike andmete kaitsmiseks. Väärtused asendatakse tokenitega, mida hoitakse turvalises vaultis või võtmehoidlas; tegelikud väärtused ei kuulu lõppkasutajale. Selline lähenemine võimaldab andmete töötlemist ja analüüsi, ilma et tegelik teave avaneks. Tokeniseerimine nõuab siiski hoolikat arhitektuuri, pääsukontrolli ja regulaarset auditeerimist.

Olulised kaalutlused puudutavad deterministlikku ja mitte-deterministlikku tokeniseerimist ning sobivate mapping- või vault-süsteemide turvalisust. See ei asenda krüptograafiat ega anonimise tehnikaid, vaid on osa andmete kaitse ja mudelite arendamise tööriistadest.

Rakendused hõlmavad loomuliku keele töötlust, teabeotsingut, andmete puhastamist ja regulatiivsete nõuete täitmist (nt PCI DSS). Tokeniseerimine on laialdaselt kasutatav nii NLP-protsessides kui ka andmete kaitse praktikates, pakkudes tasakaalu funktsionaalsuse ja privaatsuse vahel.