tokenizace

Tokenizace je proces rozdělení vstupních dat na menší jednotky, tokeny. V informatice a zpracování textu se tokenizace používá k rozdělení textu na slova, čísla, interpunkci a další významové jednotky. V kontextu bezpečnosti dat se tokenizací rozumí náhrada citlivých údajů tokeny.

V NLP se tokenizace používá k přípravě textu pro analýzu a modelování. Základní metody zahrnují tokenizaci na úrovni slov (word-level), na úrovni znaků (character-level) a na úrovni podslov (subword); techniky jako BPE, WordPiece nebo SentencePiece se často používají. Jednoduchá tokenizace často vychází z mezer a interpunkce; pokročilejší přístupy respektují konvenci jazyků, zkratky a emotikony.

Subword tokenizace řeší problém neznámých slov a jemnější morfologické struktury, zvyšuje schopnost modelů zpracovat neznámé tvary a snižuje velikost slovníku.

Použití zahrnuje vyhledávání, strojové učení, lingvistickou analýzu, strojový překlad a generování textu. Předzpracování obvykle zahrnuje normalizaci, odstraňování zbytečných znaků a volbu úrovně tokenizace.

V bezpečnosti dat je tokenizace proces nahrazení citlivých údajů (např. čísla kreditních karet) tokeny uloženými v bezpečném úložišti. Tokeny mohou být náhradní a nevratné nebo reverzibilní do určité míry, v závislosti na implementaci.

Mezi výzvy patří jazykové variace, správné zacházení s interpunkcí, zkratkami a emoji, stejně jako volba velikosti tokenů a efektivnosti.