Tokeniseerija

Tokeniseerija isiku- ja tekstitöötluses on tarkvara komponent, mis jagab toorteksti tokeniteks. Tokenid on teksti teisejärgulised üksused, mida kasutatakse edasistes protsessides nagu märgendamine, süntaktiline analüüs või keelemudelite õpetamine. Tokeniseerija võib välja anda sõnu, alamhulgatokenid (subword), kirjavahemärke või muid sümboleid sõltuvalt rakenduse granulaarsusest.

Tüübid ja meetodid: Sõnatokeniseerijad jagavad teksti tavaliselt tühikute ja kirjavahemärkide jälgimise teel. Subword-tokeniseerijad, näiteks Byte-Pair Encoding (BPE), WordPiece ja SentencePiece, lõhkavad ebaregulaarsed sõnad väikesteks alamtükideks, parandades üldistust ja vähendades vokabulaari suurust. Sõna- ja märgipõhised ning tähemärk-tokeniseerijad on teistsugused lähenemised. Regulaaravaldistele ja keelepõhistele juhistele tuginemad tokeniseerijad võivad pakkuda kiiret ja lihtsat lahendust, samas kui statistilised või õpitud tokeniseerijad kasutavad andmetest õpitud lõhkumist.

Keeleline mitmekesisus: Eesti ja teised morfoloogiliselt rikkad keeled esindavad tokeniseerijale täiendavaid väljakutseid, nagu aglutinatsioon, liitsõnad ja paigutusmärgid. Paljud tööriistad teevad ka normaliseerimise samme (väiketähtede kasutamine, diakriitiliste märgiste töötlemine) ning rakendavad keele spetsiifilisi reegleid. Tokeniseerimine on sageli esimene samm keelemodellide, masintõlke, otsinguseadmete ning arvamusanalüüsi pipeline’ides. Subwordi tokeniseerimine aitab hallata suuriba vokabulaari ja haruldasi sõnu ning on levinud suurte keelemudelite puhul.

Tööriistad ja kitsaskohtad: Populaarsed kirjeldajad hõlmavad spaCy, NLTK, HuggingFace’i tokenizers, SentencePiece ja Moses. Väljakutsed hõlmavad sotsiaalmeedia teksti, URL-e, emotikone, lühendeid ja keelearuandeid ning rahvusvaheliste keelte eripärasid.

Seotud mõisted: natural language processing, morfoloogiline analüüs, tekstitöötlus.