subwordtokeniseerimine

Subwordtokeniseerimine ehk alamssõnade jagamine on tekstitöötluse tehnika, mille eesmärk on teksti jagamine väiksemateks üksusteks, mis võivad olla sõna osad või morfeemid ning mida kasutatakse keelendite töötluse ja mudelite treenimise parandamiseks.

Kõige levinumad lähenemised on Byte-Pair Encoding (BPE), WordPiece ja SentencePiece. BPE alustab tähemärkidest ja lisab järjestikku kõige sagedamini koos esinevaid tükkide kombinatsioone, kuni saavutatakse soovitud sõnavara suurus. WordPiece töötab samamoodi, kuid kasutab lisaks statistilist hindamist parimate jaotuste leidmiseks. SentencePiece on keelest sõltumatu ja võimaldab kasutada nii BPE-id kui unigramm-mudeleid; see teeb tokeniseerimise otse koolitusandmete põhjal.

Koolitusprotsess käib suure tekstiandmestiku põhjal, mille järel ehitatakse suur subword-vocabulary. Mudeli treeningu käigus tekivad tükkide lõiked, mis võimalikult hästi katavad teksti, ning tulemuseks on sobiv koostöö erinevate sõnade ja morfeemide vahel. Tokeniseerimise käigus jagatakse iga sõna leitud subwordideks vastavalt vokaari.

Eelised hõlmavad paremat üldistust haruldaste või keerukate vormide puhul ning väiksema jaotuse vokabulaari kasutamist suurtes mudelites. Piirangud hõlmavad vajadust koolitada koos lõpliku andmestikuga, võimalust tekitada mõist araselt semantilisi lõike ning vajadust uuesti koolitada malli, kui lisatakse märkimisväärselt uusi sõnu.

Rakendused hõlmavad keeleteksti mudeldamist, masintõlget, kõnetuvastust ja suure väärtusega teksti töötlemist. Näide: sõna "programmeerimine" võib jaguneda subwordideks nagu "pro-","gram","meer","imine", mis võimaldab käsitleda ka vähemlevinud vorme.