subwordühikud

Subwordühikud on keelelises töötlemises sõnade väiksemad ühikud, mis võivad vastata morfeemidele või olla nende lähedased jaotused. Neid kasutatakse sõnade jagamisel väiksemateks tükkideks, mis peegeldavad tähendust ja grammatilisi vorme ning mille hulk on treenitav. Subwordühikute abil saab paremini käsitleda haruldasi või tundmatuid sõnu ning vähendada vajadust väga suure sõnavara järele.

Enim kasutatavad meetodid subwordühikute loomiseks on byte pair encoding (BPE), WordPiece ja SentencePiece. Need meetodid jaotavad sõnad väiksemateks tükkideks ning määravad treeningul tükkide suurused või jaotuse. BPE põhineb sageduste põhjal lõikamisel; WordPiece ja SentencePiece kasutavad probabilistilisi või treeningupõhiseid juhiseid, et valida sobivamad lõiked. Selline jaotus suurendab mudelite võimet käsitleda uusi sõnu ja vähendab out-of-vocabulary (OOV) probleeme.

Rakendused hõlmavad peamiselt masintõlget, suurkeelemudeleid ja kõnetuvastust. Subwordühikud võimaldavad mudelitel paremini mõista tähendust ja vormi, kui sõnad on pöörduvad või moodustatud uutel viisil. See lähenemine vähendab sõnavara suurust ning suurendab treeningu ja inferentsi efektiivsust ning üldist keelelist jõudlust.

Kaalutlused hõlmavad lõigude suurust ja lõikevalikut ning mõjutavad teksti pikkust, mudeli kiirust ja semantilist eristust. Parima seadistuse leidmine eeldab sageli katsetamist ülesande ja keele põhjal. Ajaloo kontekstis 2016. aastal näitasid Sennrich, Haddow ja Birch, et BPE kasutamine suurendab masintõlke kvaliteeti.