Tekstiyksiköt

Tekstiyksiköt ovat tekstin koostepaloja, joita käytetään kielitieteellisessä analyysissä ja tekstinkäsittelyssä. Ne toimivat sekä perusta- että analyysiyksiköinä, joiden avulla teksti voidaan jäsentää, vertailla ja tilastoida. Tekstiyksiköt voivat olla ortografisia sekä kielellisiä, ja niiden valinta riippuu tutkimuksen tavoitteista sekä sovelluksesta.

Yleisimmät tekstiyksiköt jaotellaan usein eri tasoihin: grapheemit (kirjaimet tai merkit), tavut, morfeemit, sanat, sanaryhmät (kielensisäiset kokonaisuudet kuten ilmaukset), lauseet ja kappaleet. Käytännössä teksti pilkotaan tunnisteiksi (tokenization), jolloin kukin token kuvaa yhtä yksikköä. Suomen kielen erityispiirteet, kuten laajat taivutusmuodot ja yhdyssanat, vaikuttavat pilkkomiseen; tähän liittyy usein morfologinen analyysi tai lemmatisaatio. Lisäksi nykyisessä luonnollisen kielen käsittelyssä käytetään subword-yksiköitä (esim. BPE tai WordPiece) suurten kielimallien syötteinä.

Tekstiyksiköiden valinta ja käsittely vaikuttavat moniin sovelluksiin: tekstikorpusten rakentamiseen, tiedonhaettamiseen, koneelliseen kääntämiseen sekä tunne- ja sisältöanalyysiin. Oikea taso riippuu tehtävästä; esimerkiksi hakukoneet voivat hyödyntää sanastollista tunnistusta, kun taas kielimalleissa subword-yksiköt voivat tarjota paremman yleisyyden harvinaisille ilmauksille. Tärkeää on myös huomioida merkistö, merkkien koodaus sekä sanan ja merkityksen erottelu kontekstissa.