ngrammianalyysejä

N-grammi-analyyseilla tarkoitetaan tilastollista menetelmää, jossa tutkitaan tekstissä esiintyviä n-merkki-jonoja eli n-grammeja. Ne voivat olla sanatasolla (word-level) tai merkkitasolla (character-level). Yleisimmät ovat unigrammit (n=1), bigrammit (n=2) ja trigrammit (n=3); suuremmat n-arvot tallentavat laajempaa kontekstia.

Mallinnuksessa käytetään usein Markovin kaltainen oletus: todennäköisyys seuraavalle sanalle tai merkille riippuu edeltävien n−1 yksiköiden kontekstista. Tämän jälkeen todennäköisyydet lasketaan frekvenssien tai suhteellisten lukujen perusteella. Harvoin esiintyviä n-grammeja pehmennetään (esim. Laplace/Lidstone, Good-Turing, Kneser–Ney), jotta jokaiselle mahdolliselle jäsentäjälle saadaan ei-nollan todennäköisyys.

Käyttökohteita ovat kielenmallien rakentaminen, tekstin luokittelu, hakukoneiden tulosten parantaminen, oikeinkirjoituksen korjaus sekä kirjoittajantunnistus. Word-mallit kuvaavat semantiikkaa paremmin, kun taas character-mallit soveltuvat hyvin kirjoitusasuun, muotoiluun ja kielet, joissa sanat muodostuvat yhdistelmillä.

Rajoitteita ovat datan sparsity ja laskennalliset kustannukset suurilla n-arvoilla, sekä herkkyys kerätyn aineiston kieliopillisille ominaispiirteille. Pehmennys, oikea valinta n-arvon sekä riittävä määrä dataa ovat keskeisiä tekijöitä onnistuneessa n-grammi-analyy­sissä. N-grammit ovat historiallisesti olleet keskeisiä ennen nykyisiä syväoppimismalleja, ja niitä käytetään yhä kevyempiin tai tulkittavuutta vaativiin tehtäviin.