sananlaskentapitoinen

Sananlaskentapitoinen on suomenkielinen adjektiivi, jota käytetään kuvaamaan lähestymistapoja, menetelmiä tai aineistoja, joissa huomio kiinnittyy pääasiassa sanojen määrän ja frekvenssien perusteella tehtäviin laskelmiin. Tällaiset lähestymistavat painottavat kielen sanallisia ominaisuuksia, kuten tokenien lukumäärää, sanojen yleisyyksiä, tyyppivariaatiota sekä n-grammeja, sen sijaan että ne tarkastelisivat kielen syntaksia tai semantiikkaa syvällisemmin.

Nimen muodostus pohjautuu sananlaskenta-ideaan ja -sananlaskentaan liittyvään termistöön, jossa adjektiivin loppuosan pitoinen ilmaisee luonnetta tai perustaa. Sananlaskentapitoinen kuvailutapa on yleistynyt erityisesti kielitieteessä ja luonnollisen kielen käsittelyssä kuvaamaan malleja tai aineistoja, jotka lähestyvät kieltä ensisijaisesti määrällisten sanaluku- ja tilastollisten ominaisuuksien kautta.

Käyttöalueet ja sovellukset ovat laajoja. Sananlaskentapitoinen lähestymistapa soveltuu esimerkiksi baseline-malleihin luonnollisessa kielessä, tekstin luokitteluun sekä korpustutkimukseen, jossa nopeasti ja resursseja säästäen voidaan hyödyntää sanojen frekvenssejä. Se voi olla hyödyllinen kielen tunnistuksessa, stilistikäytännön analyysissa sekä tilanteissa, joissa semanttisen tai syntaktisen analyysin suorittaminen on epäkäytännöllistä tai resurssien puolesta rajoitettua.

Rajoitteet ovat olennaisia. Sananlaskentapitoinen lähestymistapa voi menettää syntaktisen ja semanttisen syvyyden, on herkkä stopwords-häviöille ja domain- tai genre-eroille sekä vaatii usein normalisointia ja huolellista tulkintaa tulosten varmistamiseksi.

Esimerkkejä sisällöistä ovat bag-of-words- ja TF-IDF-tyyliset mallit sekä n-grammien käyttö tekstin luokittelussa ja tilastollisessa analyysissä. Katso myös: bag-of-words, TF-IDF, n-grammi, lexical density.