sanamäärävirheen

Sanamäärävirheen käsite viittaa virheeseen, joka syntyy, kun sanamäärä lasketaan tekstistä tai korpuksesta ja tulos poikkeaa todellisesta sanamäärästä. Tällainen virhe ilmenee erityisesti automatisoidussa tekstianalyysissä, tilastoinnissa, luokittelussa sekä tiivistysten laadinnassa, joissa sanamäärä voi toimia olennaisena mittarina tai syötteenä mallien koulutuksessa.

Keskeiset syyt sanamäärävirheeseen liittyvät tokenointiin, eli siihen, miten teksti pilkotaan sanoiksi tai muiksi tunnetuiksi yksiköiksi. Eri ohjelmistot voivat käyttää erilaisia tokenointisääntöjä: miten käsitellään yhdysmerkit ja yhdysosat, lyhenteet, numerot sekä erikoismerkit, ja millä tavalla taivutusmuodot tai sanaliitot lasketaan yhtenä tai useampana sanana. Suomen kielen morfologinen monimuotoisuus ja yhdys- sekä taivutusmuodot lisäävät tämän ongelman todennäköisyyttä. Lisäksi sanamäärä voi poiketa OCR- tai puheentunnistuksesta palautuvissa teksteissä virheiden vuoksi, sekä siinä, miten numerot ja erikoismerkit tulkitaan sanana tai ei-sanana.

Seurauksena sanamäärävirhe voi johtaa vääristyneisiin mittareihin, kuten luettavuusindeksien, tiivistysten pituuden tai koneoppimismallien ominaisuuksien arvoihin. Tämä voi heikentää vertailujen luotettavuutta ja kokonaisanalyysin tuloksia.

Ehkäisy ja hallinta perustuvat selkeään määritelmään siitä, mitä sanaksi lasketaan, sekä johdonmukaiseen tokenointiin. Käytettävän työkalupaketin määritteleminen, dokumentointi siitä, millaisia sääntöjä käytetään, ja sekä raakojen että normalisoitujen tulosten raportointi auttavat hallitsemaan virhettä. Hyvä käytäntö on testata tokenointia kultaisen standardin tai manuaalisen tarkistuksen avulla sekä tarkastella useita määritelmiä tai vaihtoehtoisia laskentatapoja, jotta sanamäärävirhe voidaan minimoida ja sen syntymiselle altistavat tekijät ovat tiedossa.