stopsanat

Stopsanat, eli stop words, ovat sanoja, joita usein suodatetaan ennen tekstin käsittelyä hakukoneissa, tiedonhakujärjestelmissä ja muissa luonnollisen kielen käsittelyn tehtävissä. Ne ovat tyypillisesti yleiskäyttöisiä sanoja kuten artikkelit, prepositiot ja pronominit, joiden esiintyvyys on suurta mutta semanttinen sisältö näkyy vähemmän. Stopword-suodatuksen tarkoituksena on vähentää melua, pienentää indeksiä ja nopeuttaa hakujen käsittelyä sekä parantaa keskittyneiden termien näkyvyyttä. Käytännön toteutus vaihtelee kielen ja sovelluksen mukaan; ei ole yhtä universaalia listausta, vaan listat ovat kielikohtaisia ja niitä voidaan räätälöidä.

Suomenkielisissä aineistoissa tyypillisiä stopsanoja ovat esimerkiksi ja, on, ei, tai, mutta, että, kun sekä se. Suomen morfologian runsas taivutus voi vaikuttaa siihen, miten stopsanojen poistaminen vaikuttaa hakujen kattavuuteen ja tuloksiin; siksi luettelot voivat poiketa toisistaan eri sovelluksissa ja niiden ylläpito voi olla konfiguroitavissa. Joissakin tapauksissa sanoilla voi olla merkitystä lauseyhteyden tai fraasihakujen säilyttämisessä, jolloin niitä ei poisteta indeksoinnissa.

Nykyisissä hakujärjestelmissä stopsanat ovat yleisesti konfiguroitavissa: ne voidaan poistaa indeksoinnin aikana, kyselyn aikana tai sekä. On tärkeää arvioida stopwordien vaikutus sekä hakutuloksiin että järjestelmän resurssien käyttöön ja muokata luetteloa sen mukaan, millainen kokonaisuus ja käyttötarkoitus on kyseessä. Joissakin tehtävissä, kuten tekstiluokittelussa tai käännöksissä, stopsanojen poisto voi olla haitallista, jolloin ne voidaan pitää mukana.