stopwordien

Stopwoorden zijn woorden die in veel tekstverwerking buiten beschouwing worden gelaten omdat ze weinig onderscheidende informatie leveren. In het Nederlands wordt gesproken over stopwoorden of stopwoordlijsten. Typische stopwoorden zijn lidwoorden (de, het, een), voornaamwoorden (dit, dat, u), voegwoorden (en, of, maar) en voorzetsels (in, op, met, van). Het doel van stopwoorden is ruis te verminderen en de efficiëntie en effectiviteit van analyse te vergroten.

In informatieopvraging en tekstmining worden documenten vaak eerst opgeschoond door stopwoorden te verwijderen voordat technieken als TF-IDF, vectorruimte-modellen of topicmodellering worden toegepast. Daardoor krijgen inhoudswoorden meer gewicht en kunnen zoek- en vergelijkingsprocessen sneller verlopen. Stopwoordlijsten zijn taal- en domeinspecifiek: ze verschillen per taal en soms per vakgebied. Ze kunnen statisch zijn en handmatig worden samengesteld, of afgeleid uit corpora met statistische methoden waarbij woorden met veel frequentie maar lage discriminatieve waarde worden verwijderd.

Er zijn beperkingen. Het verwijderen van stopwoorden kan in sommige taken leiden tot verlies van nuance of verstoorde zinsstructuur, bijvoorbeeld bij analyses die afhankelijk zijn van syntaxis of bij zoekopdrachten naar zinsneden. Bovendien kunnen domeinspecifieke woorden of uitdrukkingen informatief zijn en ten onrechte verwijderd worden. Daarom zijn stopwoordlijsten vaak configureerbaar en worden ze aangepast aan taal en taak.

Samenvattend vormen stopwoorden een basisinstrument in NLP en informatiesystemen om tekstueel materiaal beter hanteerbaar te maken, maar hun toepassing vereist zorgvuldige afweging per taal en toepassing.