ordbehandlings

Ordbehandling är ett samlingsbegrepp inom naturlig språkbehandling som avser de tekniker och uppgifter som verkar på ord i en text. Det omfattar steg som förbereder, normaliserar och analyserar texten på ordnivå, bland annat tokenisering, ortografisk normalisering, stemming, lemmatisering, morfologisk analys och del av tal‑taggning. Syftet är att omvandla råtext till ett format som är användbart för vidare bearbetning som sökning, indexering eller förståelse av innehåll.

Tokenisering delar upp texten i ord- eller enhetstokens. Normalisering standardiserar staving, bokstavsvariationer och diakritiska tecken för att uppnå konsekvens i representationen. Stemming reducerar ord till sin stam, ofta till en form som inte längre är ett riktig ord; lemmatisering återför ord till dess dictionary-lemmal. Morfologisk analys bestämmer ordets grammatiska form och böjningsmönster. Stopword‑borttagning kan användas för att exkludera vanliga funktionord från analysen.

I praktiken används ordbehandlingspipelines i språkbehandlingssystem och sökmotorer. Det finns språk- och verktygsspecifika komponenter för svenska och andra språk med rik morfologi, inklusive tokenizers, stemmers och lemmatizers samt POS‑taggar.

Användningsområden inkluderar informationssökning, stavnings- och grammatikkontroll, maskinöversättning, taligenkänning och textanalys. Viktiga utmaningar är språklig mångfald, tvetydighet i ordformer, hantering av namn och nyord samt resursbegränsningar i mindre språk.