stoppordsborttagning

Stoppordsborttagning, eller stopword removal, är en teknik inom naturlig språkbehandling och informationsåtervinning där vanligt förekommande ord med låg semantisk betydelse tas bort från texten före vidare bearbetning. Stoppord definieras ofta som småord som förekommer mycket frekvent men bär lite innehåll på egen hand, till exempel formen av pronomen, konjunktioner och hjälpverb.

Implementeringen sker vanligtvis i en preprocesseringspipeline där texten först tokeniseras och normaliseras, därefter filtreras bort ord som finns i en fördefinierad stopwords-lista eller uppfyller vissa frekvenskriterier. Listor kan vara språk­specificerade och anpassas till domän eller textgenre. För svenska kan exempelvis ord som och, i, det, som, att förekomma. Anpassningar görs ofta för morfologi och exempelvis sammansättningar.

Syftet är att minska den dimensionalitet som uppstår i textdata, spara beräkningskraft och hindra att mycket vanliga ord dominerar analysen. Stopwords används ofta i uppgifter som sökningar, textklassificering och klustring där betydelsebärande ord står i fokus. Men borttagningen kan också leda till förlust av nyanser och syntaktiska signaler, särskilt i uppgifter där ordföljd och relationer är viktiga. Därför används viss flexibilitet i hur aggressiv stoppordsborttagning är, beroende på uppgift och språk.

Relation till modern NLP: i many transformerbaserade modeller är stoppordsborttagning inte alltid nödvändig eftersom modellerna lär kontextualisering av ord. Däremot används det fortfarande i enklare pipelines och i traditionell textmätning där resurs- och prestandakrav är höga.