Ordbaserade

Ordbaserade är ett begrepp som används inom lingvistik och natural language processing (NLP) för att beskriva metoder och representationer som utgår från ord som grundläggande enheter. I en ordbaserad strategi delas texten upp i ord (tokens) och varje ord eller ordform behandlas som en separat enhet. Verksamheten bygger ofta på en fast vokabulär där varje ord får en specifik representation, exempelvis en positionsvektor eller ett index i en ordlista.

Inom NLP används ordbaserade tekniker för uppgifter som textklassificering, informationshämtning och språkmodellering. Vanliga metoder inkluderar bag-of-words och TF‑IDF, där ordens förekomst och frekvens används som basmått för att beskriva dokument eller texter. Vidare används ordbaserade språkmodeller där varje ord i vokabulären tilldelas en vektor som fångar dess sammanhang i träningsdata. Fördelarna med ordbaserade metoder är ofta ökad tolkbarhet och enkelhet i modellens struktur samt god prestanda när vokabulären är hanterbar i storlek.

Begränsningar uppstår när språk har rik böjningsmlek, sammansättningar eller många oordinerbara ordformer, vilket leder till mycket stora vokabulärer och utmaningar med ord som inte finns i träningen (out-of-vocabulary). Dessutom kan språkliga fenomen som böjning och avledning kräva omfattande lagringsutrymme för flexiblare representationer.

I modern NLP dominerar ofta subord- eller teckenbaserade och morfembaserade metoder, såsom subword-tokenisering, men ordbaserade tillvägagångssätt används fortfarande i vissa sammanhang där tolkbarhet och kontext främst efterfrågas, eller där språkspecifika ordmodeller är särskilt relevanta.