ordbaserede

Ordbaserede metoder beskriver behandling af tekst, hvor ord er de grundlæggende enheder i stedet for tegn eller underenheder. I natural language processing og informationshåndtering refererer ordbasering til repræsentationer og modeller, der opererer på hele ord.

Typiske teknikker inkluderer bag-of-words (BoW), TF-IDF og ordembedding-modeller som Word2Vec og GloVe, der producerer vektorrepræsentationer for hvert ord. Disse metoder bruges i opgaver som tekstklassificering, søgning, emneopdagelse og sprogmodellering. Fordelene ved ordbaserede tilgange er enkel tolkning, effektiv træning på moderate datasæt og ofte god ydeevne, når ordgrænser er veldefinerede. De er også lettilgængelige for sprog som dansk og engelsk, hvor ord kan opdeles uden store segmentationstrin.

Ulemperne inkluderer ofte store vokabularer, der fører til høj hukommelsesomkostning og sparsomme datasæt, samt problemer med out-of-vocabulary og nye eller sammensatte ord. For danske sprog med mange sammensatte ord kræves ofte ordsegmentering og lemmatisering for at forbedre dækningsgraden. Desuden kan morfologisk rigdom gøre det svært at fange alle betydningsnuancer uden omfattende forarbejde.

Sammenlignet med tegnbaserede eller subword-baserede tilgange giver ordbaserede modeller ofte bedre semantisk fortolkning for kendte ord, men mindre robusthed over for sjældne ord eller nyord. Mange systemer kombinerer derfor ordbaserede repræsentationer med subword-teknikker og kontekstualisering for at afhjælpe udfordringerne.