ordreforberedelse

Ordførberedelse er en betegnelse inden for sprogvidenskab og natur sprogbehandling (NLP), som beskriver de forberedende trin, der udføres på ord eller tekst for at lette videre analyse, indeksering eller søgning. Formålet er at reducere variationer i ordformer og at skabe en ensartet repræsentation af ord for systemer som søgemaskiner, ordbøger eller maskinlæringsmodeller.

Typiske trin i ordreforberedelse inkluderer normalization og standardisering af teksten: konvertering til ens små bogstaver, håndtering af diakritiske tegn og ortografiske varianter. Herefter kommer tokenisering, altså opdeling i ord eller enheder, og senere lemmatisering eller stemming, hvor ordene bringes tilbage til deres grundform eller en stamform. Håndtering af afledninger og bøjninger er særligt vigtig i dansk, hvor ord får forskellige endelser og definite suffixer i stedet for at ændre stammen fuldstændigt.

Særlige udfordringer i ordreforberedelse omfatter danske forhold som sammensatte ord (for eksempel lange sammensætninger som køkkensvaskemaskine, der kan splittes eller forblive sammen). Desuden skal danske tegn som æ, ø og å håndteres korrekt, og der kan være behov for at behandle tal, forkortelser og navneord forskelligt. Valg af teknikker til lemmatisering, stemming og sammensatsdeling kan påvirke nøjagtigheden af søgning og analyse.

Anvendelser omfatter tekstmining, informationssøgning og indeksering, opbygning af elektroniske ordbøger samt sprogundervisning og korpusstudier. En typisk pipeline fører ofte til lavere varians i ordformer, bedre matchning af søgeforespørgsler og mere pålidelig sproglig analyse.

Kort sagt er ordreforberedelse fundamentet for at gøre tekst data mere ensartet og brugbart for videre behandling.