textnormalisering

Textnormalisering er prosessen med å gjøre tekst til en standardisert form for å lette automatisk behandling og analyse. Innenfor områder som informasjonsinnhenting, søk og naturlig språkbehandling, har normalisering som mål å redusere variasjon som oppstår fra forskjeller i skrivemåte, tegnsett og formatering. En vellykket normalisering prøver å bevare mening og informasjon samtidig som unødvendig variasjon fjernes.

Vanlige tiltak inkluderer å gjøre tekst til lowercase (lowercasing), fjerning av diakritiske tegn og Unicode-normalisering (for eksempel NFC). Det kan også innebære orthografisk normalisering, utvidelse av forkortelser, standardisering av tall og datoer, samt håndtering av spesialtegn og emojier i sosiale medier. Målet er å gjøre tekster mer entydige i etterfølgende behandling, uten å miste identiteten til navn og fagterminologi.

Anvendelser inkluderer søkemotorer og informasjonssøking, tekstanalyse, sentimentanalyse og flerspråklig korpusbehandling. Ved å redusere variasjon blir gjenfinning og sammenligning mellom dokumenter mer konsekvent, og modeller får bedre generalisering i oppgaver som klassifisering, maskinoversettelse og navngitte enheter.

Utfordringer inkluderer språklig mangfold, rik morfologi og kontekstforankring. Overdrevet normalisering kan fjerne meningsbærende informasjon, som navn, tall eller kulturelle uttrykk. Det er derfor viktig å balansere aggressiv standardisering med bevaring av innhold. Evaluering av textnormalisering foregår ofte ved tokennøyaktighet i forhold til en referanse eller ved å måle effekten på nedstrømsoppgaver. God praksis innebærer språkspesifikke regler og ressurser som ordbøker og regelsett.