tekstudvinding

Tekstudvinding refererer til processen med at udtrække og organisere skriftlig tekst fra forskellige kilder for videre behandling i databaser, arkiver og analyseværktøjer. I praksis ligger det tæt op ad tekstmining og informationsekstraktion og kan omfatte både udtræk af tekst fra billedbaserede dokumenter ved hjælp af optisk tegngenkendelse (OCR) og udtræk af tekst fra digitale dokumenter og websider.

Processen følger typisk et workflow, der starter med tekstindsamling og, ved behov, OCR for billeddokumenter. Herefter udføres parsing af kilder (HTML, PDF, XML), sprogidentifikation og tekstrensning, normalisering og tokenisering. Afancerede tilgange kan inkludere navneentity-genkendelse, lemmatization og opbygning af indekser eller korpuser til videre analyse.

Anvendelser af tekstudvinding omfatter søgesystemer og digitale arkiver, dataanalyse, overvågning af overholdelse af regler, sentimentanalyse, emnemodellering og automatisk indholdsannotering eller opsummering.

Vigtige udfordringer omfatter OCR-fejl i dårligt skannede dokumenter, kompleks layout, håndtering af tabeller, multi-sprogige tekster og forskellige tegnsæt, samt hensyn til privatliv, ophavsret og datakvalitet. Effektiv tekstudvinding kræver standardisering af data og gennemsigtig dokumentation af proces og kilde.