fuldtekst

Fuldtekst, eller full text på engelsk, refererer til innholdet i et dokument i sin helhet, slik det er skrevet eller digitalt nedtegnet, i motsetning til metadata, sammendrag eller indekserte felter. Fuldtekst kan lagres som ren tekst, i formater som PDF med tekstlag, eller som HTML og andre tekstbaserte representasjoner. Begrepet er sentralt i informasjonsuttak og digital arkivering.

Fuldtekstindeksering innebærer å gjøre dokumentets innhold søkbart ved å konvertere tekst til en strukturert indeks. Dette inkluderer tokenisering, normalisering av ord, fjerning av stoppord og stamming eller lemmatisk behandling. Inverterte indekser brukes for å koble ord til dokumentene de forekommer i, og søkealgoritmer som TF-IDF eller BM25 gir rangering basert på relevans, nærhet av søkeord og uttrykkssøk.

Anvendelser omfatter søkemotorer på nettet, digitale biblioteker, forskningsarkiver, juridiske databaser og nyhetsarkiver. Fuldtekst gir brukerne mulighet til å oppdage informasjon ned i dokumenter og ikke bare i metadata eller overskrifter, noe som ofte gir mer presise og kontekstuelle søkeresultater.

Utfordringer inkluderer kvaliteten på tekstuttrekk fra skannede dokumenter (OCR-feil), språkvariasjon, store lagrings- og behandlingsbehov, og opphavsrettslige begrensninger. Håndtering av privatliv og sensitiv informasjon samt flerspråklig innhold kan også komplisere fulltekstsøking og indeksiering.

Sammenfattende spiller fuldtekst en kritisk rolle i moderne informasjonsgunnlag og kunnskapsdistribusjon ved å muliggjøre dyp og presis søk i hele dokumentinnholdet.