Fulltekstindekser

Fulltekstindekser er datastrukturer som gjør det mulig å søke raskt i store tekstsamlinger. De bygger opp et indeksdimensjon hvor ord eller tokens fra dokumentene peker til de dokumentene der de forekommer, ofte sammen med posisjoner og annen metadata. Hensikten er å gjøre raske tekstbaserte søk mulig, snarere enn å skanne hele samlingen ved hvert søk.

Den vanligste typen fulltekstindeks er den omvendte indeks (inverted index). Den omfatter en ordliste (term-lexicon) og en postingsliste for hvert term. En postingsliste inneholder ofte dokumentidentifikatorer og posisjoner hvor term forekommer. For støtte for frasjesøk og proximitet lagres også posisjoner, og i noen tilfeller termvekt eller frekvens.

Indekseringsprosessen består av forbehandling av tekst: oppdeling i tokens, normalisering (f.eks. lowercasing), stamming eller lemmatisering, og filtrering av stoppord. Dokumentene blir deretter analysert og indeksert ved å koble hvert token til dokumentet og posisjon. For effektiv lagring brukes komprimering og gap-koding av posisjoner.

Ved søk tolkes spørsmålet ofte som en liste av termer og eventuelle operatorer. Søkemotorer støtter frasjesøk, nærhetssøk og boolske operatorer. Rekkefølgen og relevansen beregnes vanligvis med rangeringer som BM25 eller TF-IDF, som vektlegger termfrekvens, dokumentfrekvens og andre signals.

Vedlikehold av indekser inkluderer innsetting av nye dokumenter, oppdateringer og fjerning av eksisterende. Inkrementell indeksering og segmentering er vanlig for å begrense kostnadene. Fordeler inkluderer rask søketid og skalerbarhet; ulempene omfatter behov for betydelig lagringskapasitet og kompleksitet ved språklig behandlingen, samt utfordringer med synonymer og polysemi.