tekstindeks

Et tekstindeks er en datastruktur som gjør det mulig å finne tekster eller forekomster av ord i en samling dokumenter. Den mest kjente typen er et omvendt indeks (inverted index), som kobler hvert ord til dokumenter og posisjoner der ordet forekommer. Tekstindekser er sentrale i fulltekstsøking og tekstbasert informasjonsutvinning.

Hovedkomponentene er en termliste, postingslister for hvert ord og metadata som dokumentidentifikatorer, posisjoner og frekvenser. Mange indekser lagrer tf (term frequency) og df (document frequency) for vekting i søk. Noen systemer bruker også komprimering og ekstra struktur for å gjøre søk raskere.

Indekseringsprosessen består av tekstforbehandling: normalisering, tokenisering, fjerning av stoppord og stemming eller lemmatisering. Deretter bygges postingslister ved å tilordne hvert unikt ord en liste av dokumenter der ordet forekommer, ofte med posisjoner for frasertes eller nærhetssøk.

Det finnes ulike typer tekstindekser. I tillegg til omvendt indeks finnes suffix- og n-gram-indekser som hjelper ved søk etter feilstavede eller ufullstendige ord. Indekser kan være statiske eller inkrementelle og implementeres som del av distribuert søketeknologi for store samlinger.

Anvendelser inkluderer søkemotorer, digitale biblioteker og kildekodesøk. Fordeler er raske spørringer og støtte for komplekse spørringer som fraser og nærhetssøk. Begrensninger inkluderer lagringsbehov, oppdateringskostnader og kompleksiteten i vedlikehold og optimalisering.