Søkeindekser

Søkeindekser er datastrukturer som brukes i informasjonsgjenfinning og søkeverktøy for å gjøre tekstsøk raskere ved å kartlegge ord eller termer til forekomster i et dokumentkorpus. Ved å organisere innholdet på denne måten kan søkemotorer raskt identifisere relevante dokumenter uten å skanne hele samlingen hver gang et søk gjøres.

Den mest utbredte typen er den omvendte indeksen (inverted index). Den består av et termkatalog der hvert ord peker til en postingsliste som inneholder dokumentidentifikatorer hvor ordet forekommer, og ofte posisjoner innen dokumentet. This muliggjør effektive spørringer som enkeltordssøk, frasøk og nærhetssøk. Tillegg som termfrekvens og dokumentfrekvens brukes ofte for å beregne relevans under rangering.

Indexering innebærer å lese dokumentene, tokenisere og normalisere tekst (for eksempel konvertere til små bokstaver, fjerne stopwords, bruke stemming eller lemmatisering). Deretter bygges postingslister og indeksen lagres, ofte i komprimert form for å spare plass. Oppdateringer kan være inkrementelle eller kreve full omindeksering, avhengig av systemet og krav til konsistens.

Ved søk bruker motoren indeksen for å identifisere kandidater raskt og deretter rangere dem etter relevans ved hjelp av metoder som TF-IDF eller BM25, ofte kombinert med maskinlæring og kontekstuelle eller brukerbaserte signaler.

Ulike typer søkeindekser finnes i praksis. I tillegg til fulltekstindekser brukes metadataindekser for felt som forfatter og dato, og avanserte indekser som n-gram eller språkspesifikke tilpassinger. Utfordringer inkluderer språkvariasjoner, stemming, homonymer og behov for flerspråklig støtte.