Fulltekstindeksering

Fulltekstindeksering er en metode for å gjøre innhold i dokumenter søkbart ved å analysere tekst og lagre en effektiv indeks som muliggjør raske tekstsøketreff. Målet er å støtte komplekse forespørsler og finne dokumenter som inneholder relevante ord eller uttrykk.

I praksis innebærer fulltekstindeksering innsamling av dokumenter, tekstanalysertikkering og bygging av en invers indeks. Teksten blir normalisert gjennom konvertering til små bokstaver, fjerning av tegn og stoppord, samt stemming eller lemmatisering. Hvert unikt ord kobles til en liste over dokumenter der ordet forekommer, ofte med metadata som termfrekvens i dokumentet og posisjoner for å støtte frase- og nærhetssøk.

En invers indeks består av posting-lister der hvert ord peker til de dokumentene og plasseringene hvor ordet finnes. Indeksen kan komprimeres, deles og replikeres for skalerbarhet i store databaser eller søkemotorer. I tillegg kan ekstra felt som dokumentl Hastighet, språk og metadata lagres for å forbedre søk og filtrering.

For spørringer behandles forespørselen ved å tokenisere og normalisere de søkeordene, og deretter søke i indeksen for å finne relevante dokumenter. Relevansrangering oppnås ofte med algoritmer som TF-IDF, BM25 eller språkmodellbaserte metoder, og inneholder ofte viktige tillegg som stemming, synonymhåndtering og highlighting av utvalgte fragmenter.

Bruken av fulltekstindeksering spenner fra søkemotorer og CMS til bedrifts- og e-handelsløsninger. Viktige utfordringer inkluderer støtte for flere språk, håndtering av store datamengder, oppdateringsytelse og behovet for rask og presis retur av relevante treff.