fuldtekstsøgning

Fuldtekstsøgning er en søgeteknologi der gør det muligt at søge i indholdet af dokumenter og andre tekstbaserede data ved at indeksere hele teksten frem for at basere søgninger på metadata alene. Systemet organiserer data gennem et eller flere indekser, der gør det muligt hurtigt at finde dokumenter der indeholder bestemte ord eller udtryk.

Ved bygging af indeks behandles teksten gennem tokenisering, normalisering og ofte stemming eller lemmatisering. Stopord fjernes for at reducere støj. Den resulterende inddeling bygges i en inverted index, hvor hvert ord peger til de dokumenter der indeholder det. Nødvendige sprog- og tegnsætsregler håndteres af analyzers der tilpasses per sprog.

Ved forespørgsler analyseres brugerens søgeudtryk på tilsvarende vis og matches mod indekset. Resultater rangeres ud fra relevans, ofte baseret på metrics som BM25 eller TF-IDF, samt faktorer som termfrekvens, invers dokumentfrekvens og feltvægte. Fuldtekstsøgning understøtter ofte forskellige søgefunktioner såsom frase-søgning, booleske operatorer, jokertegn og fuzzy søgning samt feltnavne som titel eller indhold.

Typiske teknologier omfatter søgemotorer som Elasticsearch, Apache Solr og Lucene, der ofte bruges sammen med relationelle databaser og indholdsstyringssystemer. Fuldtekstsøgning anvendes i intranet-søgningsløsninger, e-handel, dokumentstyring og kundeoplevelsesfunktioner.

Udfordringer og overvejelser inkluderer håndtering af sprog med kompleks morfologi, stavefejl, effektive opdateringer af indeks ved ændringer, skalerbarhed og relevansvurdering samt privatliv og databeskyttelse ved søgning i følsomme data.