fulltextssökning

Fulltextssökning är en metod för att hitta relevanta dokument genom att söka i själva textinnehållet snarare än i metadata eller strukturerade fält. Den används i sökmotorer, innehållshanteringssystem och databaser för att hitta dokument som innehåller angivna ord eller fraser.

Grunden är vanligtvis ett omvänt index (inverted index) som kopplar varje förekommande term till de dokument där den finns. Vid indexering utförs tokenisering (delning i ord), normalisering (till exempel konvertering till gemener och borttagning av diakritiska tecken), borttagning av stoppord och ofta stemming eller lemmatization.

Frågehanteringen behandlas i flera steg: sökfrågor tolkas, termer hämtas från indexet och relevans beräknas. Sökningar kan vara enkla ordsökningar, frasfrågor (precis ordföljd), närhetsfrågor, jokertecken samt fuzzy-sökning (stave- eller formvariationer).

Relevansen bedöms vanligen med modeller som TF-IDF eller BM25, ibland med fältvikter eller användarfeedback. Systemet består av indexer som bygger och uppdaterar indexet, en frågeprocessor som tolkar sökningen och en rankingmotor som returnerar resultat i ordnad ordning. Index uppdateras antingen i realtid eller i batchar; många moderna lösningar använder near real-time-indexering för färska dokument.

Användningsområden inkluderar sök i webbapplikationer, företagsinnehåll, e-handel och digitala arkiv. Utmaningar innefattar flerspråkighet, synonymer, stavningsvariationer, datamängdens storlek och krav på snabb svarstid samt relevansutvärdering.

Historiskt har fulltextssökning vuxit fram ur informationsåtervinning; projekten Apache Lucene, Solr och Elasticsearch har haft stor betydelse för praktisk implementering och skalbarhet.