textökning

Textökning är processen att hitta och återge textsträngar eller relevanta avsnitt i dokument, databaser eller andra textbaserade samlingar utifrån en användarens sökfråga. Den används inom digitala bibliotek, företagsdata, webbsökning och analys av loggar. Målet är att snabbt visa relevanta träffar och ge sammanhang där orden förekommer.

Vanliga tekniker bygger på fulltextsindexering. Dokument omvandlas till tokens genom tokenisering och normalisering (t.ex. lägre versaler, stemming eller lemmatization). Stoppord kan tas bort eller viktas mindre. Sökfrågor kan uttryckas som enkla nyckelord, frassökning, booleanska uttryck eller mer avancerade frågor med liggande operatorer och wildcard.

För att bedöma relevans används sökalgoritmer som tf-idf eller BM25 inom ett vektorbaserat eller rankingramverk. Vissa system utökar med semantisk förståelse, synonyms, stavningsvariationer och kontextuell sökning. Fuzzy search och närhets-sökningar tillåter matchning trots små avvikelser.

Vanliga implementeringar är sökmotorer och databasverktyg. Elasticsearch och Apache Solr är populära öppna lösningar som bygger på inversa index och avancerad ranking. Relationsdatabaser som PostgreSQL och MySQL har även fulltextsökning, ibland med externa indexerare.

Användningar inkluderar webb- och företagsökningar, dokumenthanteringssystem, e-handelssökning och analys av loggfiler. Begränsningar inkluderar språklig mångfald, synonymhantering, relevansbedömning och prestanda vid mycket stora mängder data. Dessutom krävs ofta rättighets- och integritetshantering för att styra vad som får sökas igenom.