tekstsøk

Tekstsøk, eller fulltekstsøking, refererer til metoder og teknologier for å finne relevante tekster i store samlinger av dokumenter. Det omfatter søk i databaser, dokumenthåndteringssystemer og nettbaserte søkemotorer, og kan støtte enkle ordsøk til komplekse spørsmål med fraser og operatorer. Målet er å finne relevante dokumenter raskt og i riktig kontekst.

Grunnleggende for tekstsøk er en indeks som gjør søket effektivt. Ofte brukes et omvendt indeks (inverted index) som knytter hvert ord til dokumentene der ordet forekommer. Søkeprosessen involverer tokenisering av tekst, normalisering (for eksempel konvertering til små bokstaver), fjerning av stoppord og ofte stemming eller lemmatisering for å gjøre bøyningsformer søkbare.

Forespørsler kan være enkle ord, fraser eller mer avanserte søkebetingelser med booleanske operatorer, nærhetssøk og jokersøk. For å rangere resultater brukes ofte modeller som TF-IDF eller BM25, og i nyere løsninger også vektorbaserte modeller og nevrale søkemotorer for semantisk relevans.

Typiske plattformer inkluderer relasjonsdatabaser med innebygd fulltekststøtte og dedikerte søkeplattformer som Elasticsearch og Apache Solr (basert på Lucene). Tekstsøk brukes i biblioteks- og arkivsystemer, innholdsadministrasjon og nettsøkemotorer for å levere relevante resultater raskt. Søkefunksjoner kan knytte metadata, rangere resultater og støtte ulike språk.

Utfordringer inkluderer håndtering av mange språk, polysemi og synonymer; behovet for god stemming og lemmatisering; ytelseshensyn ved store datasamlinger; og spørsmål om personvern og sikkerhet i søkeapplikasjoner. Kvaliteten på indeksert innhold og kvaliteten på søkealgoritmenes rangering påvirker relevansen av søkeresultatene.