Søkestruktur

Søkestruktur er et begrep innen informasjonsinnhenting som beskriver hvordan data organiseres og hvilke algoritmer som brukes for å gjøre søk effektive. Målet er å muliggjøre rask gjenfinning av relevante dokumenter eller objekter i store datasamlinger, ved å kombinere effektive indekser, tokenisering og relevansvurdering.

Kjernen i de fleste søkesystemer er den inverse indeksen: for hvert ord registreres hvilke dokumenter som inneholder ordet, ofte med posisjonsinformasjon for å støtte frase- og nærhetsforespørsler. En tilsvarende foroversøk kan være en forward index, som lister hvilke ord hver dokument inneholder. Indekser bygges gjennom tekstbehandling (tokenisering, normalisering, stemming/lemmatisering, fjerning av stoppord) og inkrementell eller batch-oppbygging. Lagringsstrategier inkluderer lagring i minne, på disken og bruk av komprimering og postings-skippekiler for raskt hopp i lister.

Spørringsbehandling innebærer tolkning av brukerens forespørsel, normalisering av termer og ofte utvidelse av søket (synonymer, stemming). Deretter anvendes en rangering av kandidater basert på modell for relevans, som TF-IDF, BM25 eller mer avanserte læring-til-rangering-modeller. Frase- og nærhetsforespørsler utnytter posisjonsinformasjon i indeksen.

Søkestrukturer brukes i ulike sammenhenger, fra interne bedrifts- og biblioteksøk til store web-søk. ytelse og skalerbarhet er kritisk, og moderne systemer bruker distribuerte indekser, caching og relevans-tilnærminger som kan inkludere neurale rerankere og semantisk søk. Til slutt vurderes systemene gjennom presisjon, tilbakekall og svartid, samt sikkerhet og tilgangsbegrensninger.