Zoekindices

Zoekindices, in het Nederlands vaak vertaald als zoekindex of zoekindices, verwijst naar de verzameling datastructuren die worden gebruikt om informatie op te sporen binnen een corpus. Het doel is om zoekopdrachten snel om te zetten in relevante documenten zonder lineair door alle documenten te hoeven gaan. Veelvoorkomende typen zijn de inverted index, waarbij voor elke term een lijst van documenten wordt opgeslagen waarin die term voorkomt; de forward index, die per document de aanwezige termen opsomt; en de positional inverted index, die ook de posities van termen binnen documenten bewaart, waardoor frase- en proximiteitszoekopdrachten mogelijk zijn. Daarnaast bestaan n-gram indexen en suffix arrays die laag-ere queries ondersteunen en fouttolerante zoekopdrachten mogelijk maken.

Constructie: tijdens de indexering wordt tekst getokeniseerd, genormaliseerd en eventueel stopwoorden verwijderd; termen worden geaggregeerd per document en postingslijsten worden aangemaakt en gecomprimeerd om opslag te besparen. Bij queryverwerking wordt de index geraadpleegd en worden documenten gerangschikt met modellen als TF-IDF of BM25, vaak in combinatie met leergebaseerde rangschikking.

Toepassingen: zoekindices zijn essentieel in zoekmachines, digitale bibliotheken, contentmanagementsystemen en e-commerceplatforms, waar snel zoeken naar termen, zinnen en synoniemen cruciaal is.

Uitdagingen: dynamische updates, meertaligheid en schaalbaarheid, evenals balans tussen opslagruimte en zoekprestatie. Zie ook: informatieopvraging, inverted index, BM25.