tekstindexering

Tekstindexering is het proces waarbij ongestructureerde tekst wordt omgezet in een datastructuur die efficiënt kan worden doorzocht. Het doel is snelle en relevante resultaten bij zoekopdrachten in documenten, webpagina's, bibliotheken en bedrijfsdatabanken.

Het centrale concept is het inverted index: een index die per term bijhoudt in welke documenten hij voorkomt, vaak ook met de positie van het woord in het document. Hiermee kunnen zoekopdrachten worden vertaald naar een korte lijst documenten die relevant zijn.

Voorbewerking en indexering bestaan uit tokenisatie (het opdelen van tekst in woorden of zinsdelen), normalisatie (conversie naar lowercase), verwijdering van stopwoorden, en stemming of lemmatization. Optioneel worden synoniemen, afkortingen en diakritische tekens behandeld. Vervolgens wordt de inverted index opgebouwd, vaak met extra informatie zoals termfrequenties en posities zodat ook frase- en proximiteitsqueries mogelijk zijn.

Queryverwerking omvat analyse van de zoekopdracht, het opzoeken in de inverted index en het berekenen van relevantie met modellen als TF-IDF of BM25. Moderne systemen combineren ook vectorrepresentaties en semantische matching om synoniemen en conceptuele verwantschap beter te verwerken.

Toepassingen omvatten web- en intranetszoekers, digitale bibliotheken, documentmanagementsystemen en e-discovery. Voorbeelden van technologieën die tekstindexering implementeren zijn Apache Lucene, Elasticsearch en Solr. Daarnaast is incremental indexing en real-time updates belangrijk voor dynamische collecties.

Uitdagingen zijn meertaligheid, varianten in spelling en afkortingen, OCR-fouten bij gescande documenten, ruis en privacyoverwegingen. Trends omvatten het combineren van traditioneel inverted indexing met vectorgebaseerde zoekmethoden en betere ondersteuning voor ongestructureerde data.