Textindexering

Textindexering är processen att omvandla ostrukturerad text till en sökbar struktur som möjliggör snabb och relevant återkallelse av dokument. Den är central i sökmotorer, digitala arkiv, innehållshanteringssystem och därmed av informationssökning. Huvudmålet är att koppla termer eller fraser till de dokument där de förekommer och att rangordna resultaten utifrån relevans.

Processen innefattar normalisering, tokenisering, borttagning av stoppord, böjning/lemmatisering, och ibland stemming, samt hantering av synonymer och fras- eller n-gramindexering. Under byggandet skapas ett index som ofta är ett inversionsindex där varje term pekar till en postingslista med dokumentidentifikatorer, termfrekvens och positionsinformation. För att stödja flerspråkighet och komplexa fält kan olika analyser användas per språk och per fält.

Den dominerande datastrukturen är ett inversionsindex, där varje term associeras med en postingslista som innehåller dokument-ID, frekvens och positioner för termens förekomst. Oftast används även ett forward index för snabb åtkomst till dokumentinnehåll. Utvidgningar inkluderar stöd för n-gram, stemming, lemmatizing, och viktning enligt tf-idf eller mer moderna vektorra.

Indexering sker vanligtvis i ett pipelineflöde: dokumenthämtning, metadataextraktion, språkigenkänning, textanalys och byggande av indexet. Uppdateringar kan göras i batch eller i närtid (incrementell indexing). Hantering av borttagningar, reindexering och inkrementell uppdatering är viktiga för färska sökträffar.

Användningsområden inkluderar sökmotorer, interna söksystem och digitala bibliotek. Utmaningar omfattar flerspråkighet, hantering av OCR-noise, synonymitet, polysemi, skalbarhet och kostnader för lagring och beräkning. Effektiva textindexeringslösningar mäter sig ofta i precision, recall och träffrelevans.