szövegkeresést

Szövegkeresés alatt olyan módszerek és technikák összességét értjük, amelyek egy adott mintázat vagy kifejezés előfordulását keresik meg egy vagy több szövegforrásban. A cél lehet egyszerű előfordulások felderítése, vagy összetett feltételek szerinti keresés, például több dokumentum releváns részeinek azonosítása vagy a találatok rangsorolása.

A megoldások főbb kategóriái közé tartozik az egyszerű, karakterlánc alapú keresés és a formális mintázatvizsgálat. Brute-force megoldásokkal minden pozíciót megvizsgálnak; hatékonyabb algoritmusokként megemlíthetők a Knuth–Morris–Pratt (KMP), a Boyer–Moore és a Rabin–Karp, amelyek a minta és a szöveg szerkezetét kihasználva csökkentik a szükséges összehasonlítások számát. Reguláris kifejezések (regex) használatával rugalmasabb mintákat is megadhatók, például ismétlődő vagy alternatív elemek keresése.

A szövegkeresést gyakran indexeléssel támogatják a nagyobb teljes szöveges állományokban. Ilyenkor egy inverted indexet, illetve különböző típusú indexstruktúrákat (inverz index, n-gramok, suffix-tömbök) dolgoznak fel, és a keresés ezek alapján gyorsan visszakeresi a releváns dokumentumokat. A feldolgozás során gyakran történik tokenizáció, normalizáció, stemming vagy lemmatizáció, hogy a keresés gyakorlati pontossága javuljon.

Alkalmazási területek közé tartozik a webes és helyi keresés, dokumentum- és kódkeresés, naplóelemzés, valamint a természetes nyelvű feldolgozás előkészítő lépése. Kihívások közé tartozik a nyelvi sokszínűség, diakritikus jelek kezelése, teljesítmény és skálázhatóság, ill. a találatok relevanciájának megítélése.