otsingusüsteemid

Otsingusüsteemid on tarkvarasüsteemid, mille eesmärk on leida ja esitada kasutaja päringule sobivaid dokumente või andmeid suurtest kogudest. Peamised komponendid on uss (web crawler), inverteeritud indeks, päringu töötlus ja reitingu mehhanismid ning kasutajaliides, mis kuvab tulemused. Uss kogub materjali veebist ja teistest allikatest; indeks struktureerib selle teabe sõnade ja metaandmete alusel. Päringu töötlus sisaldab märksõnade eraldamist, õigekirja parandust ning vajadusel lemmatiseerimist ja sünonüümide käsitlemist. Reitingu mudelid hindavad dokumendi relevantsust päringuga; levinud meetodid on TF-IDF, BM25 ning keeleneutraalsed ja kontekstipõhised mudelid, mis võivad kasutada klikkimisandmeid ja muid signaale.

Otsingusüsteeme eristatakse kasutusala järgi: veebiotsingud, mis hõlmavad miljoneid dokumente, ning ettevõtte- või saidiotsing, mis keskendub struktureeritud andmetele ja piiratud kogudele. Arhitektuurina on tavalised jaotatud süsteemid, kus on eraldi kogujad, indeksiserverid ja päringuserverid; skaleerimine saavutatakse jaotamise (sharding) ja koormuse jaotuse abil. Otsingusüsteemide edukus mõõdetakse tavaliselt täpsuse ja meenutuse (precision/recall) ning nDCG abil, ning neid hinnatakse ka kasutajapõhiste A/B-testide kaudu. Viimased arengud keskenduvad mitmekeelsele ja kontekstipõhisele otsingule ning paremale privaatsusele ja jõudlusele.