veebisirvijad

Veebisirvija (web crawler või spider) on automatiseeritud tarkvara, mis sirvib veebilehti, analüüsib nende sisu ja järgib linke, ning kogutud andmed suunab indekseerimiseks. Peamine eesmärk on luua veebist teabekaart, mida kasutavad otsingumootorid, et pakkuda kiireid ja asjakohaseid otsingutulemusi. Veebisirvjajaid kasutatakse ka arhiveerimise ja sisuanalüüsi eesmärkidel.

Töö käigus alustab veebisirvija tavaliselt URL-ide nimekirjaga, külastab lehekülgi, tõlgendab HTML-i ja muud vormingud, ning kogub teksti, metaandmeid ja linkide kaudu uusi lehekülgi. Ta järgib robots.txt faili, mis määrab, milliseid lehti võib indekseerida ja milliseid mitte. Lisaks võivad saitide omanikud märgistada noindex või nofollow, et piirata indekseerimist või linkide järgimist. Hea tavapraktika hõlmab koormuse piiramist ja austamist saidi eeskirjade vastu.

Erinevat tüüpi veebisirvjajad hõlmavad üldisi, mis teenindavad suuri otsingumootoreid (nt Googlebot, Bingbot, YandexBot), ning spetsialiseeritud või temaatilisi sirvjiaid, mis koguvad konkreetset sisu. Arhitektuuris on tavaliselt front, fetcher, parser ja indeksija; sitemaps või RSS-kanalid võivad aidata uue sisu avastamisel.

Veebisirvjatega seotud küsimused hõlmavad privaatsust, autoriõigusi ja infrastruktuuri koormuse haldamist ning õiguslikke nõudeid. Need tegutsevad tihti vastavalt rahvusvahelistele ja kohalikele standarditele ning ettevõtte sisepoliitikale. Populaarsed näited on Googlebot, Bingbot, YandexBot, Baiduspider ja DuckDuckBot.