veebisirvijate

Veebisirvija ehk veebirobot on tarkvaraprogramm, mis automaatselt külastab veebilehti, kogub teavet ning loob indeksit, mida kasutatakse veebis otsingute tulemuste parandamiseks. Neid programme kasutatakse peamiselt otsingumootorite toimimise tagamiseks, kuid neid võib kasutada ka muude andmete kogumiseks, näiteks hinnavõrdluste või sisuanalüüside tarbeks.

Tööpõhimõte: tavaliselt algab veebisirvija seed-URLide kogumist ning seejärel laaditakse lehed, analüüsitakse nende sisu ja metaandmeid ning eraldatakse leheküljel olevad lingid. Uued lehed lisatakse järjekorda külastamiseks ja protsess korratakse. Oluline osa on austada veebiturvalisuse ja võrguressursside piiranguid: järgida robots.txt keelde ja kasutajagenti identiteeti ning vajadusel rakendada viivitusi (crawl-delay).

Klassifikatsioon: on üld- või fokuseeritud (ehk spetsialiseerunud teemale). Suuremahulised süsteemid võivad olla hajutatud ja paralleelsed, kasutades mitut töötlejat samaaegselt. Dünaamilise sisu puhul võib vaja minna brauseri renderdamist (nt headless brauserid), et suchkriteeriumi raskem kohaneda.

Kasutusvaldkonnad: peamiselt otsingumootorite indekseerimiseks (nt Google, Bing), kuid ka andmete kogumiseks teaduslikuks või konkurentsianalüüsiks, veebilehtede kaardistamiseks ning sisu muutuste jälgimiseks.

Ajalugu: esimesed tuntud veebisirvijad ilmusid 1993. aastal World Wide Web Wanderer’i näol (Matthew Gray). Aja jooksul arendasid erinevad projektid ja Google’i asutamine 1998 viimistletud ja laialdaselt kasutatuks. Veebisirvijad jäävad otsingute ja andmekäitluse keskseteks tööriistadeks.