crawlbudsjett

Crawlbudsjett er et begrep fra søkemotoroptimalisering som beskriver hvor mange sider en søkemotor vil gå gjennom på et nettsted i løpet av en gitt tidsramme. Budsjettet består vanligvis av to komponenter: crawl rate limit, som angir hvor ofte nettstedets server tåler å besøkes, og crawl demand, som reflekterer hvor viktig og relevant innholdet er for søkemotors indeks og hvor ofte det forventes å endres.

Crawl rate limit avhenger av serverens kapasitet og ytelse; hvis serveren responderer langsomt eller gir mange feil, kan budsjettet senkes. Crawl demand påvirkes av faktorer som siders popularitet, nyhet eller oppdateringer, og hvor ofte innholdet antas å endres. Sammen bestemmer disse komponentene hvor mye av nettstedet som faktisk blir crawlet i en periode.

Faktorer som reduserer effektiviteten av crawlbudsjettet inkluderer duplisert eller lavverdiinnhold, svært mange URL-parametre som genererer nesten like sider, feil som 4xx og 5xx, samt blokkering av sider i robots.txt eller med metatagger. Søkemotorer prioriterer ofte å bruke budsjettet på sider som står høyt i rangering, som ofte oppdateres eller har sterk intern lenking.

For å forbedre crawlbudsjettet anbefales det å forbedre nettstedets ytelse og tilgjengelighet, konsolidere eller fjerne duplisert innhold, sikre en tydelig og logisk intern lenkeprofil, bruke en oppdatert sitemap og riktig bruk av robots.txt og canonical-lenker for å styre hvilke sider som indekseres. Det er viktig å merke seg at crawlbudsjettet ikke er en direkte rangering, men en ressurs som påvirker hvor raskt og bredt en side blir indeksert. Verktøy som Search Console kan gi innsikt i crawl-feil og indekseringsstatus.