robotstiedoston

Robotstiedosto, eli robots.txt, on verkkosivustolle tarkoitettu tekstitiedosto, joka sijaitsee verkkotunnuksen juurihakemistossa ja jonka avulla ohjataan verkkokerääjien eli robottien pääsyä sivuston resursseihin. Tiedoston tavoitteena on ohjata indeksointia, helpottaa sivuston hallintaa ja estää kohtuuttoman kuormituksen kohteena olevia osia. Robotstiedosto on käytännössä vapaaehtoinen keino ja sen noudattaminen riippuu robottikoneesta.

Syntaksi koostuu ryhmistä, joilla on User-agent -määritys ja sille seuraavat Disallow- ja mahdollisesti Allow-säädökset. Esimerkki:

User-agent: *

Disallow: /private/

Allow: /private/public/

Tiedostoon voidaan lisätä myös Sitemap-viittaus, esimerkiksi Sitemap: https://esimerkki.fi/sitemap.xml, sekä mahdollisia lisäasetuksia, kuten Crawl-delay. Käytössä on sekä vanhempi standardi että laajennetut käytännöt, joita suurin osa hakukoneista tukee.

Robotstiedosto on ratkaiseva vain indeksointiehdon näkökulmasta eikä se ole turvallisuus- tai pääsylukko. Monet hakukoneet kunnioittavat siellä annettuja ohjeita, mutta potkijat tai epäeettiset botit voivat ohittaa nämä ohjeet. Siksi salaudu tai piiloita sisältö käyttämällä muuta teknistä suojausta, kuten autentikointia, noindex-tageja tai HTTP-otsikoita.

Ylläpitäjien on hyvä testata robotstiedoston toimivuutta esimerkiksi hakukoneen tarjoamilla työkaluilla ja varmistaa, ettei tärkeää aineistoa vahingossa estetä tai että kriittiset resurssit ovat saatavilla niille, joita halutaan indeksoida. Robotstiedosto sai alkunsa Robottien poissulkeutumismallista 1990-luvulla ja on sittemmin vakiinnuttanut paikkansa sivustojen hallintatyökaluna.