Zoekmachineindexering

Zoekmachineindexering is het proces waarmee een zoekmachine webpagina’s ontdekt, begrijpt en opneemt in een georganiseerde databank zodat zij bij relevante zoekopdrachten snel kunnen worden teruggevonden. Het begrip omvat zowel het crawlen van het web als het bouwen van een index en het bepalen van de rangschikking van pagina’s in de resultaten. Indexering laat zien hoe de inhoud beschikbaar wordt gemaakt voor zoekopdrachten en voor gebruikers.

Tijdens het crawlen volgen webcrawlers (spiders) hyperlinks om pagina’s te vinden en bepalen zij welke sites ze mogen bezoeken. De crawlers laden de inhoud en metadata, en respecteren aanwijzingen zoals robots.txt of meta-tags die noindex of nofollow aangeven. Sitemaps helpen bij het ontdekken van pagina’s die anders moeilijk vindbaar zijn.

Tijdens de indexering wordt de verzamelde inhoud geanalyseerd en georganiseerd in een inverted index. Kernbegrippen, titels, meta-omschrijvingen, headings en structured data worden geanalyseerd om de context vast te leggen. De index bevat verwijzingen naar de originele pagina’s en vaak ook informatie over de relevantie en actualiteit.

Wanneer een gebruiker een query invoert, zoekt de zoekmachine in de index en rangschikt pagina’s op basis van een algoritme dat factoren zoals relevantie, autoriteit, gebruiksvriendelijkheid, laadsnelheid en mobielvriendelijkheid meeneemt. Resultaten worden gepresenteerd met bijbehorende samenvattingen en, waar mogelijk, gestructureerde gegevens.

Webbeheerders kunnen de indexering beïnvloeden door onder meer robots.txt, sitemaps, canonical tags en meta noindex te gebruiken, en door interne links en gestructureerde data toe te passen.