Kort antwoord. Crawlen is het proces waarbij een zoekmachine met een programma (een crawler of bot, zoals Googlebot) websites bezoekt, pagina’s leest en links volgt naar nieuwe pagina’s. Wat gecrawld is, kan daarna worden opgenomen in de index en verschijnen in de zoekresultaten.
Hoe werkt het?
Googlebot begint bij bekende pagina’s en volgt de links die het tegenkomt. Ook je XML-sitemap helpt Google nieuwe pagina’s te vinden. Hoe vaak Google langskomt, hangt af van de grootte, snelheid en het belang van je site.
Wat kan crawlen tegenhouden?
- Blokkades in robots.txt.
- Pagina’s waar geen enkele link naartoe gaat.
- Een trage of vaak onbereikbare server.
- Inhoud die alleen via scripts laadt.
AI-crawlers
Ook AI-tools zoals ChatGPT en Perplexity hebben eigen crawlers. Wil je in hun antwoorden voorkomen, blokkeer ze dan niet onbedoeld. Lees verder over indexering en de XML-sitemap.
Bekijk ook de andere begrippen in onze lijst marketing begrippen van A tot Z.
Benieuwd hoe jouw bedrijf ervoor staat?
Vraag de gratis SEO- of GEO-scan aan. Binnen één werkdag zie je hoe je gevonden wordt in Google en in AI-tools zoals ChatGPT, en waar de kansen liggen.
Volgende blog: Google AI-modus: zo word je genoemd in het nieuwe zoeken
