Wat is crawl budget?
Crawl budget is het aantal pagina’s dat Googlebot binnen een bepaald tijdsbestek op een website crawlt en indexeert.
Waarom is crawl budget belangrijk voor SEO?
Kort gezegd: als Google een pagina niet indexeert, wordt deze voor niets gerangschikt, wat je SEO-prestaties kan schaden.
Als het aantal pagina’s dus groter is dan het crawl budget van je site, zullen er pagina’s op je site staan die niet worden geïndexeerd.
Een zeer hoog totaal aantal pagina’s kan van invloed zijn op de indexering.
Dat gezegd hebbende, hoeft het overgrote deel van de sites zich geen zorgen te maken over het crawl budget. Google en andere zoekmachines zijn HEEL goed in het vinden en indexeren van pagina’s.
Dat gezegd hebbende, zijn er een paar gevallen waarin je wél aandacht moet besteden aan het crawl budget:
- Je beheert een grotere site: als je een website hebt (zoals een e-commercesite) met meer dan 10.000 pagina’s, kan Google moeite hebben om ze allemaal te vinden.
- Je hebt zojuist een aantal pagina’s toegevoegd: als je onlangs een nieuwe sectie aan je site hebt toegevoegd met honderden belangrijke pagina’s, wil je er zeker van zijn dat je voldoende crawl budget hebt om ze allemaal snel te laten indexeren.
- Veel omleidingen: veel onnodige omleidingen en omleidingsketens verspillen je crawl budget.
Hieronder volgen enkele eenvoudige manieren om het crawl budget van je site te maximaliseren.
Best practices
Verbeter de snelheid van je site
Door de paginasnelheid van je site te verbeteren, kunnen Googlebot en andere zoekmachinebots meer URL’s van je site crawlen.
Google stelt zelfs:
“Door een site sneller te maken, verbeter je de gebruikerservaring en verhoog je tegelijkertijd de crawlfrequentie.”
Met andere woorden:
Traag ladende pagina’s zijn moeilijk te crawlen.
Maar als je pagina’s snel laden, heeft Googlebot tijd om meer van je pagina’s te bezoeken en te indexeren.
Snel laden betekent meer tijd om andere pagina’s te indexeren.
Gebruik interne links
Googlebot geeft voorrang aan pagina’s waarnaar veel externe en interne links verwijzen.
Ja, idealiter zou je backlinks krijgen die naar elke afzonderlijke pagina op je site verwijzen. Maar in de meeste gevallen is dat geen realistische interne linkstructuur. Houd je pagina’s geoptimaliseerd door gebroken links te verwijderen. Bij interne links verwijzen gebroken links naar verwijderde of verplaatste pagina’s die niet zijn omgeleid/verwijderd.
Als beste SEO-praktijk moet je gebroken links opsporen en repareren.
Dit mag niet overschaduwen dat interne links zo belangrijk zijn.
Je interne links sturen Googlebot naar alle verschillende pagina’s op je site die je wilt indexeren.
Interne links sturen Googlebot naar alle pagina’s die je wilt indexeren.
Vlakke website-architectuur
Volgens Google:
“URL’s die populairder zijn op internet worden vaker gecrawld om ze actueler te houden in onze index.”
En in de wereld van Google staat populair gelijk aan linkautoriteit.
Daarom wil je een platte website-architectuur gebruiken op je site.
Een platte architectuur zorgt ervoor dat alle pagina’s van je site enige linkautoriteit hebben.
Een platte architectuur zorgt ervoor dat linkautoriteit naar alle pagina’s stroomt.
Vermijd “verweesde pagina’s”
Verweesde pagina’s zijn pagina’s waar geen interne of externe links naar verwijzen.
Google heeft veel moeite om weespagina’s te vinden. Als je dus het meeste uit je crawl budget wilt halen, zorg er dan voor dat er ten minste één interne of externe link is die naar elke pagina op je site verwijst.
Beperk dubbele inhoud
Het beperken van dubbele inhoud is om veel redenen slim.
Het blijkt namelijk dat dubbele inhoud je crawl budget kan schaden.
Dat komt omdat Google geen middelen wil verspillen door meerdere pagina’s met dezelfde inhoud te indexeren.
Zorg er dus voor dat 100% van de pagina’s van je site bestaat uit unieke, hoogwaardige inhoud.
Dit is niet eenvoudig voor een site met meer dan 10.000 pagina’s. Maar het is een must als je het maximale uit je crawl budget wilt halen.