Inleiding
Wil je je concurrenten overtreffen? Dan is basiskennis van technische SEO een must. Natuurlijk moet je ook geweldige en relevante content voor je site creëren. Veel SEO-tools kunnen hierbij ondersteunen, maar het blijft belangrijk om een van de belangrijkste concepten van technische SEO te begrijpen: crawlbaarheid.
Wat is een crawler ook alweer?
Een zoekmachine zoals Google bestaat uit drie dingen: een crawler, een index en een algoritme. Een crawler volgt de links op het web. Dit doet hij 24/7! Zodra een crawler op een website terechtkomt, slaat hij de HTML-versie op in een gigantische database, de index. Deze index wordt bijgewerkt telkens wanneer de crawler je website bezoekt en een nieuwe of herziene versie ervan vindt. Afhankelijk van hoe belangrijk Google je site vindt en het aantal wijzigingen dat je op je website aanbrengt, komt de crawler vaker of minder vaak langs.
Leuk weetje: een crawler wordt ook wel een robot, een bot of een spider genoemd! En de crawler van Google wordt soms Googlebot genoemd.
En wat is crawlbaarheid?
Crawlbaarheid heeft te maken met de mogelijkheden die Google heeft om je website te crawlen. Je kunt crawlers op je site blokkeren. Als je website of een pagina op je website wordt geblokkeerd, zeg je tegen de crawler van Google: “Kom hier niet.” Als gevolg daarvan zal je site of de betreffende pagina niet in de zoekresultaten verschijnen. Tenminste, in de meeste gevallen.
Hoe blokkeer je crawlers?
Er zijn een aantal dingen die kunnen voorkomen dat Google je website crawlt (of indexeert):
- Als je robots.txt-bestand de crawler blokkeert, komt Google niet naar je website of specifieke webpagina.
- Voordat de crawler je website crawlt, bekijkt hij de HTTP-header van je pagina. Deze HTTP-header bevat een statuscode. Als deze statuscode aangeeft dat een pagina niet bestaat, zal Google je website niet crawlen.
- Als de robots-metatag op een specifieke pagina de zoekmachine blokkeert om die pagina te indexeren, zal Google die pagina wel crawlen, maar niet toevoegen aan zijn index.
Hoe crawlers het milieu beïnvloeden
Ja, je leest het goed. Crawlers hebben een aanzienlijke impact op het milieu. Crawlers kunnen meerdere keren per dag naar je site komen. Ze willen nieuwe inhoud ontdekken of controleren of er nieuwe updates zijn. En elke keer dat ze de site bezoeken, crawlen ze alles wat voor hen op een URL lijkt. Dit betekent dat een URL vaak meerdere keren per dag wordt gecrawld.
Dit is onnodig, omdat je waarschijnlijk niet meerdere wijzigingen per dag aanbrengt in een URL. Om nog maar te zwijgen van het feit dat bijna elk CMS URL’s genereert die geen zin hebben en die crawlers gerust kunnen overslaan. Maar in plaats van deze URL’s over te slaan, crawlen crawlers ze keer op keer, elke keer dat ze er een tegenkomen. Al dit onnodige crawlen kost enorm veel energie, wat schadelijk is voor onze planeet.
Verbeter de crawlbaarheid van je site
Om ervoor te zorgen dat je geen energie verspilt, is het belangrijk om de crawlbaarheid van je site goed in de gaten te houden. Moderne SEO-tools bieden functies die onnodige URL’s, feeds en assets kunnen verwijderen of uitschakelen. Hierdoor kunnen crawlers je website efficiënter crawlen. Je houdt hierbij de controle: per type asset kun je bepalen of de URL behouden of verwijderd moet worden.
Wil je meer weten over crawlbaarheid?
Hoewel crawlbaarheid een fundamenteel onderdeel is van technische SEO (het heeft te maken met alle zaken die Google in staat stellen je site te indexeren), is het voor de meeste mensen al behoorlijk geavanceerde materie. Toch is het belangrijk dat je begrijpt wat crawlbaarheid is. Misschien blokkeer je – misschien zelfs zonder het te weten! – crawlers van je site, wat betekent dat je nooit hoog in Google zult scoren. Dus als je serieus bezig bent met SEO, is crawlbaarheid belangrijk voor je.
Een makkelijke manier om hier meer over te leren is door technische SEO-trainingen te volgen. In zulke SEO-cursussen leer je hoe je technische SEO-problemen kunt opsporen en oplossen. Er bestaan ook trainingen die specifiek gaan over crawlbaarheid en indexeerbaarheid.