Wat is indexability?
Indexability is het vermogen van een webpagina om door zoekmachines te worden geïndexeerd. Alleen geïndexeerde pagina’s kunnen in zoekresultaten worden weergegeven.
Om een webpagina te indexeren, moeten zoekmachines, zoals Google:
- De URL van de pagina ontdekken.
- De pagina crawlen (de inhoud ervan downloaden).
- De pagina verwerken (de belangrijkste informatie uit gecrawlde pagina’s begrijpen en extraheren).
Pas dan kan de pagina in de zoekresultaten verschijnen.
Als webcrawlers hun werk niet kunnen doen en een pagina op je site niet kunnen crawlen, kan die pagina niet correct worden geïndexeerd. En zonder indexering kan de pagina van je website geen zoekverkeer genereren, omdat deze onzichtbaar blijft voor zoekmachines.
Waarom is indexability belangrijk?
Indexability stelt zoekmachines in staat om de pagina’s van je website weer te geven in SERP’s. Zonder indexering kun je geen organisch zoekverkeer naar je site leiden.
Het is vermeldenswaardig dat het soms zinvoller is om bepaalde pagina’s niet-indexeerbaar te maken. Niet geïndexeerde pagina’s hebben bijvoorbeeld de voorkeur als het gaat om landingspagina’s, pagina’s van lage kwaliteit of ‘Bedankt voor je inschrijving’-pagina’s. Je wilt immers niet dat deze pagina’s in de zoekresultaten verschijnen.
Als je echter wilt dat de URL’s worden gerangschikt, moet je ervoor zorgen dat die pagina’s zowel crawlable als indexeerbaar zijn.
Wat maakt een pagina indexeerbaar?
Om als “indexeerbaar” te worden beschouwd, moet de pagina aan de volgende criteria voldoen:
1. De pagina moet crawlable zijn.
Om een webpagina te kunnen indexeren, moeten de crawlers van de zoekmachine eerst toegang hebben tot de inhoud ervan en deze kunnen crawlen. Een factor die rechtstreeks van invloed is op de “crawlability” van een webpagina is het robots.txt-bestand.
Voor degenen die niet bekend zijn met de meer ‘technische’ kant van SEO: een robots.txt-bestand is een klein bestand dat zich in de hoofdmap van je website bevindt.
Het heeft als taak instructies te geven aan webcrawlers en hen te vertellen welke pagina’s op je site niet mogen worden gecrawld. Anders zullen bots alle pagina’s crawlen die ze op de website kunnen vinden; dat is hun standaardinstelling.
Er zijn gevallen waarin het zinvol is om dergelijke ‘beperkingen’ in te stellen. Toch is het essentieel om ervoor te zorgen dat je niet onbewust de pagina’s blokkeert die je wél wilt laten indexeren.
2. De pagina mag geen ‘noindex’-tag hebben
Een ‘noindex’-tag is een on-page-richtlijn die de zoekmachine instrueert om een specifieke pagina niet te indexeren. In feite voorkomt het dat een pagina in SERP’s verschijnt.
Soms is het raadzaam om bepaalde pagina’s, zoals landingspagina’s, inlogpagina’s, dunne of laagwaardige pagina’s of ‘bedankpagina’s’, te ‘noindexen’ en ze ‘privé’ te houden.
Als je deze richtlijn echter verkeerd gebruikt of vergeet te verwijderen van de pagina die je wilt laten indexeren, verlies je organisch zoekverkeer.
Je kunt je website crawlen met tools zoals Ahrefs Webmaster Tools om ervoor te zorgen dat geen van de pagina’s die je wilt indexeren een ‘noindex’-tag heeft.
3. De pagina moet canoniek zijn
Een canonieke tag (rel=“canonical”) in een paginacode definieert de hoofdversie voor dubbele, bijna-dubbele en vergelijkbare pagina’s. Dit betekent dat alleen canonieke pagina’s kunnen worden geïndexeerd, terwijl hun niet-canonieke versies worden uitgesloten.
Tenzij je de canonieke tag aan een pagina toevoegt, zal Google zich baseren op signalen zoals interne en externe backlinks, de XML-sitemap en omleidingen om te beslissen welke URL die cluster in zijn index zal ‘vertegenwoordigen’.
Dat betekent dat als je wilt dat je pagina in de zoekresultaten verschijnt, deze geen andere pagina als canonieke versie mag aangeven. Een goede SEO-praktijk is om zelfrefererende canonieke tags te hebben voor geïndexeerde pagina’s.
Hoe kun je Google helpen je pagina te indexeren?
Dit is wat je kunt doen om Google te helpen de pagina’s van je site te indexeren:
1. Sitemaps indienen bij Google
Een sitemap is in wezen een lijst (meestal in XML-formaat) met alle pagina’s op je website.
De sitemap heeft als functie Google te informeren over de pagina’s op je site die je wilt laten indexeren.
Controleer voordat je een sitemap indient of deze de huidige status van je website weergeeft en corrigeer eventuele fouten, zoals gebroken links, verweesde pagina’s en dergelijke.
Je kunt je sitemaps indienen bij Google met behulp van de Google Search Console-tool.
2. Dien afzonderlijke pagina’s in via de URL-inspectietool
Als je indexering of herindexering van slechts enkele individuele URL’s wilt aanvragen, kun je de URL-inspectietool in Google Search Console gebruiken.
De URL-inspectietool is een diagnostische tool in Google Search Console die je inzicht geeft in de geïndexeerde versie van je webpagina door Google en waarmee je onder andere de URL’s live kunt testen en de weergegeven versie van de pagina kunt bekijken.
Je kunt hiermee ook afzonderlijke pagina’s indienen bij Google.
Als je indexering van een nieuwe URL wilt aanvragen – of opnieuw crawlen en indexeren van bijgewerkte URL’s – kun je Google hierom vragen door op de knop ‘Indexering aanvragen’ te klikken. Als er geen fouten in je live URL staan, voegt Google je pagina toe aan de crawlwachtrij.
Houd er echter rekening mee dat er een limiet is aan het aantal URL’s dat je per dag kunt indienen voor indexering.
3. Zorg voor interne links voor betere/snellere vindbaarheid
Een andere manier om crawling te stimuleren en daarmee de indexering van de website te versnellen, is door gebruik te maken van interne links.
Terwijl ze het internet doorzoeken, volgen de crawlers van Google een pad dat wordt gevormd door links. Dus wanneer een pagina op je website naar een andere pagina linkt, volgen deze crawlers het bestaande pad en ontdekken ze nieuwe inhoud.
Pagina’s zonder interne links worden ‘verweesde pagina’s’ genoemd.
Daarom is het cruciaal om ervoor te zorgen dat je interne links hebt aangebracht naar en van je belangrijkste pagina’s. Toegegeven, dat gebeurt meestal vanzelf wanneer je een goed georganiseerde site maakt.
Het kan echter geen kwaad om te controleren of er weespagina’s op je website staan, dat wil zeggen pagina’s waarnaar geen interne links verwijzen. Je kunt dit doen met tools zoals Site Audit.
In dit verband moet je ervoor zorgen dat deze interne links naar geïndexeerde pagina’s geen ‘nofollow’-tag hebben, omdat Google geen nofollow-links crawlt.