robots.txt: wat het is en hoe je het goed instelt

Robots.txt is één van de kleinste bestanden op je website en tegelijkertijd een van de meest risicovolle: één verkeerde regel en Googlebot crawlt wekenlang de verkeerde pagina’s of helemaal niets. Juist daarom is dit bestand een vast onderdeel van technische SEO. Je gebruikt het om zoekmachines en andere crawlers te sturen, niet om te gokken. In deze uitleg lees je wat robots.txt is, hoe user-agents, Allow en Disallow werken, hoe je een bestand aanmaakt, welke pagina’s je beter wel of niet blokkeert en welke fouten we in de praktijk het vaakst zien terugkomen.

Wat is robots.txt?

Robots.txt is een klein tekstbestand in de root van je website dat crawlers vertelt welke URL-paden ze mogen bezoeken en welke ze over moeten slaan.

Het bestand staat op een vaste plek: https://jouwdomein.nl/robots.txt. Crawlers zoals Googlebot en Bingbot kijken daar eerst voordat ze je site verder verkennen. Een heldere basisuitleg vind je ook bij MDN Web Docs.

Belangrijk om scherp te hebben: dit bestand stuurt het crawlen, niet automatisch het indexeren. Dat verschil lijkt klein, maar is in de praktijk precies waar veel robots.txt-SEO-problemen ontstaan. Een geblokkeerde URL kan nog steeds in Google verschijnen als andere sites ernaar linken.

Daarom is robots.txt geen los trucje. Het is een stuurmiddel binnen je technische inrichting, naast een XML sitemap, canonical tags en noindex-instructies.

Hoe werken user-agents, Allow en Disallow in robots.txt?

Een robots.txt-bestand bestaat uit groepen regels: per user-agent geef je aan welke paden geblokkeerd zijn met Disallow of juist uitdrukkelijk toegestaan met Allow.

Een user-agent is de naam van een crawler. Denk aan Googlebot of Bingbot. Met een wildcard-sterretje geef je regels mee aan alle bots die het protocol volgen. De officiële syntax van het Robots Exclusion Protocol staat in RFC 9309 via rfc-editor.org.

User-agent: *
Disallow: /admin/
Disallow: /zoeken/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.nl/sitemap.xml

Dit betekent het volgende. Alle crawlers mogen niet in /admin/ en niet in de interne zoekresultaten onder /zoeken/. Tegelijk geef je met Allow aan dat een specifiek bestand binnen een verder geblokkeerd pad wel toegankelijk blijft.

De belangrijkste directives zijn:

  • User-agent: voor welke crawler de regels gelden
  • Disallow: wat niet gecrawld mag worden
  • Allow: uitzondering binnen een blokkade
  • Sitemap: verwijzing naar je XML sitemap

Daarnaast kom je soms een wildcard * of een dollarteken $ tegen. De wildcard matcht patronen, bijvoorbeeld parameter-URL’s. Het dollarteken markeert het einde van een URL. Daar moet je voorzichtig mee zijn, want een te brede regel blokkeert snel meer dan je denkt.

User-agent: *
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /bedankt$
Allow: /assets/css/
Allow: /assets/js/

Een veelgestelde vraag is of je ook crawl-delay moet gebruiken. Dat is geen universele standaard. Sommige bots doen er iets mee, Googlebot niet op dezelfde manier. Zie het dus niet als vaste oplossing voor performanceproblemen.

Hoe maak je een robots.txt-bestand aan en waar moet het staan?

Robots.txt hoort altijd in de rootdirectory van je domein: bereikbaar op https://jouwdomein.nl/robots.txt. Staat het ergens anders, dan heeft het geen effect.

Robots.txt maken is technisch eenvoudig. Je opent een platte teksteditor, slaat het bestand op als robots.txt in UTF-8 en uploadt het naar de rootdirectory van je domein. Gebruik geen tekstverwerker die extra opmaak of vreemde tekens toevoegt.

Een eenvoudig robots.txt-voorbeeld ziet er zo uit:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.nl/sitemap.xml

Controleer daarna direct of het live bestand bereikbaar is. Krijg je een HTTP 404, dan staat er geen bestand op de juiste plek. Krijg je een HTTP 500, dan is er een serverprobleem of een fout in de afhandeling. Beide verdienen meteen aandacht, zeker na livegang of migratie.

Heeft je organisatie meerdere subdomeinen, dan heeft elk subdomein een eigen bestand nodig. example.com/robots.txt geldt dus niet automatisch voor shop.example.com.

Welke pagina’s blokkeer je wél en welke niet? Een praktisch beslismodel

De kernvraag is steeds: heeft een crawler op deze pagina iets te vinden dat bijdraagt aan je vindbaarheid? Zo niet, blokkeer. Zo ja, laat toe — maar controleer altijd of je CSS, JavaScript of de sitemap niet per ongeluk meeblokkert.

Wie geen dagelijkse SEO-specialist is, heeft vooral baat bij een simpel beslismodel. Gebruik dit:

  1. Redactionele content zoals productpagina’s, dienstpagina’s, categoriepagina’s en artikelen: altijd toestaan.
  2. Beheerders-URL’s zoals /wp-admin/ of /admin/: altijd blokkeren.
  3. Filter- en zoekpagina’s: blokkeren, tenzij ze aantoonbare indexeerwaarde hebben en echt gevonden moeten worden.
  4. Staging, test en ontwikkelomgevingen: altijd blokkeren, en liever ook afschermen met wachtwoord.
  5. CSS en JavaScript: altijd toestaan, zodat Google pagina’s goed kan renderen.
Paginatype Aanbeveling Toelichting
Redactionele content (product-, dienst-, categoriepagina’s, artikelen) Toestaan Belangrijk voor vindbaarheid; blokkeer niet
Beheerders-URL’s (bijv. /wp-admin/, /admin/) Blokkeren Geen SEO-waarde; voorkomt toegang door crawlers
Filter- en zoekpagina’s Blokkeren tenzij indexeerwaarde Voorkomt crawlcapaciteitverspilling bij veel parametercombinaties
Staging, test en ontwikkelomgevingen Altijd blokkeren (bij voorkeur wachtwoord) Voorkomt dat testcontent in de index terechtkomt
CSS en JavaScript Toestaan Nodig voor correcte rendering en indexeerbare paginaweergave

Vooral dat derde punt gaat vaak mis. Shopify, Magento en maatwerksites genereren al snel grote aantallen filtercombinaties en parameter-URL’s. Die voegen zelden iets toe voor zoekintentie, maar slokken wel crawlcapaciteit op. Midden in een audit zien we daar vaak de echte schade: niet je belangrijke pagina’s worden eerst bezocht, maar eindeloze varianten zonder commerciële waarde.

Twijfel je over een paginatype, kies dan niet blind voor blokkeren. Vraag je af of iemand deze pagina ooit via Google zou moeten vinden. Is het antwoord nee, dan is blokkeren logisch. Is het antwoord ja of misschien, dan heb je vaak eerder noindex, canonical of een inhoudelijke optimalisatie nodig dan een robots-blokkade.

Wat is het verschil tussen robots.txt en noindex?

Robots.txt stuurt het crawlen; noindex stuurt het indexeren — en dat is een wezenlijk verschil dat in de praktijk tot kostbare fouten leidt.

Gebruik robots.txt als je wilt zeggen: bezoek deze URL liever niet. Gebruik een noindex meta tag of X-Robots-Tag als je wilt zeggen: deze URL mag niet in de zoekresultaten komen.

Daar zit meteen de valkuil. Als je een pagina eerst blokkeert in robots.txt, kan Google de pagina vaak niet meer crawlen en dus ook de noindex-instructie op die pagina niet lezen. Dan houd je een URL over die mogelijk toch nog in de index verschijnt, maar zonder goede snippet of actuele inhoud.

Voor HTML-pagina’s gebruik je meestal een meta robots noindex. Voor niet-HTML-bestanden zoals PDF’s is een X-Robots-Tag geschikter. Robots.txt als noindex-route is geen aanpak om op te bouwen. Voor URL’s die echt uit de index moeten, is crawlbaar maken plus noindex meestal de veiligere aanpak.

Heeft robots.txt invloed op je crawlbudget?

Ja, maar alleen indirect: door irrelevante URL’s te blokkeren houd je crawlcapaciteit over voor de pagina’s die er wél toe doen.

Crawlbudget is simpel gezegd de aandacht die een crawler aan je site besteedt. Voor kleine sites is dat zelden een probleem. Voor grotere sites met filters, interne zoekpagina’s, facetten, sessieparameters of oude archieven wel.

Een goed bestand helpt dan om ruis weg te nemen. Niet zodat je vanzelf hoger komt, maar zodat Googlebot minder tijd verspilt aan URL’s die niets opleveren. Dat is vooral nuttig als nieuwe of gewijzigde pagina’s snel opgepikt moeten worden.

Verwacht er ook niet te veel van. Robots.txt lost geen zwakke sitearchitectuur op. Als je website technisch rommelig is, veel dubbele content heeft of intern slecht gelinkt is, dan blijft crawlbudget een symptoom en niet de oorzaak.

Hoe stel je robots.txt in voor WordPress, Shopify en Magento?

Elk CMS genereert of beheert robots.txt op een eigen manier, en de standaardinstellingen zijn lang niet altijd SEO-vriendelijk.

WordPress

Bij robots.txt in WordPress zie je vaak een virtueel bestand dat door plugins zoals Yoast SEO of Rank Math wordt aangestuurd. De valkuil is dat zo’n plugin een handmatig geüpload bestand kan overschrijven of negeren. Daardoor denk je dat je live bestand goed staat, terwijl een plugin iets anders serveert.

Een veilige basis is meestal:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.nl/sitemap_index.xml

Aanbevolen actie: controleer altijd de live output op /robots.txt en ga niet uit van wat je in de editor denkt te hebben opgeslagen.

Shopify

Shopify biedt beperkte bewerkingsmogelijkheden. Dat is handig voor stabiliteit, maar lastig als je fijnmazig wilt sturen. De praktische valkuil zit vaak niet in wat standaard wordt geblokkeerd, maar juist in URL-patronen die blijven lekken via filters en parameters. Vooral collectiepagina’s met sorteer- en filtercombinaties kunnen snel uitgroeien tot een groot cluster van lage-waarde-URL’s.

User-agent: *
Disallow: /*?filter=
Disallow: /*?sort_by=
Sitemap: https://jouwdomein.nl/sitemap.xml

Aanbevolen actie: beoordeel of filter-URL’s indexeerwaarde hebben. Zo niet, beperk ze via robots.txt of pak ze op via canonical en interne linkstructuur.

Magento

Magento staat bekend om een van oudsher vrij restrictieve standaardconfiguratie. Die is niet per definitie fout, maar kan wel wenselijke paden uitsluiten, zeker als de site in de loop der jaren is uitgebreid met aangepaste modules, zoekfuncties of mediamappen.

User-agent: *
Disallow: /app/
Disallow: /downloader/
Disallow: /errors/
Disallow: /lib/
Disallow: /pkginfo/
Disallow: /shell/
Disallow: /var/
Allow: /media/
Allow: /static/
Sitemap: https://jouwdomein.nl/sitemap.xml

Aanbevolen actie: loop pad voor pad na of geblokkeerde directories nog logisch zijn voor jouw versie, thema en serveropzet. Neem standaardregels nooit klakkeloos over.

Welke robots.txt-fouten beschadigen je SEO?

De meest ingrijpende fout is een Disallow: / die de volledige website blokkeert — een instelling die zomaar actief kan zijn na een CMS-update of migratie.

Dit zijn de fouten met de grootste impact:

  • de hele site blokkeren met Disallow: /
  • belangrijke mappen met content uitsluiten
  • CSS of JavaScript blokkeren waardoor rendering kapotgaat
  • een sitemap verwijzen die niet bestaat of zelf geblokkeerd is
  • stagingregels meenemen naar productie
  • wildcards te breed inzetten

Vooral na een SEO-migratie is dit één van de eerste controlepunten. Een site kan technisch live zijn en toch praktisch onzichtbaar worden omdat crawlers niet meer bij de juiste URL’s komen. Kijk daarbij meteen ook naar andere technische basiszaken zoals een geldig SSL-certificaat.

Hoe test je of je robots.txt correct is ingesteld?

Open eerst de live URL in je browser, controleer daarna individuele URL’s in Google Search Console en check of je sitemap zelf niet geblokkeerd staat.

Begin altijd simpel. Ga naar /robots.txt en lees wat er echt live staat. Test daarna belangrijke URL’s met de URL-inspectietool in Google Search Console. Zie je meldingen als Blocked by robots.txt op pagina’s die gevonden moeten worden, dan weet je waar je moet beginnen.

Een praktische volgorde:

  1. open het live bestand in je browser
  2. controleer syntax en padnamen letter voor letter
  3. test belangrijke pagina’s in Google Search Console
  4. controleer of je XML sitemap bereikbaar is en niet wordt geblokkeerd
  5. crawl de site desnoods met Screaming Frog of een andere robots.txt-checker

Gebruik je een robots.txt-tester of -checker, zie die dan als hulpmiddel en niet als eindcontrole. Uiteindelijk telt wat de live server teruggeeft en wat Google Search Console rapporteert.

Wat kan robots.txt niet — en wanneer heb je een andere aanpak nodig?

Robots.txt is geen beveiliging: kwaadwillende bots lappen het aan hun laars, en een URL die je blokkeert kan nog steeds in Google verschijnen als andere sites ernaar linken.

Je gebruikt dit bestand dus niet om vertrouwelijke informatie te beschermen. Voor echte afscherming heb je rechten, inlog, IP-restricties of een andere servermaatregel nodig. Je gebruikt het ook niet als vervanging voor noindex, canonical of een goede informatiearchitectuur.

Daarnaast geldt: niet alle bots gedragen zich netjes. Respectabele crawlers houden rekening met je instructies. Scrapers en andere ongewenste bots doen dat vaak niet. Voor AI-crawlers zie je bovendien nieuwe conventies ontstaan, zoals llms.txt. Dat is relevant om te volgen, maar geen vervanging voor een goed ingericht robots-bestand.

Samenvatting

Een goed ingericht bestand helpt zoekmachines focussen op de pagina’s die ertoe doen. De grootste fout is niet dat er te weinig regels in staan, maar dat er te veel of de verkeerde regels in staan. Houd het dus simpel, zet het bestand op de juiste plek, blokkeer alleen URL’s zonder SEO-waarde en test altijd live wat je hebt ingesteld.

Belangrijkste punten

  • Robots.txt stuurt crawlen, niet automatisch indexeren.

  • Het bestand hoort altijd in de rootdirectory van je domein te staan.

  • Gebruik Allow, Disallow en user-agent-regels precies, niet op gevoel.

  • Blokkeer beheerdersomgevingen, staging en lage-waarde filter-URL’s, maar laat contentpagina’s, CSS en JavaScript toegankelijk.

  • Verwar robots.txt nooit met noindex of beveiliging.

  • Controleer na CMS-updates en migraties altijd direct de live output.

Veelgestelde vragen

Heeft iedere website een robots.txt nodig?

Nee, technisch niet. Een website werkt ook zonder robots.txt. Toch is het voor de meeste sites verstandig om er één te hebben, al is het maar om beheerdersmappen uit te sluiten en je sitemap te verwijzen. Zeker bij grotere sites voorkomt dat onnodig crawlen.

Kan een robots.txt-fout ervoor zorgen dat mijn site niet meer gevonden wordt?

Ja. De bekendste robots.txt-fout is een regel als Disallow: /. Daarmee blokkeer je de hele site voor crawlers die het protocol volgen. Als belangrijke pagina’s daardoor niet meer gecrawld worden, heeft dat direct invloed op je zichtbaarheid.

Hoe ziet een eenvoudig robots.txt-voorbeeld eruit?

Een basisvoorbeeld is een bestand dat alle bots toegang geeft, behalve tot het beheergedeelte, en daarnaast je sitemap noemt. Denk aan regels voor User-agent, Disallow, Allow en Sitemap. Meer hoeft het vaak niet te zijn.

Hoe test ik mijn robots.txt het snelst?

De snelste route is simpel: open /robots.txt in je browser, controleer daarna belangrijke URL’s in Google Search Console en gebruik eventueel een robots.txt-checker of Screaming Frog voor extra validatie. Test vooral pagina’s die verkeer en aanvragen moeten opleveren.

Is robots.txt in WordPress anders dan op andere websites?

De basis blijft hetzelfde, maar robots.txt in WordPress wordt vaak virtueel beheerd via plugins zoals Yoast SEO of Rank Math. Daardoor kan de live output afwijken van wat je verwacht. Controleer dus altijd het echte bestand op de live URL en vertrouw niet alleen op de plugininstellingen.

Hulp nodig bij je SEO?

Twijfel je of je bestand goed staat, of weet je niet of het probleem in de site, de indexatie of je technische inrichting zit? Dan is SEO laten doen vaak sneller dan blijven corrigeren op gevoel.

Geschreven door Nico Bosman, SEO-specialist bij Create & Convert, met focus op data en analyse