Wat is een robots.txt?

Een robot.txt is een klein kladblok tekstbestandje dat er voor zorgt dat bepaalde mappen of pagina’s van je website niet woorden geïndexeerd door zoekmachines. Je wilt natuurlijk graag dat je webpagina’s geindexeerd worden door zoekmachines, maar het kan ook dat bepaalde pagina’s niet bedoeld zijn voor zoekmachines. Dit kan verschillende redenen hebben, bijvoorbeeld omdat een pagina dubbele inhoud bevat of dat de kwaliteit van de pagina te laag is.

Waar zorgt een robot.txt voor?

Wanneer een zoekmachine op je website terecht komt om je pagina’s te indexeren kijkt deze eerst of er een robot.txt aanwezig is. Als deze niet aanwezig is dan gaat de zoekmachine er vanuit dat alle pagina’s geïndexeerd mogen worden. Met de robot.txt stuur je de crawlers dus eigenlijk de weg.