Zoekmachines maken gebruik van robots, dit is software dat het web scant voor informatie. Robots worden ook wel crawlers of spiders genoemd. Google werkt bijvoorbeeld met crawlers om zo nieuwe websites te kunnen indexeren. Wanneer deze robots je website scannen, dan kijken ze of je website een robots.txt bestand heeft. Door middel van dit bestand kan je de crawlers aangeven dat bepaalde onderdelen van je website niet geïndexeerd hoeven te worden. Je kunt aangeven dat de gehele website niet geïndexeerd mag worden, maar er kan ook aangegeven worden dat bepaalde bestanden niet bezocht mogen worden.
Behalve zoekmachines zoals Google zijn er ook spambots. Zo zijn er bijvoorbeeld crawlers die het internet afzoeken naar e-mailadressen om te mailen. De meeste webmasters hebben liever niet dat dergelijke robots hun websites afzoeken. Je kunt er voor kiezen om bepaalde crawlers van de website te weren of juist toestemming te geven. Op deze manier kan je er bijvoorbeeld voor zorgen dat de website wel goed in Google geïndexeerd wordt, maar dat spambots de site niet kunnen scannen. Het robot.txt bestand kan dus erg belangrijk zijn voor een webmaster. Dit bestand wordt altijd onder de hoofd URL geplaatst. Op deze manier is het bestand eenvoudig terug te vinden voor een crawler. Wanneer het bestand op de verkeerde plek geplaatst wordt, dan werkt het bestand niet.
Hoe stel je een goed robot.txt bestand op?
Het opstellen van een robot.txt bestand is vrij eenvoudig, maar je moet het wel eventjes doorkrijgen. Het is een eenvoudig tekstbestandje waar je regels code in kunt zetten. Met behulp van de regel “User-agent:” kan je bijvoorbeeld aangeven op welke robots het van toepassing is. Met behulp van de regel “Disallow:” kan je aangeven tot welke bestanden de crawler geen toegang heeft. Zelf benieuwd welke pagina’s je website allemaal heeft? Dan bezoek je simpelweg de sitemap.
Op het internet is eenvoudig terug te vinden hoe je een geschikt robot.txt bestand maakt. Als je niet precies weet hoe je een dergelijk bestand maakt, dan kan je er ook voor kiezen om dit uit te besteden aan een online marketeer. De meeste professionele online marketeers hebben wel verstand van de Google robots. Vooral wanneer een online marketeer gespecialiseerd is in SEO, dan zal het opstellen van dit tekstbestandje totaal geen probleem vormen. Een SEO specialist is dus wat je nodig hebt.
