Al 7 jaar ervaring



Ik hoop dat je deze blog met plezier leest.

Als je wilt dat mijn team je marketing voor je doet, klik dan hier

Robot.txt

Wat is Robot.txt?

Zoekmachines maken gebruik van robots, dit is software dat het web scant voor informatie. Robots worden ook wel crawlers of spiders genoemd. Google werkt bijvoorbeeld met crawlers om zo nieuwe websites te kunnen indexeren. Wanneer deze robots je website scannen, dan kijken ze of je website een robots.txt bestand heeft. Door middel van dit bestand kan je de crawlers aangeven dat bepaalde onderdelen van je website niet geïndexeerd hoeven te worden. Je kunt aangeven dat de gehele website niet geïndexeerd mag worden, maar er kan ook aangegeven worden dat bepaalde bestanden niet bezocht mogen worden.

robot.txtBehalve zoekmachines zoals Google zijn er ook spambots. Zo zijn er bijvoorbeeld crawlers die het internet afzoeken naar e-mailadressen om te mailen. De meeste webmasters hebben liever niet dat dergelijke robots hun websites afzoeken. Je kunt er voor kiezen om bepaalde crawlers van de website te weren of juist toestemming te geven. Op deze manier kan je er bijvoorbeeld voor zorgen dat de website wel goed in Google geïndexeerd wordt, maar dat spambots de site niet kunnen scannen. Het robot.txt bestand kan dus erg belangrijk zijn voor een webmaster. Dit bestand wordt altijd onder de hoofd URL geplaatst. Op deze manier is het bestand eenvoudig terug te vinden voor een crawler. Wanneer het bestand op de verkeerde plek geplaatst wordt, dan werkt het bestand niet.

Hoe stel je een goed robot.txt bestand op?

Het opstellen van een robot.txt bestand is vrij eenvoudig, maar je moet het wel eventjes doorkrijgen. Het is een eenvoudig tekstbestandje waar je regels code in kunt zetten. Met behulp van de regel “User-agent:” kan je bijvoorbeeld aangeven op welke robots het van toepassing is. Met behulp van de regel “Disallow:” kan je aangeven tot welke bestanden de crawler geen toegang heeft. Zelf benieuwd welke pagina’s je website allemaal heeft? Dan bezoek je simpelweg de sitemap.

Op het internet is eenvoudig terug te vinden hoe je een geschikt robot.txt bestand maakt. Als je niet precies weet hoe je een dergelijk bestand maakt, dan kan je er ook voor kiezen om dit uit te besteden aan een online marketeer. De meeste professionele online marketeers hebben wel verstand van de Google robots. Vooral wanneer een online marketeer gespecialiseerd is in SEO, dan zal het opstellen van dit tekstbestandje totaal geen probleem vormen. Een SEO specialist is dus wat je nodig hebt.

Sjors Goemans

Sjors Goemans is één van de meest ervaren SEO specialisten in de Benelux. Sinds 2010 kun je hem wakker maken voor de meest uitdagende SEO vraagstukken. Inmiddels helpt hij samen met zijn 15-koppige team van SEO specialisten online gefocuste ondernemingen om hun marktaandeel te vergroten via de organische Google zoekmachine resultaten.



Sjors Goemans

Sjors Goemans is één van de meest ervaren SEO specialisten in de Benelux. Sinds 2010 kun je hem wakker maken voor de meest uitdagende SEO vraagstukken. Inmiddels helpt hij samen met zijn 15-koppige team van SEO specialisten online gefocuste ondernemingen om hun marktaandeel te vergroten via de organische Google zoekmachine resultaten.

Gratis Analyse Aanvragen!

First header

Kom erachter hoe Ranking Masters enorme hoeveelheden verkeer naar jouw website kan krijgen...

  • Linkbuilding – wij realiseren relevante backlinks om jouw website te laten uitgroeien tot een autoriteit.
  • Content – wij schrijven de ultieme content die wordt gedeeld, links krijgt en verkeer aantrekt.
  • Techniek – onze specialisten weten exact hoe ze jouw website moeten optimaliseren voor de Google zoekmachine.

 

Gratis SEO Analyse Aanvragen



    Sluiten

    Méér online omzet is "just around the corner"... Daag jij ons uit?

    Ontvang jouw gratis online marketing analyse