RankingMastersBot
RankingMastersBot is de crawler van Ranking Masters, een SEO- en online-marketingbureau in Haarlem. We gebruiken hem voor analyses voor onze klanten.
Waarvoor we hem gebruiken. We lezen pagina’s uit om te controleren of ze goed vindbaar zijn: titels, koppen, interne links, laadgedrag en de opbouw van de pagina. Voor de analyse gebruiken we ook AI-modellen. We lezen de pagina zoals een bezoeker die ziet: we vullen geen formulieren in, we plaatsen niets en we omzeilen geen inlog.
Hoe je hem herkent. De crawler meldt zich als:
RankingMastersBot/1.0 (+https://rankingmasters.nl/
Hoe je hem doorlaat. In Cloudflare en in de meeste firewalls maak je een uitzondering op de user-agent. In Cloudflare: Security → WAF → een regel met User Agent contains RankingMastersBot, actie Skip of Allow. In andere pakketten heet dat een allowlist op user-agent. Dat is in vrijwel alle gevallen genoeg.
Wanneer een IP-adres nodig is. Bij strengere opstellingen wordt een verzoek geweigerd voordat de user-agent wordt gelezen, bijvoorbeeld bij bot-detectie op gedrag of in een volledig gesloten omgeving. Neem in dat geval contact met ons op, dan geven we de adressen door waarvan de crawl op dat moment loopt.
Hoe vaak en hoe zwaar. Een crawl loopt op afspraak, niet doorlopend. Naar dezelfde site doen we maximaal een paar verzoeken per seconde, en we remmen automatisch af zodra de site aangeeft dat het te veel is. Per site staat een maximum op het aantal pagina’s; bij gevoelige omgevingen zetten we alles lager.
Wat we vastleggen. Van elk verzoek houden we bij welk adres we hebben opgevraagd, wanneer, en wat de site antwoordde – zodat je aan jouw kant kunt terugleggen dat de aantallen kloppen. Geen pagina-inhoud. Dat logboek bewaren we 12 maanden.
Vragen of overlast. Mail dev@rankingmasters.nl en we passen de crawl aan of zetten hem stil.
Ranking Masters is een handelsnaam van Juulr B.V., Haarlem.