AwarioSmartBot & AwarioRssBot Crawlers

Algemene informatie over Awario crawlers.

Een bot, ook bekend als webrobot, webspin of webcrawler, is een softwaretoepassing die is ontworpen om eenvoudige en repetitieve taken automatisch uit te voeren op een effectievere, meer gestructureerde en beknoptere manier dan een mens ooit zou kunnen doen. De meest voorkomende toepassing van bots is web spidering of web crawling.

AwarioSmartBot en AwarioRssBot zijn legitieme webcrawlers die door Awario worden gestuurd om nieuwe en bijgewerkte webgegevens te ontdekken en te verzamelen (die verder worden gebruikt door internetmarketeers van over de hele wereld).

De AwarioSmartBot en AwarioRssBot crawlers worden gekenmerkt door gebruikersagenten van de volgende vorm:

AwarioRssBot/1.0 (+https://awario.com/bots.html; bots@awario.com)
AwarioSmartBot/1.0 (+https://awario.com/bots.html; bots@awario.com)

De AwarioSmartBot en AwarioRssBot crawlers kunnen worden geïdentificeerd via bovenstaande user-agent. Probeer de bots niet te identificeren via IP, want we gebruiken geen opeenvolgende IP-blokken.

Wij geven om de prestaties van uw site en zullen die nooit schaden!

AwarioSmartBot en AwarioRssBot zijn zeer site-vriendelijke crawlers. We hebben ze zo "zacht" mogelijk gemaakt bij het crawlen van sites: ze doen slechts 1 aanvraag per 3 seconden, of zelfs minder vaak, als een andere crawl vertraging is opgegeven in uw robots.txt bestand. De bots respecteren de regels die u in uw robots.txt-bestand opgeeft.

Als er zich problemen voordoen, kunnen die te wijten zijn aan eigenaardigheden van uw specifieke site, of aan een bug op een andere site die naar u linkt. Daarom willen we u vragen - als u een probleem met de Awario-bots hebt opgemerkt, meld dit dan aan bots@awario.com. We zullen snel unieke instellingen maken voor uw specifieke site, zodat het crawlen nooit de prestaties van uw site zal beïnvloeden.

Waarom crawlen ze mijn site?

AwarioSmartBot en AwarioRssBot verzamelen webgegevens die verder worden gebruikt door de Awario-toepassing om internetmarketeers te laten zien wie hun merk online noemt.

Als de AwarioSmartBot/AwarioRssBot crawlers uw pagina hebben bezocht, betekent dit dat de inhoud ervan nooit is verzameld en geanalyseerd of ververst moest worden. Daarom ziet u geen terugkerende verzoeken van de AwarioSmartBot/AwarioRssBot crawlers naar dezelfde pagina.

Blokkeren met robots.txt

AwarioSmartBot en AwarioRssBot zijn:

  1. Het verzamelen van alleen openbaar beschikbare informatie die toegankelijk is voor elke willekeurige bezoeker. Als u denkt dat de crawlers gevoelige informatie verzamelen, verwijder deze dan van publieke toegang.
  2. Kan uw site niet overbelasten en kwaad doen - Awario bots zijn ontworpen om zeer beleefd te zijn en ze kunnen slechts 1 hit per 3 seconden maximum maken. Bovendien kunt u de bots gemakkelijk vertragen door aanwijzingen in het robots.txt bestand.

Maar ook al zijn Awario-bots ongevaarlijk, u wilt misschien toch voorkomen dat bots uw site crawlen. De gemakkelijkste en snelste manier om dit te doen is het gebruik van "robots.txt". Dit tekstbestand bevat instructies over hoe een bot uw sitegegevens moet verwerken.
Met een robots.txt-bestand kunt u de Awario-crawlers van uw site weren of ze vertragen, zoals in de volgende voorbeelden:

Blokkeer specifieke delen van uw site:

User-agent: AwarioRssBot
User-agent: AwarioSmartBot
Disallow: /private/

Blokkeer de hele site:

User-agent: AwarioRssBot
User-agent: AwarioSmartBot
Disallow: /

Vertraag de kruipers:

User-agent: AwarioRssBot
User-agent: AwarioSmartBot
Kruip-vertraging: 10

Meer informatie over Bots

Voor meer informatie over bots, zie http://www.robotstxt.org/.

Ondersteuning krijgen

Als u nog vragen heeft over AwarioSmartBot of AwarioRssBot, neem dan contact met ons op via bots@awario.com en we zullen zo snel mogelijk reageren.