Chenilles AwarioSmartBot et AwarioRssBot

Informations générales sur les crawlers d'Awario.

Un bot, également connu sous le nom de robot web, araignée web ou crawler web, est une application logicielle conçue pour exécuter automatiquement des tâches simples et répétitives de manière plus efficace, structurée et concise qu'un humain ne pourrait jamais le faire. L'utilisation la plus courante des bots est le "web spidering" ou "web crawling".

AwarioSmartBot et AwarioRssBot sont des robots d'exploration du Web légitimes envoyés par Awario pour découvrir et collecter des données Web nouvelles et actualisées (qui sont ensuite utilisées par des spécialistes du marketing Internet du monde entier).

Les crawlers AwarioSmartBot et AwarioRssBot sont identifiés par des user-agents de la forme suivante :

AwarioRssBot/1.0 (+https://awario.com/bots.html ; bots@awario.com)
AwarioSmartBot/1.0 (+https://awario.com/bots.html ; bots@awario.com)

Les robots AwarioSmartBot et AwarioRssBot peuvent être identifiés par l'agent utilisateur ci-dessus. N'essayez pas d'identifier les robots par leur adresse IP, car nous n'utilisons pas de blocs IP consécutifs.

Nous nous soucions des performances de votre site et nous ne lui ferons jamais de mal !

AwarioSmartBot et AwarioRssBot sont des robots d'exploration très respectueux des sites. Nous les avons rendus aussi "doux" que possible lors de l'exploration des sites : ils ne font qu'une requête toutes les 3 secondes, ou même moins fréquemment, si un autre délai d'exploration est spécifié dans votre fichier robots.txt. Les robots respectent les règles que vous spécifiez dans votre fichier robots.txt.

Si des problèmes surviennent, ils peuvent être dus à des particularités de votre site, ou à un bug sur un autre site qui vous relie. Par conséquent, nous vous demandons de bien vouloir signaler tout problème avec les robots Awario à bots@awario.com. Nous ferons rapidement des réglages uniques pour votre site particulier, de sorte que le crawling n'affectera jamais les performances de votre site.

Pourquoi crawlent-ils mon site ?

AwarioSmartBot et AwarioRssBot collectent des données Web qui sont ensuite utilisées par l'application Awario pour permettre aux spécialistes du marketing Internet de savoir qui mentionne leur marque en ligne.

Si les robots AwarioSmartBot/AwarioRssBot ont visité votre page, cela signifie que son contenu n'a jamais été collecté et analysé ou qu'il a dû être actualisé. C'est pourquoi vous ne verrez pas de demandes récurrentes des robots AwarioSmartBot/AwarioRssBot sur la même page.

Blocage avec robots.txt

AwarioSmartBot et AwarioRssBot le sont :

Collecte uniquement des informations accessibles au public, qui peuvent être consultées par n'importe quel visiteur. Si vous pensez que les crawlers collectent des informations sensibles, veuillez les retirer de l'accès public.
Ils ne peuvent pas surcharger votre site et lui faire du tort - les robots Awario sont conçus pour être très polis et ne peuvent effectuer qu'une seule visite par 3 secondes maximum. En outre, vous pouvez facilement ralentir les bots par des indications dans le fichier robots.txt.

Cependant, même si les robots d'Awario sont inoffensifs, vous pouvez toujours vouloir empêcher les robots d'explorer votre site. La façon la plus simple et la plus rapide de le faire est d'utiliser "robots.txt". Ce fichier texte contient des instructions sur la manière dont un robot doit traiter les données de votre site.
Avec un fichier robots.txt, vous pouvez bloquer l'accès des robots Awario à votre site ou le ralentir, comme le montrent les exemples suivants :

Bloquez des parties spécifiques de votre site :

Agent utilisateur : AwarioRssBot
Agent d'utilisateur : AwarioSmartBot
Disallow : /private/

Bloquer tout le site :

Agent utilisateur : AwarioRssBot
Agent d'utilisateur : AwarioSmartBot
Disallow : /

Ralentissez les rampants :

Agent utilisateur : AwarioRssBot
Agent d'utilisateur : AwarioSmartBot
Délai d'exploration : 10

Plus d'informations sur les bots

Pour plus d'informations sur les bots, veuillez consulter le site http://www.robotstxt.org/.

Obtenir un soutien

Si vous avez encore des questions sur AwarioSmartBot ou AwarioRssBot, veuillez nous contacter à l'adresse bots@awario.com et nous vous répondrons dans les meilleurs délais.