AwarioSmartBot & AwarioRssBot Crawler

Allgemeine Informationen über Awario-Crawler.

Ein Bot, auch Webroboter, Webspider oder Webcrawler genannt, ist eine Softwareanwendung, die einfache und sich wiederholende Aufgaben automatisch und effektiver, strukturierter und präziser ausführt, als es ein Mensch je könnte. Die häufigste Verwendung von Bots ist das Webspidering oder Webcrawling.

AwarioSmartBot und AwarioRssBot sind legitime Web-Crawler, die von Awario geschickt werden, um neue und aktualisierte Web-Daten zu entdecken und zu sammeln (die von Internet-Vermarktern aus der ganzen Welt weiter genutzt werden).

Die Crawler AwarioSmartBot und AwarioRssBot sind dadurch gekennzeichnet, dass sie Benutzer-Agenten der folgenden Form haben:

AwarioRssBot/1.0 (+https://awario.com/bots.html; bots@awario.com)
AwarioSmartBot/1.0 (+https://awario.com/bots.html; bots@awario.com)

Die Crawler AwarioSmartBot und AwarioRssBot können anhand des obigen User-Agents identifiziert werden. Bitte versuchen Sie nicht, die Bots über die IP zu identifizieren, da wir keine fortlaufenden IP-Blöcke verwenden.

Wir kümmern uns um die Leistung Ihrer Website und werden ihr niemals schaden!

AwarioSmartBot und AwarioRssBot sind sehr seitenfreundliche Crawler. Wir haben sie so "sanft" wie möglich gemacht, wenn sie Websites crawlen: sie machen nur 1 Anfrage alle 3 Sekunden, oder noch seltener, wenn eine andere Crawl-Verzögerung in Ihrer robots.txt-Datei angegeben ist. Die Bots halten sich an die Regeln, die Sie in Ihrer robots.txt-Datei angeben.

Sollten Probleme auftauchen, kann das an den Besonderheiten Ihrer Seite liegen oder an einem Fehler auf einer anderen Seite, die zu Ihnen verlinkt. Deshalb möchten wir Sie bitten - wenn Sie ein Problem mit Awario-Bots feststellen, melden Sie es bitte an bots@awario.com. Wir werden schnellstmöglich spezielle Einstellungen für Ihre Seite vornehmen, so dass das Crawling die Leistung Ihrer Seite nicht beeinträchtigt.

Warum wird meine Website gecrawlt?

AwarioSmartBot und AwarioRssBot sammeln Webdaten, die von der Awario-Anwendung weiterverwendet werden, damit Internetvermarkter herausfinden können, wer ihre Marke online erwähnt.

Wenn die AwarioSmartBot/AwarioRssBot-Crawler Ihre Seite besucht haben, bedeutet dies, dass ihr Inhalt nie gesammelt und analysiert wurde oder aktualisiert werden musste. Aus diesem Grund werden Sie keine wiederkehrenden Anfragen der AwarioSmartBot/AwarioRssBot-Crawler an dieselbe Seite sehen.

Blockieren mit robots.txt

AwarioSmartBot und AwarioRssBot sind:

  1. Es werden nur öffentlich zugängliche Informationen gesammelt, die von jedem beliebigen Besucher eingesehen werden können. Falls Sie glauben, dass die Crawler sensible Informationen sammeln, entfernen Sie diese bitte aus dem öffentlichen Zugang.
  2. Sie können Ihre Website nicht überlasten und ihr keinen Schaden zufügen - Awario-Bots sind so konzipiert, dass sie sehr höflich sind und nur maximal einen Treffer pro 3 Sekunden erzielen können. Außerdem können Sie die Bots leicht durch Anweisungen in der robots.txt-Datei verlangsamen.

Auch wenn Awario-Bots harmlos sind, sollten Sie dennoch verhindern, dass Bots Ihre Website crawlen. Der einfachste und schnellste Weg, dies zu tun, ist die Verwendung der "robots.txt". Diese Textdatei enthält Anweisungen, wie ein Bot die Daten Ihrer Website verarbeiten soll.
Mit einer robots.txt-Datei können Sie die Awario-Crawler von Ihrer Website fernhalten oder sie verlangsamen, wie in den folgenden Beispielen gezeigt:

Sperren Sie bestimmte Teile Ihrer Website:

Benutzer-Agent: AwarioRssBot
Benutzer-Agent: AwarioSmartBot
Nicht zulassen: /privat/

Blockieren Sie die gesamte Website:

Benutzer-Agent: AwarioRssBot
Benutzer-Agent: AwarioSmartBot
Nicht zulassen: /

Verlangsamen Sie die Kriechgänge:

Benutzer-Agent: AwarioRssBot
Benutzer-Agent: AwarioSmartBot
Crawl-Verzögerung: 10

Weitere Informationen über Bots

Weitere Informationen über Bots finden Sie unter http://www.robotstxt.org/.

Unterstützung erhalten

Wenn Sie noch Fragen zu AwarioSmartBot oder AwarioRssBot haben, kontaktieren Sie uns bitte unter bots@awario.com. Wir werden Ihnen so schnell wie möglich antworten.