AwarioSmartBot & AwarioRssBot クローラー

ボットとは、ウェブロボット、ウェブスパイダー、ウェブクローラーとも呼ばれ、単純で繰り返しの多い作業を、人間が行うよりも効果的、構造的、かつ簡潔な方法で自動的に行うように設計されたソフトウェアアプリケーションのことである。ボットの最も一般的な使用方法は、ウェブスパイダーまたはウェブクローリングです。

AwarioSmartBotとAwarioRssBotは、（さらに世界中のインターネットマーケティング担当者によって使用される）新しい、更新されたWebデータを発見し、収集するためにAwarioによって送信される正当なウェブクローラーです。

AwarioSmartBotおよびAwarioRssBotのクローラは、以下の形式のユーザーエージェントを持つことで識別されます。

AwarioRssBot/1.0 (+https://awario.com/bots.html; bots@awario.com)
AwarioSmartBot/1.0 (+https://awario.com/bots.html; bots@awario.com)

AwarioSmartBotとAwarioRssBotのクローラーは、上記のユーザーエージェントで識別できます。連続したIPブロックは使用していないため、IPでボットを特定しようとしないでください。

AwarioSmartBotとAwarioRssBotは。

1. 不特定多数の訪問者がアクセス可能な公開情報のみを収集する。万が一、クローラーが何らかの機密情報を収集していると思われる場合は、一般公開されないように削除してください。
2. あなたのサイトに負荷をかけると、それに害を与えることはできません - Awarioボットは非常に礼儀正しくするために設計されており、彼らは最大3秒間に1回だけヒットするようにすることができます。また、robots.txtファイルの指示により、簡単にボットの動きを遅くすることができます。

しかし、Awarioボットが無害であるとはいえ、ボットがあなたのサイトをクロールするのを防ぎたい場合もあるでしょう。これを実現する最も簡単で迅速な方法は、「robots.txt」を使用することです。このテキストファイルには、ボットがあなたのサイトのデータをどのように処理すべきかについての指示が含まれています。
robots.txtを使用すると、以下の例のように、Awarioのクローラーをサイトからブロックしたり、その速度を遅くしたりすることができます。