AwarioSmartBot & AwarioRssBot クローラー

アワリオクローラーに関する一般的な情報です。

ボットとは、ウェブロボット、ウェブスパイダー、ウェブクローラーとも呼ばれ、単純で繰り返しの多い作業を、人間が行うよりも効果的、構造的、かつ簡潔な方法で自動的に行うように設計されたソフトウェアアプリケーションのことである。ボットの最も一般的な使用方法は、ウェブスパイダーまたはウェブクローリングです。

AwarioSmartBotとAwarioRssBotは、(さらに世界中のインターネットマーケティング担当者によって使用される)新しい、更新されたWebデータを発見し、収集するためにAwarioによって送信される正当なウェブクローラーです。

AwarioSmartBotおよびAwarioRssBotのクローラは、以下の形式のユーザーエージェントを持つことで識別されます。

AwarioRssBot/1.0 (+https://awario.com/bots.html; bots@awario.com)
AwarioSmartBot/1.0 (+https://awario.com/bots.html; bots@awario.com)

AwarioSmartBotとAwarioRssBotのクローラーは、上記のユーザーエージェントで識別できます。連続したIPブロックは使用していないため、IPでボットを特定しようとしないでください。

私たちはあなたのサイトのパフォーマンスを大切にし、決して損なわせません。

AwarioSmartBot と AwarioRssBot は、非常にサイトフレンドリーなクローラーです。私たちは、サイトをクロールする際にできるだけ「優しく」しました:彼らは3秒に1回だけ、または別のクロール遅延がrobots.txtファイルに指定されている場合は、さらに低い頻度でリクエストを行います。ボットは、robots.txtファイルで指定されたルールを尊重します。

もし問題が発生した場合、それはあなたのサイトの特殊性、あるいはリンクしている他のサイトのバグに起因する可能性があります。そこでお願いなのですが、もしAwarioのボットに何らかの問題があることに気づかれましたら、bots@awario.comまでご報告ください。あなたのサイトのパフォーマンスに影響を与えないように、あなたのサイトに合わせた独自の設定を迅速に行います。

なぜ私のサイトがクロールされるのですか?

AwarioSmartBotとAwarioRssBotは、インターネットマーケティング担当者がオンラインで自社ブランドについて言及している人を見つけられるように、Awarioアプリケーションでさらに使用されるウェブデータを収集します。

AwarioSmartBot/AwarioRssBotのクローラーがあなたのページを訪れたことがある場合、そのコンテンツは一度も収集・分析されていないか、更新が必要であることを意味します。このため、AwarioSmartBot/AwarioRssBotのクローラーから同じページに繰り返しリクエストが来ることはありません。

robots.txtでブロックする

AwarioSmartBotとAwarioRssBotは。

  1. 不特定多数の訪問者がアクセス可能な公開情報のみを収集する。万が一、クローラーが何らかの機密情報を収集していると思われる場合は、一般公開されないように削除してください。
  2. あなたのサイトに負荷をかけると、それに害を与えることはできません - Awarioボットは非常に礼儀正しくするために設計されており、彼らは最大3秒間に1回だけヒットするようにすることができます。また、robots.txtファイルの指示により、簡単にボットの動きを遅くすることができます。

しかし、Awarioボットが無害であるとはいえ、ボットがあなたのサイトをクロールするのを防ぎたい場合もあるでしょう。これを実現する最も簡単で迅速な方法は、「robots.txt」を使用することです。このテキストファイルには、ボットがあなたのサイトのデータをどのように処理すべきかについての指示が含まれています。
robots.txtを使用すると、以下の例のように、Awarioのクローラーをサイトからブロックしたり、その速度を遅くしたりすることができます。

サイトの特定の部分をブロックする。

ユーザーエージェントAwarioRssBot
ユーザーエージェントAwarioSmartBot
許可しない/private/

サイト全体をブロックする。

ユーザーエージェントAwarioRssBot
ユーザーエージェントAwarioSmartBot
不許可。/

クローラーを遅くする。

ユーザーエージェントAwarioRssBot
ユーザーエージェントAwarioSmartBot
クロール遅延。10

ボットに関する詳細情報

ボットについては、http://www.robotstxt.org/ をご参照ください。

サポートを受ける

AwarioSmartBotまたはAwarioRssBotについてまだ何かご質問がある場合は、bots@awario.com、できるだけ早く対応させていただきます