-
Log in
アカウントにログインしてください。
ボットとは、ウェブロボット、ウェブスパイダー、ウェブクローラーとも呼ばれ、単純で繰り返しの多い作業を、人間が行うよりも効果的、構造的、かつ簡潔な方法で自動的に行うように設計されたソフトウェアアプリケーションのことである。ボットの最も一般的な使用方法は、ウェブスパイダーまたはウェブクローリングです。
AwarioSmartBotとAwarioRssBotは、(さらに世界中のインターネットマーケティング担当者によって使用される)新しい、更新されたWebデータを発見し、収集するためにAwarioによって送信される正当なウェブクローラーです。
AwarioSmartBotおよびAwarioRssBotのクローラは、以下の形式のユーザーエージェントを持つことで識別されます。
AwarioRssBot/1.0 (+https://awario.com/bots.html; bots@awario.com)
AwarioSmartBot/1.0 (+https://awario.com/bots.html; bots@awario.com)
AwarioSmartBotとAwarioRssBotのクローラーは、上記のユーザーエージェントで識別できます。連続したIPブロックは使用していないため、IPでボットを特定しようとしないでください。
AwarioSmartBot と AwarioRssBot は、非常にサイトフレンドリーなクローラーです。私たちは、サイトをクロールする際にできるだけ「優しく」しました:彼らは3秒に1回だけ、または別のクロール遅延がrobots.txtファイルに指定されている場合は、さらに低い頻度でリクエストを行います。ボットは、robots.txtファイルで指定されたルールを尊重します。
もし問題が発生した場合、それはあなたのサイトの特殊性、あるいはリンクしている他のサイトのバグに起因する可能性があります。そこでお願いなのですが、もしAwarioのボットに何らかの問題があることに気づかれましたら、bots@awario.comまでご報告ください。あなたのサイトのパフォーマンスに影響を与えないように、あなたのサイトに合わせた独自の設定を迅速に行います。
AwarioSmartBotとAwarioRssBotは、インターネットマーケティング担当者がオンラインで自社ブランドについて言及している人を見つけられるように、Awarioアプリケーションでさらに使用されるウェブデータを収集します。
AwarioSmartBot/AwarioRssBotのクローラーがあなたのページを訪れたことがある場合、そのコンテンツは一度も収集・分析されていないか、更新が必要であることを意味します。このため、AwarioSmartBot/AwarioRssBotのクローラーから同じページに繰り返しリクエストが来ることはありません。
AwarioSmartBotとAwarioRssBotは。
しかし、Awarioボットが無害であるとはいえ、ボットがあなたのサイトをクロールするのを防ぎたい場合もあるでしょう。これを実現する最も簡単で迅速な方法は、「robots.txt」を使用することです。このテキストファイルには、ボットがあなたのサイトのデータをどのように処理すべきかについての指示が含まれています。
robots.txtを使用すると、以下の例のように、Awarioのクローラーをサイトからブロックしたり、その速度を遅くしたりすることができます。
ボットについては、http://www.robotstxt.org/ をご参照ください。
AwarioSmartBotまたはAwarioRssBotについてまだ何かご質問がある場合は、bots@awario.com、できるだけ早く対応させていただきます。