Your browser (Internet Explorer 6) is out of date. It has known security flaws and may not display all features of this and other websites. Learn how to update your browser.
X
Post

WBSearchBotというBotから巡回が来ていた

アクセスのエラーログを確認してみたところ、
WBSearchBotというBotによるクロールがありました。



どうもアメリカのEC商品比較サイトで、
それのための情報を巡回して取得するためのbotらしいです。

が、どうにもアクセスしてくるURLがおかしい。




こういう感じで、各ディレクトリごとに「themecssurl;」やら「corecssurl;」
のファイルがないかチェックしています。
何か特定のシステムがこの規則でファイルを置いている?



http://www.warebay.com/bot.html

ここで巡回拒否の方法が書かれていたので、
robots.txtに拒否情報を書く事で対応しました。


何ていうか……botに巡回させるならせめてちゃんとリンクを辿るようにして、
わけのわからないurlへのアクセスはやめてください……

TrackBack URL :

Leave a comment  

name

email

website

Submit comment