Baiduspider
出典: フリー百科事典『ウィキペディア(Wikipedia)』
Baiduspiderは、中国の検索サイト「百度」のために、ウェブサイトの情報を収集するロボット(クローラ)。 以下のような点で問題となっている。
- Dos攻撃のように、非常に短い間隔で次々とリクエストを行う。
- サイト管理者が設置したrobots.txt(クローラのアクセスを制御するファイル)を読み込む間隔が10日に1度程度の低い頻度である。(Googleなどは、1日に1度程度の頻度)
- サーバ側でアクセスの拒否設定を行った後も、しばらくの間、執拗にアクセスを試みようとする。
以上のような問題によって、ウェブサーバを不安定に陥れる可能性があることから、アクセス拒否を行うサイトが増えている。
[編集] 確認されているユーザーエジェント
UA(ユーザーエージェント)を偽装するなど悪質なクローリングを行ってるBaiduspiderだが、確認されてるUAは以下である
Baiduspider+(+http://www.baidu.com/search/spider.htm)
[編集] 確認されているアクセス元
- リモートホスト
asd.tj.cn asd.tj.cn asianetcom.net image.baidu.com
- CIDR表記
60.24.0.0/13 61.135.0.0/16 220.181.0.0/16 122.152.128.0/17