メールアドレス取得 Robot
どこのサイトも同じかと思いますが、サーバーのログを詳細にチェックすると、サーチエンジンなどのRobotが巡回してるのがわかります。
それらRobotについて少々・・。
サーチエンジン系Robot
UserAgent : 独自Agent (googlebot とか)
IP Address : 特定されたIP
Robots text : 確認する
Robots Meta : 確認する
Image Tag : 基本的に無視
Java Script : 無視
訪問時期 : ほぼ毎日
作業状況 : 複数のIPを変えながら、ほぼ24時間かけてアクセス
滞在時間は、24時間のうち、IPを変えて入れ替わり訪問する。
但し、極端に集中したアクセスは滅多に無い。
メールアドレス取得 Robot (つまり来て欲しくない客です。)
UserAgent : たいていは偽装 (中には独自Agentのモノもあるようだ)
IP Address : 不特定IP
Robots text : 無視
Robots Meta : 無視
Image Tag : 無視
Java Script : 無視
訪問時期 : ほぼ毎日(複数のbotが立ち代り入れ替わりに)
作業状況 : 同一IPで短時間で大量のアクセス
滞在時間は、平均して1回に数分程度。
但し、1分間に約100アクセスとか、激しい。
「サーチエンジン系Robot」は、たまに激しくアクセスしてくる時があるが、それも稀であるようだし、これを拒否したら、検索結果にも影響を与える事を考えると、拒否はしたくない。
「メールアドレス取得Robot」は、ほぼ毎日来て、短時間だけど激しいアクセスをしてくれるので、サーバー負荷からも招かれざる客であるし、
目的がメアド収集である事から、極力排除したい。
結局は、イタチごっこかもしれないけど、「メールアドレス自動巡回系Robot」を可能な限り排除する方法は無いモノか・・??
« phpMyFAQ | トップページ | Mojavi »
「パソコン・インターネット」カテゴリの記事
- IPA :: 互換性の高いWebコンテンツ作成を支援するツールの仕様検討(2008.06.05)
- サイト構成要素に関するメモ(2008.03.31)
- open SNS(2007.10.11)
- ApacheLogViewer(2005.01.17)
- Googleで凄い事に・・・・・でも・・・(2005.01.12)
コメント
この記事へのコメントは終了しました。
« phpMyFAQ | トップページ | Mojavi »
とりあえず、ProtectorのAntiDoSパートをリライトしました。
考え方はこれでほぼOKだと思いますが、適切なパラメータがいくつかは、実際にある程度運用してみないとなんとも言えないですね。
投稿: GIJOE | 2004/12/15 11:39