« phpMyFAQ | トップページ | Mojavi »

2004/12/08

メールアドレス取得 Robot

どこのサイトも同じかと思いますが、サーバーのログを詳細にチェックすると、サーチエンジンなどのRobotが巡回してるのがわかります。
それらRobotについて少々・・。

サーチエンジン系Robot

UserAgent : 独自Agent (googlebot とか)
IP Address : 特定されたIP

Robots text : 確認する
Robots Meta : 確認する

Image Tag : 基本的に無視
Java Script : 無視

訪問時期 : ほぼ毎日

作業状況 : 複数のIPを変えながら、ほぼ24時間かけてアクセス
  滞在時間は、24時間のうち、IPを変えて入れ替わり訪問する。
  但し、極端に集中したアクセスは滅多に無い。


メールアドレス取得 Robot (つまり来て欲しくない客です。)

UserAgent : たいていは偽装 (中には独自Agentのモノもあるようだ)
IP Address : 不特定IP

Robots text : 無視
Robots Meta : 無視

Image Tag : 無視
Java Script : 無視

訪問時期 : ほぼ毎日(複数のbotが立ち代り入れ替わりに)

作業状況 : 同一IPで短時間で大量のアクセス
  滞在時間は、平均して1回に数分程度。
  但し、1分間に約100アクセスとか、激しい。


「サーチエンジン系Robot」は、たまに激しくアクセスしてくる時があるが、それも稀であるようだし、これを拒否したら、検索結果にも影響を与える事を考えると、拒否はしたくない。

「メールアドレス取得Robot」は、ほぼ毎日来て、短時間だけど激しいアクセスをしてくれるので、サーバー負荷からも招かれざる客であるし、
目的がメアド収集である事から、極力排除したい。

結局は、イタチごっこかもしれないけど、「メールアドレス自動巡回系Robot」を可能な限り排除する方法は無いモノか・・??

« phpMyFAQ | トップページ | Mojavi »

パソコン・インターネット」カテゴリの記事

コメント

とりあえず、ProtectorのAntiDoSパートをリライトしました。
考え方はこれでほぼOKだと思いますが、適切なパラメータがいくつかは、実際にある程度運用してみないとなんとも言えないですね。

この記事へのコメントは終了しました。

« phpMyFAQ | トップページ | Mojavi »

他のアカウント

2019年9月
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30          

Wii

XOOPS

Analytics