検索ロボット

 「ボット」と称する検索サイトから派遣されてくるデータ収集の自動アクセスがあります。これは自サイトを公開している以上、多くの人に見てもらうためにはいろいろなキーワード検索で「なかのさんち」が引っかかってくれたほうがいいわけですから、嫌うわけにはいきません。

 アクセス解析ツールなどはこの正規のボットはちゃんと解析から外すような設定があります。一日程度「ボットを無視しない設定」にして試してみると想像以上のアクセスがあって驚きます。常に「無視する」設定にしておけば気になりません。

 たまに「正規じゃない」とは言わないのかな、大手じゃないというのか、解析ツールが想定してないボットが来ると解析に引っかかりますが、まあたまになのでこれもいいです。

 最近になって変なことに気がつきました。うちは日本語しかサポートしてませんので、アクセスはほとんど日本からだけ、のはずです(UKユナイテッドキングダムもあるけど、それはわかってるから別)。さらに、Internet Explorer6の場合はバナーを出したりして注意を促してるのに、連日一日何回もInternet Explorer6でアクセスしてきます。解析ツールの設定で国旗を出せるのに気がついて出してみたんですけど、アクセス元が米国なんですよ。こりゃ変だおかしいとチェックしてみました。

 [aguse] ←ご存じかしら。危なそうなサイトを見に行く前に、必ずそこ経由でチェックしてから行くのが無難です。url だけでなく、ip でもチェックできます。知らなかった方、お気に入りにでも入れて活用してください。

 そこでチェックしたら、その変なアクセスはトレンドマイクロからでした。でも、そういうアクセスは普通はブラウザとかOSとか出ないんですけど、ここのは Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1 と普通に WinXP(NT5.1)で IE6 を使ってのアクセスってことになってる。

 情報を得ようと検索してみました。

 ヲレサイト(トレンドマイクロのボットがウザい件) に詳しく書いてありました。そこに書いてあることにほぼ同感です。詐称せずにボット名さえきちんと名乗ってくれれば、robots.txt で弾くのではなく、解析から外すだけの処理で私は我慢しますのに。でもいまのアクセスのされ方では .htaccess で弾いてしまうしかありません。うちは危ないサイトじゃないですからそれでいいでしょうけど、危ないサイトはこういうのにもっと敏感ですから、おそらくとっくに弾いちゃってると思います。つまり、トレンドマイクロのやりかたは何の役にも立たない可能性が高い。危ないとこの調査は出来ず、危なくないところからはうざがられるだけの拙策。

 ヲレサイトに載っていた4種のipに加え、うちにはもう一カ所(もちろんトレンドマイクロです)から来てたのでそれも加えて5種にしてアク禁の刑に処しました。これによって他のアクセスに影響はないと思いますが、影響がありそうな気配を感じたらまた元に戻します。

order allow,deny
allow from all
deny from 150.70.0.0/16
deny from 66.180.80.0/20
deny from 66.35.255.0/24
deny from 128.241.0.0/16
deny from 216.104.15.0/19


関連すると思われる投稿