ホーム > SEO?! 関連 > ロボット弾き

ロボット弾き

2005 年 8 月 26 日 こてつ コメントをどうぞ コメント

あんまりいらない。。ってか、メールアドレス収集に来ているロボットや、なんか怪しいロボットなんかはクロールしに来なくていいっちゅうねん!!


robotはぢきについて
不躾なロボット達。
参考にさせて頂きました。
先日「大量クロール制御を考える」で行った robots.txt の設置。
まぁほぼ同じくして上記を参考に 「.htaccess」 にもロボット制御。。というかアクセス制御の項目を追加しておきました。
拒否ユーザーエージェント・IPアドレス一覧」←ほぼ、こちらに沿って設定しています。
悪名高き?!NAVER は先日終了のお知らせがありました。クローラーもいなくなるのでしょうか??ってかもういない??新サービスの方が新しいクローラーロボットを発進していたりして。。
なんかヤッターマンのゾロメカちっくです。まぁ、そんなにゾロゾロやってくるのはgoogleくらいかもしれませんが。。
改めてロボット含めた総アクセスログ解析してgoogle多いことにびっくりしました。結構激しいかも。
ところで、参考にした「robotはぢきについて」ですが、最初勝手に「robotはちぎについて」って読んでました。。あほ。
もう自分の中ではウザイロボットはちぎっては捨てちぎっては捨て。。こんな感じを勝手に想像。。(W

スポンサード リンク
 

 
カテゴリー: SEO?! 関連 タグ:

Yahoo!ブックマークに登録 はてなブックマークに登録 Deliciousに登録 livedoorクリップに登録 Buzzurlに登録 mixiチェック Facebookにシェア ツイートする

  1. 2005 年 9 月 5 日 23:37 | #1

    怪しいロボット弾き

    ふと、アクセスログを見ているとなんか怒涛にアクセスしてきているリファラのない「J…

  1. トラックバックはまだありません。