- 91 名前：可愛い奥様 [2008/06/26(木) 01:30:02 ID:HLvpa7Xy0]
- 770 名前：名無しさん＠全板トナメ参戦中[] 投稿日：2008/06/26(木) 01:05:14 ID:GGa+C9Y90
ちょっとおもしろいもの発見したよ
Mainichi Daily Newsのサイトがクローラーをどういうふうに制御しているのかと思って
robots.txtを見てみたｗ
まず、このURLにアクセス
↓
mdn.mainichi.jp/robots.txt
そうすると、こういう文字列が出る
↓
User-agent: ia_archiver
Disallow: /culture
ia_archiverというのはInternet Archiveのクローラー。Disallowは文字通り、「許可しない」という意味。
要するに、「犯行」が行われていた mdn.mainichi.jp/culture/のディレクトリ以下の
アーカイブを参照不能にしたいんだねｗ
