「日本の母は息子の性 ..
91:可愛い奥様
08/06/26 01:30:02 HLvpa7Xy0
770 名前：名無しさん＠全板トナメ参戦中[] 投稿日：2008/06/26(木) 01:05:14 ID:GGa+C9Y90
ちょっとおもしろいもの発見したよ
Mainichi Daily Newsのサイトがクローラーをどういうふうに制御しているのかと思って
robots.txtを見てみたｗ
まず、このURLにアクセス
↓
URLﾘﾝｸ(mdn.mainichi.jp)
そうすると、こういう文字列が出る
↓
User-agent: ia_archiver
Disallow: /culture
ia_archiverというのはInternet Archiveのクローラー。Disallowは文字通り、「許可しない」という意味。
要するに、「犯行」が行われていた URLﾘﾝｸ(mdn.mainichi.jp)のディレクトリ以下の
アーカイブを参照不能にしたいんだねｗ
次ページ続きを表示1を表示最新レス表示スレッドの検索類似スレ一覧話題のニュースおまかせリスト▼オプションを表示暇つぶし2ch
5364日前に更新/363 KB
担当:undef