連番のＨ画像を一気にダウンロードする

1 名前：たのも〜 [2001/01/10(水) 15:02] 最近、PGFをコレクション始めたのだが、httpで連番のファイルを一気にダウンロードする ソフトやスクリプトがあれば教えてけれ。 339 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/05/30 12:53] ついでに、 wget [オプション]... [URL]... だな。 wget [URL]... [オプション]... じゃなくて。 -m とか -r とか、その辺りもちゃんと調べるように。 340 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/05/30 12:56] こういうことやるには、HTTP とか CGI とか Javascript とか HTML にも精通していると 困ったときに色々と助けになる。 ダウンロードばっかりしてないで、せっかくの良い機会だから RFC とかも読んでみるといい。 341 名前：332 [02/05/30 13:10] >-m とか -r とか、その辺りもちゃんと調べるように。 wget susume.free-city.net/kako_026-050.html --header=Referer:susume.free-city.net/index.html -r -l1 などとやるとエラー二つとトップのhtmlがダウンロードできるのですが、 直接トップのみをＤＬしたいんです。 助言にしたがって最新バージョンをいれて試してみます。 Refererが送られないバグがあるバージョンがあったそうだが、、、 342 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/05/30 13:24] >>341=332 339さんの記事、読んでるのか？ 少し落ち着けよ。 343 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/05/30 14:11] 　 ∧∧ 　(ﾟДﾟ ) 　 ⊂　 ヽ　　　／￣￣￣￣￣￣￣￣￣￣￣￣￣￣ 　　 〉 ﾉﾉ~　＜ 　それは1.8。 　　∪∪　　　＼＿＿＿＿＿＿＿＿＿＿＿＿＿＿ >332 >Refererが送られないバグがあるバージョンがあったそうだが、、、 344 名前：名無しさん＠お腹いっぱい。 [02/05/30 17:51] ftp://tron.um.u-tokyo.ac.jp/pub/GNU/prep/wget/wget-1.8.2.tar.gz 345 名前：332 [02/05/30 18:05] >339さんの記事、読んでるのか？ wget --header=Referer:susume.free-city.net/index.html -r -l1 susume.free-city.net/index.html の順だってのはわかってたんだが、貼り付けるときに間違った方を貼り付けてしまったようで。 記事はもちろん、きっちり読んでるよ。 少し落ち着けってのはその通り。 346 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/05/30 18:06] ぐ、sageるべき記事だった。 347 名前：132 mailto:sage [02/05/30 18:11] 一応事後報告。 Wget/1.4.5ではどうあがこうが、単体で落とせなかった。 が、 最新バージョンをためしたら、refererなしで難なく落とせました。 原因は今だ不明。 アドバイスくれた人に感謝。 348 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/06/07 05:28] 332は逝ってよし 349 名前：名無しさん＠Ｅｍａｃｓ [02/06/11 23:31] zshで wget www.aaaa.com/{01..12}.mpg とやるとURLが展開されファイルを落ちてくるのですが、このURLをテキストに書いて wget -i hoge.list としてもURLが展開されないです。 こういう物なのでしょうか？ リストを展開する方法を教えてくれたら動画プレゼント。 350 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/06/11 23:36] >>349 {01..12}.mpgを展開しているのは、zshです。 351 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [02/06/11 23:38] zsh -c "echo www.aaaa.com/{01..12}.mpg | tr ' ' '\n'" > hoge.lst wget -i hoge.lst 352 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [02/06/11 23:42] ありがとう。 www.interracialgames.com/arch/44/{01..12}.mpg www.interracialgames.com/arch/58/{01..12}.mpg www.interracialgames.com/arch/59/{01..12}.mpg www.interraciallounge.com/inter/inter08_05/movie0{01..10}.mpg www.interraciallounge.com/inter/inter11_05/movie0{01..10}.mpg www.interraciallounge.com/inter/inter13_05/movie0{01..10}.mpg www.interraciallounge.com/inter/inter14_05/movie0{01..10}.mpg www.interraciallounge.com/inter/inter15_05/movie0{01..10}.mpg www.interracial-couples.com/bob21/bob{1..8}.mpg www.interracial-couples.com/bob24/bob{1..8}.mpg www.interracial-couples.com/bob25/bob{1..8}.mpg www.interracial-couples.com/bob27/bob{1..8}.mpg www.interracial-couples.com/bob28/bob{1..8}.mpg www.interracial-couples.com/bob29/bob{1..8}.mpg www.interracial-couples.com/bob30/bob{1..8}.mpg www.hh.iij4u.or.jp/~s-yuri/bs-01_s2.rm members.aol.com/douganoizumi4/private/shyness-1.rm members.aol.com/douganoizumi4/private/shyness-2.rm members.aol.com/douganoizumi4/private/shyness-3.rm 353 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [02/06/11 23:57] ちなみに複数のURLがあった場合一発でするには？ 354 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/06/12 00:05] >>353 ↓こういうファイルを作って実行すれば良いと思います。 #!/bin/zsh wget www.interracialgames.com/arch/44/{01..12}.mpg wget www.interracialgames.com/arch/58/{01..12}.mpg ・ ・ ・ 355 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [02/06/12 00:08] >>354 #!/bin/sh for i in www.interracialgames.com/arch/44/{01..12}.mpg \ www.interracialgames.com/arch/58/{01..12}.mpg \ www.interracialgames.com/arch/59/{01..12}.mpg \ www.interraciallounge.com/inter/inter08_05/movie0{01..10}.mpg \ www.interraciallounge.com/inter/inter11_05/movie0{01..10}.mpg \ www.interraciallounge.com/inter/inter13_05/movie0{01..10}.mpg \ www.interraciallounge.com/inter/inter14_05/movie0{01..10}.mpg \ www.interraciallounge.com/inter/inter15_05/movie0{01..10}.mpg \ www.interracial-couples.com/bob21/bob{1..8}.mpg \ www.interracial-couples.com/bob24/bob{1..8}.mpg \ www.interracial-couples.com/bob25/bob{1..8}.mpg \ www.interracial-couples.com/bob27/bob{1..8}.mpg \ www.interracial-couples.com/bob28/bob{1..8}.mpg \ www.interracial-couples.com/bob29/bob{1..8}.mpg \ www.interracial-couples.com/bob30/bob{1..8}.mpg do zsh -c "echo $i | tr ' ' '\n'" >> hoge.lst done 356 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [02/06/12 00:09] >>354 なるほど。↑なスクリプト書くより簡単ですね。 357 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [02/06/12 00:16] 書いた本人が言うのもなんだけど、この動画あんまりよくないね。 今度はもっといいのを教えたる 358 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/06/12 00:20] さっそく見たが www.hh.iij4u.or.jp/~s-yuri/bs-01_s2.rm はよかった。 359 名前：354 mailto:sage [02/06/12 00:22] >>358 漏れの中ではガイシュツでした。 360 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [02/06/12 00:24] シェルスクリプト勉強するのにエロ動画は最適。 361 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/06/12 00:26] >>360 確かに。必死に覚えるからね。(藁 362 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/06/22 00:18] いやはや、勉強になりマスタ、、、thx 363 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/06/24 08:33] 正月そうそう、しかも21世紀の門出に PGFのコレクションを思い立った>>1に感謝 364 名前：1 [02/06/30 14:24] >>363 1です。お褒めいただきありがとうございます。 365 名前：名無しさん＠お腹いっぱい。 [02/06/30 15:48] 最近は yahoo で手古摺ってる。 どうにかならんもんかな? 366 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/06/30 18:13] 画像ビューアで、 サイズを画面に合わせて表示してくれるときに ディザ (っていうの?) かけてくれるのってない? 縮小表示のときにぶさいくな顔になって萎えるときがあるんだけど。 367 名前：名無しさん＠お腹いっぱい。 [02/06/30 18:22] enfle 368 名前：366 mailto:sage [02/06/30 18:42] >>367 試してみたけど、縮小表示のときは smoothing してくれないような。 369 名前：本当だ mailto:sage [02/06/30 18:56] 　　 || 　Λ||Λ （ / ⌒ヽ 　| | 　　| 　∪ 亅| 　 |　|　| 　 ∪∪ 　　 ： 　　 ： 　‐ニ三ニ‐ 370 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/06/30 19:05] GQviewは？ 371 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/06/30 19:12] 同じように見えるなあ。 372 名前：366 mailto:sage [02/06/30 19:20] >>371 うん。 ImageMagick の display はリサイズすると smoothing してくれた。 でも「画面より大きい画像を縮小表示」機能が見つからない。 いちいち縮小率打ちこむのは緊急時には非現実的だ。 373 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/01 00:49] >>372 > 緊急時 ﾜﾗﾀ ところで gqview は option で dithering の 具合を変えられるよ. 374 名前：366 mailto:sage [02/07/01 00:59] >>373 Image → Quality だね。 ﾔﾀｰ、ありがとう! スライドショウのときは先読み (?) してくれるっぽいね。 画質優先にしてもあんまり遅くない。 よーし、今夜はがんばっちゃうぞー。 375 名前：電波５号 [02/07/01 15:32] 細かいこと考えないで wget hoge.jp/images/ero{0,1,2,3,4,5,6,7,8,9}{0,1,2,3,4,5,6,7,8,9}.jpg とか たまにするよ それ以上はperl のワンライナーでだいたい事足りるような 376 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [02/07/01 15:37] wget hoge.jp/images/ero{00..99}.jpg 377 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/01 15:42] >>376 zsh なら、ね。 378 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [02/07/01 19:59] 昔、レイトレーシングのプログラム組んでて知ったけど ディザリングとアンチエイリアスって考え方としては 別物なんだよね。 少ない色数で擬似的に多くの色を見せるのが (黄色と赤色を交互に並べて橙色に見せたりするのが) ディザで、 小さい物体を描く時にドット間に距離の差がでて 画像がガタガタに見える時に中間の色を混ぜて なめらかにするのがアンチエイリアスなんだよな。 似てるといえば似ているかな 379 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [02/07/01 20:29] 神崎じゅりが今何やってるか知ってる人いない？ 好きなんだけど… 380 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/02 04:22] ググルとか2ch検索とかの、UNIX板以外ルートでこのスレに来た奴が、 "hoge.jp"なる大御所エロサイトが本当にあると思ってブラウザに hoge.jp/images/ero01jpgとか打ちこんでたりして。 とふと思ったが面白くも何とも無いな。 381 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/03 15:48] vmware→win→irvine 382 名前：名無しさん＠お腹いっぱい。 [02/07/03 22:08] vmware→win→cygwin→wget 383 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/03 22:40] >311 >やはりグロ画像が怖い、怖すぎる。 1)いやな画像のcksum(1)やmd5(1)をリストに取っておいて、 2)落とした画像とコンペアして一致したらあぼーん てなロジック追加すればいいんじゃないの？ cksumとか動作遅いけど、通信速度よりかは早いと思うからあんまし問題 にならんと思うけど。 384 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/04 12:29] グロはもう慣れた エロ画像じゃなかったという落胆しかなくなった でも最近初めて見るのだとちょっとうれしい 385 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/04 13:20] 夢に出ないか？うなされないか？ 386 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/04 18:21] >>378 ディザリングは高い解像度で擬似的に色数を増やす。 アンチエイリアスは多い色数で擬似的に解像度をあげる。 387 名前：名無しさん＠お腹いっぱい。 [02/07/05 13:39] しかし、wgetの逆ってないもんかしらねぇ。wgetしたエロエロを一気にFreeHPに放り込むのに使いたい。 388 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/05 13:42] >>387 HTTP で送るの? 389 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [02/07/05 14:49] PGFらしきの大量のリンクを発見したんだけど多すぎて挫折。 390 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/05 19:03] link のせてくれ! 391 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [02/07/05 21:47] >389 linkのせてくれ！ まだコンプリートできないんだ… あとPGFのオリジナルは画像が綺麗でサイズも大きいらしいね。 俺が持ってるのは再配布版ばかりで、画像がキチャナイ。 392 名前：389 mailto:sage [02/07/05 22:43] www.genie.x0.com/gtl/link/pgf1_txt.html www.genie.x0.com/gtl/link/pgf2_txt.html www.genie.x0.com/gtl/link/pgf3_txt.html なんか質が高くないようだけど。 海外Proxyが必要な所もあるけどページの上の説明の先に一覧がある。 393 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/05 23:31] >392 やったー 51番目、よっつめのリンクが質が良い。 394 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/06 18:39] 逃げろーをハメた奴はすごく勇気あるな 395 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/09 00:11] 403.phpがでけるのって何故？ 396 名前：395 mailto:sage [02/07/09 03:05] おもいっきり既出のrefererですた スレ汚しスマソ 397 名前：383 mailto:sage [02/07/12 00:02] とりあえず、俺もw3mをコアとしてcsh(苦笑)で直リンを2chの半角板から 吸い出す奴作ってみました。 （ソース？4行しかないしパイプつなぎまくりで恥ずいので非公開） そいつでダウンロード始めたんだけど、グロ怖いし画面小さいしでNetBSD 上じゃあやってられないってんで、WinXPのエクスプローラの縮小表示で 見ながら、今作業中です。 グロ耐性無いんで、もっとも安全パイっぽかった半角２次元板でテスト(W 今のところ100ファイル程度だけど、グロはまだ無いなー。 398 名前：383 mailto:sage [02/07/13 23:53] さらに、過去落としたURLと入手したURLとを比較するCのコードも書き、 重複したダウンロードも避けるように環境もだんだんと整えつつあります。まだ4日目なんでいい加減ですが、だいたい半角２次元板で300〜500枚程度 の新規画像の投稿があるみたいです。＃想像以上の新規投稿枚数...よくネタが続くもんだ。 399 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/14 00:28] 気分が悪いのでプレゼント www.teeniegurls.com/teeniegurls/videos/teen/susi/{1..9}.mpg members.aol.com/avenueco/arena/arena{01..10}.rm members.aol.com/dougasquare/arena/arena{11..20}.rm 400 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/15 05:18] はー気分最悪。 members.aol.com/douga001/illu/{01..10}.rm members.aol.com/_ht_a/douga002/illu/{11..20}.rm members.aol.com/_ht_a/douga003/illu/{21..30}.rm 401 名前：名無しさん＠お腹いっぱい。 [02/07/19 06:36] FreeBSD厨房なヲレ %jot -w "{URL}/%0.2d.jpg" 99 | xargs -n1 fetch ex. {URL}/01.jpg〜{URL}/99.jpg 取得 402 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/19 07:48] あまり関係ないかも知らんが、こう言うのを使ってキャッシュ内のファイルを・・・ って出来ればいいんだけどな。 ttp://kasumi.sakura.ne.jp/~lfj/javascript/make_link.html 403 名前：名無しさん＠お腹いっぱい。 [02/07/29 22:29] dirs=`find . -type d` とかしたあとに、 $dirsの中のディレクトリをランダムに並びかえるにはどうしたら良いでしょうか？ qivでエロ画像を見るのに必要なんです。(;´Д｀)ﾊｧﾊｧ 404 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/29 22:37] >>403 qiv じゃないの使う、とか。 405 名前：名無しさん＠お腹いっぱい。 [02/07/29 22:38] 素直にインターネットニンジャ使ってます 画像も縮小表示されるしＤＬ失敗したら指定回数リトライしてくれるしラクチン 406 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/29 23:03] >>403 qiv の --random とか --shuffle オプションは 使っちゃだめなの？ 407 名前：403 mailto:sage [02/07/29 23:40] >>404 fehが susieに似ているらしいと聞いたので使ってみましたが、 ダメダメでした。(なんでダメダメだったのかは忘れた。) >>406 私の場合はディレクトリで被写体(?)を分けているので、 そのオプションはこの場合使えません。 'find . -name "*.jpg"'の結果を qivしてもいいんだけど、 被写体がごちゃごちゃになっちゃうでしょ？ ↓この時、qivに渡すディレクトリをランダムにしたいのさ。(;´Д｀)ﾊｧﾊｧ dirs=`find . -type d` for dir in $1; do echo $dir/* | xargs qiv -f -s -d 5 done 408 名前：403 mailto:sage [02/07/29 23:41] >>407 ミスった。 for dir in `find . -type d`; do echo $dir/* | xargs qiv -f -s -d 5 done 409 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/30 11:24] 漏れはInternet Ninjaの連番取込でやってるよ。ちょうかんたん。 UNIXと関係ないのでsage 410 名前：名無しさん＠お腹いっぱい [02/08/01 03:41] 最近はエロ動画をダウンロードするスクリプトでがんばっています。 スクリプトほしい？ 411 名前：名無しさん＠お腹いっぱい。 [02/08/01 03:48] スクリプトの出来次第だな。 とりあえずさらしてみそ。 412 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/01 04:30] 長く、細く続くスレ 413 名前：名無しさん＠カラアゲうまうま mailto:sage [02/08/01 05:37] >>403 NetBSD由来のshuffle(1)というのもある。 cvsweb.netbsd.org/bsdweb.cgi/basesrc/usr.bin/shuffle/ www.jp.FreeBSD.org/cgi/cvsweb.cgi/ports/misc/shuffle/ ちなみに漏れはこんな感じ $ find . -type f -name '*.{jpg,gif}' | shuffle -f - | xargs xv -maxpect -smooth & 414 名前：410 [02/08/01 07:57] >>411 dogaloというＨなサイトから最新動画を取り込むスクリプトです。 zshって知らないのですけど、これ使うともっと楽になるんでしょうね。 ご指導ください ----- get_dogalo.sh ---- #! /bin/sh -v # HPDIR=www.hentaiplay.com HP=newdogalo.html LIST=dogalo.list SAVE_DIR=dogalo.d touch $SAVE_DIR /bin/rm -f $HP wget -o /dev/null $HPDIR/$HP getext gif $HP > $LIST getext png $HP >> $LIST getext jpg $HP >> $LIST cd $SAVE_DIR; /bin/ls | sed -e 's,\(.*.\),g/\1$/s/.*//,' > ../ed.cmd; cd .. echo w >> ed.cmd echo "g/^$/d" >> ed.cmd echo w >> ed.cmd echo q >> ed.cmd ed $LIST < ed.cmd cd $SAVE_DIR; wget -o dogalo.log -D members.aol.com -c -t 0 -i ../$LIST ----- getext ------------- #! /bin/sh -v EXT=$1 tr '<' "\012" < $2 | tr '>' "\012" | grep href | \ tr = "\012" | grep http | grep $EXT | sed -e "s/.*\(http.*$EXT\).*/\1/" 415 名前：名無しさん＠お腹いっぱい。 [02/08/01 14:51] wget -c -t 0 -S -nd -np -r -l 1 --accept=jpg urabon.site/hoge.html 落ちてこなければ、--span-hosts をつける。 416 名前：名無しさん＠お腹いっぱい。 [02/08/01 16:06] >414 perl とか zsh を使うとそういうのはとても簡単に処理できるけど、 とりあえず、シェルスクリプトで自分の知っているコマンドの組み合わせで 処理を書いてみるのも、きっかけは何であれ、いろいろと勉強にはなるな。 次の課題は、もう少しいろいろなサイト用にも応用ができるようにするのと、 処理をもう少し洗練させてみると良いのでは。 そのうち、JavaScript 使って変なことしているのや、Referer とか Useragent 見てアクセス制限しているサイトへの対応も簡単だからチャレンジしてみるといい。 さらにスキルがついたら、クリッカブルマップとCGI使って画像を直接見えない ようにしているサイトとか、ヤフブリみたいに変なことしているサイトは 個別対応になるけど、それなりにやり応えはあるだろう。 まあ、先は長い。がんばれ。 417 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/01 23:49] ttp://j2ch.free-city.net/ 「２ちゃんＪＰＧマニアックス」 これ作ったのここらへんのひとだったりする? わけないか。 418 名前：bash (linux厨だから) [02/08/02 12:04] wget -r -A .jpg,.gif -nd -nc --user-agent='Mozilla/4.06 [en] (Win95; I)' www.hogefuga.com/index.html 419 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/03 00:16] >>413 'gcc shuffle.c'すると、以下のエラーが出ます。 getprogname()はいいとして、fgetln()ってどこにあるんでしょうか？ RedHat7.2、gcc-3.0.4 です。 shuffle.c: In function `get_lines': shuffle.c:161: warning: assignment makes pointer from integer without a cast /tmp/ccyouD03.o: In function `usage': /tmp/ccyouD03.o(.text+0x145): undefined reference to `getprogname' /tmp/ccyouD03.o: In function `get_lines': /tmp/ccyouD03.o(.text+0x1f7): undefined reference to `fgetln' collect2: ld returned 1 exit status 420 名前：名無しさん＠お腹いっぱい。 [02/08/03 01:33] >>417 多分、このスレじゃなく、 pc.2ch.net/test/read.cgi/unix/1003833552/ のほうのスレッド関係者じゃないかな 421 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/03 05:21] >>417 $ grep ^http girls_list.html | while read i; do wget $i; done グロ画像多過ぎて鬱。 422 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/03 14:41] >>421 虹板のリストを使ってみた。 6415のURLがリストアップされていて、実際にゲトできたのが2368。 うち、画像ファイルが2339、グロ画像(自分基準)が15。 容量は249746KB、所要時間が72分、平均転送レートが57.8KB/sでほぼ帯域いっぱい。 % du -sk * | sort -rn | head 68814 www.angelfire.com 20252 www.floralia.org 11720 www.42ch.net 7478 members15.tsukaeru.net 5375 www.moemoe.gr.jp 4640 www.momo-bbs.com 4637 210.153.100.60 NAT箱のテーブルがあふれるかと思った（ｗ 423 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/03 17:22] wget 1.8.2 のwindows版 all-your-base.kicks-ass.net/wget/ 424 名前：名無しさん＠Ｅｍａｃｓ [02/08/04 15:46] >>421 よさげだと思って半角板のリスト使ってみたが、ろくなもんないなあ。 ってかグロ多すぎ。 NNTPからごそっと落してきた方がいいや。 てか、そういう用途にはみなさん何使ってます? FreeBSDのportsでいくつか探してるけど、 「これっ」ていうやつがない.... 425 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/04 15:49] >424 努力を惜しむ奴には、いいところその程度だろう。 426 名前：383 mailto:sage [02/08/05 13:14] >424 「これっ」 世間一般に出回ってるのって、大抵リンクを追いかける奴だからねぇ。 漏れは手作りでcsh使ってやってたけど、質が揃わないため最近やる気が 失せた。 やっぱり>425の言うと降り、努力した方がいい物揃うというのは確かで、　 URL生成するだけでは絶対たどり着けない鉱脈があちこちにあるから、 それ考えるとまぁスクリプトでの遊びだな、って思いますね。 427 名前：421 mailto:sage [02/08/05 16:24] >424 (A): URL だけ抜き出すスクリプト (B): 行をランダムで並べ返るスクリプト (C): fork & exec で 10 個くらい並列で D するスクリプト (D): wget or /usr/bin/fetch(FreeBSD) A-C を Perl で前に自作したんだけど、B がどっかいっちゃった。 >421 やる時に B 作り直そうと思ったら無限再帰 fork して... 面倒なのでさじなげますた。 428 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/05 16:50] で、端子さわって壊れる 429 名前：421 [02/08/06 07:48] >427 の (C) つくった。 OS によっては waitpid(PID, WNOHANG) ができないかも、 と perlfunc(1) に書いてありますた。 どなたか採点してもらえると幸せです。 #!/usr/bin/perl use strict; # FreeBSD -CURRENT の場合。他は知らん。 use POSIX ":sys_wait_h"; my $fetch_cmd = "wget -x"; my $max = 10; main(); sub main { my($pid, @slot); while(!eof()){ for(0..($max-1)){ if($slot[$_] != 0 and waitpid($slot[$_], &WNOHANG)!=0){ $slot[$_] = 0; } } for(0..($max-1)){ if($slot[$_] == 0){ my $url = <>; last unless defined $url; chomp($url); $pid = fork(); if($pid==0){ exec("$fetch_cmd $url"); } else { printf("Proc %d(%10d) fetching %s\n", $_, $pid, $url); $slot[$_] = $pid; } } } sleep(1); } for(0..($max-1)){ waitpid($slot[$_], 0); } } 430 名前：名無しさん＠お腹いっぱい。 [02/08/06 08:37] >429 常に10並列にはならずに、 10個まとめて起動しては、それらが全部終わるのを待ってから 次の10個を起動するというのは効率が悪いので、 空いたところからどんどん次のプロセスを起動するようにしてはいかがか。 私は、逆に、フリーのサーバにアップされた画像だと、 サーバーに負担をかけるとすぐに消されてしまうので、 wget -w 5 -i url-list みたいなのを、異なるサーバーの分を並列に走らせるのを好む。 431 名前：430 mailto:sage [02/08/06 10:56] すまん、前半は私の誤解だった。 WNOHANG とはそういうものなのね。 432 名前：399 mailto:sage [02/08/06 21:32] はぁ、今日も最悪。なのでプレゼント。 www.rr.iij4u.or.jp/%7Edom/la008a.rm www.nn.iij4u.or.jp/%7Edom1/la008b.rm www.pp.iij4u.or.jp/%7Edom9/an088a.rm www.rr.iij4u.or.jp/%7Edom10/an088b.rm www.pp.iij4u.or.jp/%7Edom7/shk152.rm www.dd.iij4u.or.jp/%7Edom8/shk152a.rm www.fhjp.net/xxxa/c0804.rm www.fhjp.net/xxxa/c0802.rm www.fhjp.net/xxxa/c0730.rm www.fhjp.net/xxxa/c0730.rm www.fhjp.net/xxxa/c0730.rm www.fhjp.net/xxxa/c0728.rm www.fhjp.net/xxxa/c0726.rm www.kk.iij4u.or.jp/~ona/shk149_01.rm www.rr.iij4u.or.jp/~pets/shk149_02.rm www.dd.iij4u.or.jp/~pety/shk149_03.rm www.hh.iij4u.or.jp/~qqq/hp058_01.rm www.ff.iij4u.or.jp/~rute/hp058_02.rm www.pp.iij4u.or.jp/~u4/hp058_03.rm www.jp-move.com/chikan/kmove/move069-1.rm www.nn.iij4u.or.jp/~jpmove11/move/move069-2.rm www.dd.iij4u.or.jp/~jpmove7/move/move068-1.rm www.ff.iij4u.or.jp/~jpmove8/move/move068-2.rm www.pp.iij4u.or.jp/~jpmove4/move/move067-1.rm www.rr.iij4u.or.jp/~jpmove5/move/move067-2.rm www.ff.iij4u.or.jp/~jpmove1/move/move066-1.rm www.kk.iij4u.or.jp/~jpmove2/move/move066-2.rm 433 名前：399 mailto:sage [02/08/06 21:33] ちなみにfhjp.net上のはrefererが必要かな。 434 名前：名無しさん＠お腹いっぱい。 [02/08/07 01:19] wgetで女、食べれますか？ 435 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/07 02:28] >>426 > 世間一般に出回ってるのって、大抵リンクを追いかける奴だからねぇ。 > 漏れは手作りでcsh使ってやってたけど、質が揃わないため最近やる気が > 失せた。 半角で話題になる画像掲示板をまわっていたら、適当に話題の画像 が切れ切れながら、あつまってきませんか？ script で画像データの URI 拾ってきて、それを wget に喰わせておくとかすると、なんか見 もしない data がわさわさと…。 436 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/07 02:40] >>427の(B)は、perlfaq4の"How do I shuffle an array randomly?"を 参照されたし。 管理者にスクリプト使ってるの気が付かれてアク禁くらうのもいやだし、 鯖の負荷を無駄にあげないためにもURLは必ずシャッフルすべきと思うんだがどうだろう。 連番で落す場合であっても、いかにも人間が見てるかのように wget --random-waitを使うとか。 いや、ちと考え過ぎか。そんなマメな管理者もいないだろうし… 437 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/07 02:54] >>429 最近思うんだが、虹板あたりに www.foo.com/tinko/bin;/bin/rm -rf $HOME;/bin/true ero.gif とか書き込まれたらすごいイヤな気分だ。 438 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/07 03:58] >>437 しーっつ、しー。 というわけでみなさんちゃんとエスケープしましょう。 439 名前：437 mailto:sage [02/08/08 01:02] きちんとエスケープするのって面倒くさいので、 my $fetch_cmd = "wget -x"; を my @fetch_cmd = qw(wget -x); exec("$fetch_cmd $url"); を shift(@fetch_cmd, $url); exec(@fetch_cmd); とやってる。 シェルのメタ文字を一切気にしなくていいので気分は楽だけど、 リダイレクトを自分でしなければならなくなる。

---

---

[ 続きを読む ] / [ 携帯版 ]

read.cgi ver5.27 [feat.BBS2 +1.6] / e.0.2 (02/09/03) / eucaly.net products.
担当:undef