連番のＨ画像を一気にダウンロードする

1 名前：たのも〜 [2001/01/10(水) 15:02] 最近、PGFをコレクション始めたのだが、httpで連番のファイルを一気にダウンロードする ソフトやスクリプトがあれば教えてけれ。 370 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/06/30 19:05] GQviewは？ 371 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/06/30 19:12] 同じように見えるなあ。 372 名前：366 mailto:sage [02/06/30 19:20] >>371 うん。 ImageMagick の display はリサイズすると smoothing してくれた。 でも「画面より大きい画像を縮小表示」機能が見つからない。 いちいち縮小率打ちこむのは緊急時には非現実的だ。 373 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/01 00:49] >>372 > 緊急時 ﾜﾗﾀ ところで gqview は option で dithering の 具合を変えられるよ. 374 名前：366 mailto:sage [02/07/01 00:59] >>373 Image → Quality だね。 ﾔﾀｰ、ありがとう! スライドショウのときは先読み (?) してくれるっぽいね。 画質優先にしてもあんまり遅くない。 よーし、今夜はがんばっちゃうぞー。 375 名前：電波５号 [02/07/01 15:32] 細かいこと考えないで wget hoge.jp/images/ero{0,1,2,3,4,5,6,7,8,9}{0,1,2,3,4,5,6,7,8,9}.jpg とか たまにするよ それ以上はperl のワンライナーでだいたい事足りるような 376 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [02/07/01 15:37] wget hoge.jp/images/ero{00..99}.jpg 377 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/01 15:42] >>376 zsh なら、ね。 378 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [02/07/01 19:59] 昔、レイトレーシングのプログラム組んでて知ったけど ディザリングとアンチエイリアスって考え方としては 別物なんだよね。 少ない色数で擬似的に多くの色を見せるのが (黄色と赤色を交互に並べて橙色に見せたりするのが) ディザで、 小さい物体を描く時にドット間に距離の差がでて 画像がガタガタに見える時に中間の色を混ぜて なめらかにするのがアンチエイリアスなんだよな。 似てるといえば似ているかな 379 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [02/07/01 20:29] 神崎じゅりが今何やってるか知ってる人いない？ 好きなんだけど… 380 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/02 04:22] ググルとか2ch検索とかの、UNIX板以外ルートでこのスレに来た奴が、 "hoge.jp"なる大御所エロサイトが本当にあると思ってブラウザに hoge.jp/images/ero01jpgとか打ちこんでたりして。 とふと思ったが面白くも何とも無いな。 381 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/03 15:48] vmware→win→irvine 382 名前：名無しさん＠お腹いっぱい。 [02/07/03 22:08] vmware→win→cygwin→wget 383 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/03 22:40] >311 >やはりグロ画像が怖い、怖すぎる。 1)いやな画像のcksum(1)やmd5(1)をリストに取っておいて、 2)落とした画像とコンペアして一致したらあぼーん てなロジック追加すればいいんじゃないの？ cksumとか動作遅いけど、通信速度よりかは早いと思うからあんまし問題 にならんと思うけど。 384 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/04 12:29] グロはもう慣れた エロ画像じゃなかったという落胆しかなくなった でも最近初めて見るのだとちょっとうれしい 385 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/04 13:20] 夢に出ないか？うなされないか？ 386 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/04 18:21] >>378 ディザリングは高い解像度で擬似的に色数を増やす。 アンチエイリアスは多い色数で擬似的に解像度をあげる。 387 名前：名無しさん＠お腹いっぱい。 [02/07/05 13:39] しかし、wgetの逆ってないもんかしらねぇ。wgetしたエロエロを一気にFreeHPに放り込むのに使いたい。 388 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/05 13:42] >>387 HTTP で送るの? 389 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [02/07/05 14:49] PGFらしきの大量のリンクを発見したんだけど多すぎて挫折。 390 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/05 19:03] link のせてくれ! 391 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [02/07/05 21:47] >389 linkのせてくれ！ まだコンプリートできないんだ… あとPGFのオリジナルは画像が綺麗でサイズも大きいらしいね。 俺が持ってるのは再配布版ばかりで、画像がキチャナイ。 392 名前：389 mailto:sage [02/07/05 22:43] www.genie.x0.com/gtl/link/pgf1_txt.html www.genie.x0.com/gtl/link/pgf2_txt.html www.genie.x0.com/gtl/link/pgf3_txt.html なんか質が高くないようだけど。 海外Proxyが必要な所もあるけどページの上の説明の先に一覧がある。 393 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/05 23:31] >392 やったー 51番目、よっつめのリンクが質が良い。 394 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/06 18:39] 逃げろーをハメた奴はすごく勇気あるな 395 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/09 00:11] 403.phpがでけるのって何故？ 396 名前：395 mailto:sage [02/07/09 03:05] おもいっきり既出のrefererですた スレ汚しスマソ 397 名前：383 mailto:sage [02/07/12 00:02] とりあえず、俺もw3mをコアとしてcsh(苦笑)で直リンを2chの半角板から 吸い出す奴作ってみました。 （ソース？4行しかないしパイプつなぎまくりで恥ずいので非公開） そいつでダウンロード始めたんだけど、グロ怖いし画面小さいしでNetBSD 上じゃあやってられないってんで、WinXPのエクスプローラの縮小表示で 見ながら、今作業中です。 グロ耐性無いんで、もっとも安全パイっぽかった半角２次元板でテスト(W 今のところ100ファイル程度だけど、グロはまだ無いなー。 398 名前：383 mailto:sage [02/07/13 23:53] さらに、過去落としたURLと入手したURLとを比較するCのコードも書き、 重複したダウンロードも避けるように環境もだんだんと整えつつあります。まだ4日目なんでいい加減ですが、だいたい半角２次元板で300〜500枚程度 の新規画像の投稿があるみたいです。＃想像以上の新規投稿枚数...よくネタが続くもんだ。 399 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/14 00:28] 気分が悪いのでプレゼント www.teeniegurls.com/teeniegurls/videos/teen/susi/{1..9}.mpg members.aol.com/avenueco/arena/arena{01..10}.rm members.aol.com/dougasquare/arena/arena{11..20}.rm 400 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/15 05:18] はー気分最悪。 members.aol.com/douga001/illu/{01..10}.rm members.aol.com/_ht_a/douga002/illu/{11..20}.rm members.aol.com/_ht_a/douga003/illu/{21..30}.rm 401 名前：名無しさん＠お腹いっぱい。 [02/07/19 06:36] FreeBSD厨房なヲレ %jot -w "{URL}/%0.2d.jpg" 99 | xargs -n1 fetch ex. {URL}/01.jpg〜{URL}/99.jpg 取得 402 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/19 07:48] あまり関係ないかも知らんが、こう言うのを使ってキャッシュ内のファイルを・・・ って出来ればいいんだけどな。 ttp://kasumi.sakura.ne.jp/~lfj/javascript/make_link.html 403 名前：名無しさん＠お腹いっぱい。 [02/07/29 22:29] dirs=`find . -type d` とかしたあとに、 $dirsの中のディレクトリをランダムに並びかえるにはどうしたら良いでしょうか？ qivでエロ画像を見るのに必要なんです。(;´Д｀)ﾊｧﾊｧ 404 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/29 22:37] >>403 qiv じゃないの使う、とか。 405 名前：名無しさん＠お腹いっぱい。 [02/07/29 22:38] 素直にインターネットニンジャ使ってます 画像も縮小表示されるしＤＬ失敗したら指定回数リトライしてくれるしラクチン 406 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/29 23:03] >>403 qiv の --random とか --shuffle オプションは 使っちゃだめなの？ 407 名前：403 mailto:sage [02/07/29 23:40] >>404 fehが susieに似ているらしいと聞いたので使ってみましたが、 ダメダメでした。(なんでダメダメだったのかは忘れた。) >>406 私の場合はディレクトリで被写体(?)を分けているので、 そのオプションはこの場合使えません。 'find . -name "*.jpg"'の結果を qivしてもいいんだけど、 被写体がごちゃごちゃになっちゃうでしょ？ ↓この時、qivに渡すディレクトリをランダムにしたいのさ。(;´Д｀)ﾊｧﾊｧ dirs=`find . -type d` for dir in $1; do echo $dir/* | xargs qiv -f -s -d 5 done 408 名前：403 mailto:sage [02/07/29 23:41] >>407 ミスった。 for dir in `find . -type d`; do echo $dir/* | xargs qiv -f -s -d 5 done 409 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/07/30 11:24] 漏れはInternet Ninjaの連番取込でやってるよ。ちょうかんたん。 UNIXと関係ないのでsage 410 名前：名無しさん＠お腹いっぱい [02/08/01 03:41] 最近はエロ動画をダウンロードするスクリプトでがんばっています。 スクリプトほしい？ 411 名前：名無しさん＠お腹いっぱい。 [02/08/01 03:48] スクリプトの出来次第だな。 とりあえずさらしてみそ。 412 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/01 04:30] 長く、細く続くスレ 413 名前：名無しさん＠カラアゲうまうま mailto:sage [02/08/01 05:37] >>403 NetBSD由来のshuffle(1)というのもある。 cvsweb.netbsd.org/bsdweb.cgi/basesrc/usr.bin/shuffle/ www.jp.FreeBSD.org/cgi/cvsweb.cgi/ports/misc/shuffle/ ちなみに漏れはこんな感じ $ find . -type f -name '*.{jpg,gif}' | shuffle -f - | xargs xv -maxpect -smooth & 414 名前：410 [02/08/01 07:57] >>411 dogaloというＨなサイトから最新動画を取り込むスクリプトです。 zshって知らないのですけど、これ使うともっと楽になるんでしょうね。 ご指導ください ----- get_dogalo.sh ---- #! /bin/sh -v # HPDIR=www.hentaiplay.com HP=newdogalo.html LIST=dogalo.list SAVE_DIR=dogalo.d touch $SAVE_DIR /bin/rm -f $HP wget -o /dev/null $HPDIR/$HP getext gif $HP > $LIST getext png $HP >> $LIST getext jpg $HP >> $LIST cd $SAVE_DIR; /bin/ls | sed -e 's,\(.*.\),g/\1$/s/.*//,' > ../ed.cmd; cd .. echo w >> ed.cmd echo "g/^$/d" >> ed.cmd echo w >> ed.cmd echo q >> ed.cmd ed $LIST < ed.cmd cd $SAVE_DIR; wget -o dogalo.log -D members.aol.com -c -t 0 -i ../$LIST ----- getext ------------- #! /bin/sh -v EXT=$1 tr '<' "\012" < $2 | tr '>' "\012" | grep href | \ tr = "\012" | grep http | grep $EXT | sed -e "s/.*\(http.*$EXT\).*/\1/" 415 名前：名無しさん＠お腹いっぱい。 [02/08/01 14:51] wget -c -t 0 -S -nd -np -r -l 1 --accept=jpg urabon.site/hoge.html 落ちてこなければ、--span-hosts をつける。 416 名前：名無しさん＠お腹いっぱい。 [02/08/01 16:06] >414 perl とか zsh を使うとそういうのはとても簡単に処理できるけど、 とりあえず、シェルスクリプトで自分の知っているコマンドの組み合わせで 処理を書いてみるのも、きっかけは何であれ、いろいろと勉強にはなるな。 次の課題は、もう少しいろいろなサイト用にも応用ができるようにするのと、 処理をもう少し洗練させてみると良いのでは。 そのうち、JavaScript 使って変なことしているのや、Referer とか Useragent 見てアクセス制限しているサイトへの対応も簡単だからチャレンジしてみるといい。 さらにスキルがついたら、クリッカブルマップとCGI使って画像を直接見えない ようにしているサイトとか、ヤフブリみたいに変なことしているサイトは 個別対応になるけど、それなりにやり応えはあるだろう。 まあ、先は長い。がんばれ。 417 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/01 23:49] ttp://j2ch.free-city.net/ 「２ちゃんＪＰＧマニアックス」 これ作ったのここらへんのひとだったりする? わけないか。 418 名前：bash (linux厨だから) [02/08/02 12:04] wget -r -A .jpg,.gif -nd -nc --user-agent='Mozilla/4.06 [en] (Win95; I)' www.hogefuga.com/index.html 419 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/03 00:16] >>413 'gcc shuffle.c'すると、以下のエラーが出ます。 getprogname()はいいとして、fgetln()ってどこにあるんでしょうか？ RedHat7.2、gcc-3.0.4 です。 shuffle.c: In function `get_lines': shuffle.c:161: warning: assignment makes pointer from integer without a cast /tmp/ccyouD03.o: In function `usage': /tmp/ccyouD03.o(.text+0x145): undefined reference to `getprogname' /tmp/ccyouD03.o: In function `get_lines': /tmp/ccyouD03.o(.text+0x1f7): undefined reference to `fgetln' collect2: ld returned 1 exit status 420 名前：名無しさん＠お腹いっぱい。 [02/08/03 01:33] >>417 多分、このスレじゃなく、 pc.2ch.net/test/read.cgi/unix/1003833552/ のほうのスレッド関係者じゃないかな 421 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/03 05:21] >>417 $ grep ^http girls_list.html | while read i; do wget $i; done グロ画像多過ぎて鬱。 422 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/03 14:41] >>421 虹板のリストを使ってみた。 6415のURLがリストアップされていて、実際にゲトできたのが2368。 うち、画像ファイルが2339、グロ画像(自分基準)が15。 容量は249746KB、所要時間が72分、平均転送レートが57.8KB/sでほぼ帯域いっぱい。 % du -sk * | sort -rn | head 68814 www.angelfire.com 20252 www.floralia.org 11720 www.42ch.net 7478 members15.tsukaeru.net 5375 www.moemoe.gr.jp 4640 www.momo-bbs.com 4637 210.153.100.60 NAT箱のテーブルがあふれるかと思った（ｗ 423 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/03 17:22] wget 1.8.2 のwindows版 all-your-base.kicks-ass.net/wget/ 424 名前：名無しさん＠Ｅｍａｃｓ [02/08/04 15:46] >>421 よさげだと思って半角板のリスト使ってみたが、ろくなもんないなあ。 ってかグロ多すぎ。 NNTPからごそっと落してきた方がいいや。 てか、そういう用途にはみなさん何使ってます? FreeBSDのportsでいくつか探してるけど、 「これっ」ていうやつがない.... 425 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/04 15:49] >424 努力を惜しむ奴には、いいところその程度だろう。 426 名前：383 mailto:sage [02/08/05 13:14] >424 「これっ」 世間一般に出回ってるのって、大抵リンクを追いかける奴だからねぇ。 漏れは手作りでcsh使ってやってたけど、質が揃わないため最近やる気が 失せた。 やっぱり>425の言うと降り、努力した方がいい物揃うというのは確かで、　 URL生成するだけでは絶対たどり着けない鉱脈があちこちにあるから、 それ考えるとまぁスクリプトでの遊びだな、って思いますね。 427 名前：421 mailto:sage [02/08/05 16:24] >424 (A): URL だけ抜き出すスクリプト (B): 行をランダムで並べ返るスクリプト (C): fork & exec で 10 個くらい並列で D するスクリプト (D): wget or /usr/bin/fetch(FreeBSD) A-C を Perl で前に自作したんだけど、B がどっかいっちゃった。 >421 やる時に B 作り直そうと思ったら無限再帰 fork して... 面倒なのでさじなげますた。 428 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/05 16:50] で、端子さわって壊れる 429 名前：421 [02/08/06 07:48] >427 の (C) つくった。 OS によっては waitpid(PID, WNOHANG) ができないかも、 と perlfunc(1) に書いてありますた。 どなたか採点してもらえると幸せです。 #!/usr/bin/perl use strict; # FreeBSD -CURRENT の場合。他は知らん。 use POSIX ":sys_wait_h"; my $fetch_cmd = "wget -x"; my $max = 10; main(); sub main { my($pid, @slot); while(!eof()){ for(0..($max-1)){ if($slot[$_] != 0 and waitpid($slot[$_], &WNOHANG)!=0){ $slot[$_] = 0; } } for(0..($max-1)){ if($slot[$_] == 0){ my $url = <>; last unless defined $url; chomp($url); $pid = fork(); if($pid==0){ exec("$fetch_cmd $url"); } else { printf("Proc %d(%10d) fetching %s\n", $_, $pid, $url); $slot[$_] = $pid; } } } sleep(1); } for(0..($max-1)){ waitpid($slot[$_], 0); } } 430 名前：名無しさん＠お腹いっぱい。 [02/08/06 08:37] >429 常に10並列にはならずに、 10個まとめて起動しては、それらが全部終わるのを待ってから 次の10個を起動するというのは効率が悪いので、 空いたところからどんどん次のプロセスを起動するようにしてはいかがか。 私は、逆に、フリーのサーバにアップされた画像だと、 サーバーに負担をかけるとすぐに消されてしまうので、 wget -w 5 -i url-list みたいなのを、異なるサーバーの分を並列に走らせるのを好む。 431 名前：430 mailto:sage [02/08/06 10:56] すまん、前半は私の誤解だった。 WNOHANG とはそういうものなのね。 432 名前：399 mailto:sage [02/08/06 21:32] はぁ、今日も最悪。なのでプレゼント。 www.rr.iij4u.or.jp/%7Edom/la008a.rm www.nn.iij4u.or.jp/%7Edom1/la008b.rm www.pp.iij4u.or.jp/%7Edom9/an088a.rm www.rr.iij4u.or.jp/%7Edom10/an088b.rm www.pp.iij4u.or.jp/%7Edom7/shk152.rm www.dd.iij4u.or.jp/%7Edom8/shk152a.rm www.fhjp.net/xxxa/c0804.rm www.fhjp.net/xxxa/c0802.rm www.fhjp.net/xxxa/c0730.rm www.fhjp.net/xxxa/c0730.rm www.fhjp.net/xxxa/c0730.rm www.fhjp.net/xxxa/c0728.rm www.fhjp.net/xxxa/c0726.rm www.kk.iij4u.or.jp/~ona/shk149_01.rm www.rr.iij4u.or.jp/~pets/shk149_02.rm www.dd.iij4u.or.jp/~pety/shk149_03.rm www.hh.iij4u.or.jp/~qqq/hp058_01.rm www.ff.iij4u.or.jp/~rute/hp058_02.rm www.pp.iij4u.or.jp/~u4/hp058_03.rm www.jp-move.com/chikan/kmove/move069-1.rm www.nn.iij4u.or.jp/~jpmove11/move/move069-2.rm www.dd.iij4u.or.jp/~jpmove7/move/move068-1.rm www.ff.iij4u.or.jp/~jpmove8/move/move068-2.rm www.pp.iij4u.or.jp/~jpmove4/move/move067-1.rm www.rr.iij4u.or.jp/~jpmove5/move/move067-2.rm www.ff.iij4u.or.jp/~jpmove1/move/move066-1.rm www.kk.iij4u.or.jp/~jpmove2/move/move066-2.rm 433 名前：399 mailto:sage [02/08/06 21:33] ちなみにfhjp.net上のはrefererが必要かな。 434 名前：名無しさん＠お腹いっぱい。 [02/08/07 01:19] wgetで女、食べれますか？ 435 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/07 02:28] >>426 > 世間一般に出回ってるのって、大抵リンクを追いかける奴だからねぇ。 > 漏れは手作りでcsh使ってやってたけど、質が揃わないため最近やる気が > 失せた。 半角で話題になる画像掲示板をまわっていたら、適当に話題の画像 が切れ切れながら、あつまってきませんか？ script で画像データの URI 拾ってきて、それを wget に喰わせておくとかすると、なんか見 もしない data がわさわさと…。 436 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/07 02:40] >>427の(B)は、perlfaq4の"How do I shuffle an array randomly?"を 参照されたし。 管理者にスクリプト使ってるの気が付かれてアク禁くらうのもいやだし、 鯖の負荷を無駄にあげないためにもURLは必ずシャッフルすべきと思うんだがどうだろう。 連番で落す場合であっても、いかにも人間が見てるかのように wget --random-waitを使うとか。 いや、ちと考え過ぎか。そんなマメな管理者もいないだろうし… 437 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/07 02:54] >>429 最近思うんだが、虹板あたりに www.foo.com/tinko/bin;/bin/rm -rf $HOME;/bin/true ero.gif とか書き込まれたらすごいイヤな気分だ。 438 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/07 03:58] >>437 しーっつ、しー。 というわけでみなさんちゃんとエスケープしましょう。 439 名前：437 mailto:sage [02/08/08 01:02] きちんとエスケープするのって面倒くさいので、 my $fetch_cmd = "wget -x"; を my @fetch_cmd = qw(wget -x); exec("$fetch_cmd $url"); を shift(@fetch_cmd, $url); exec(@fetch_cmd); とやってる。 シェルのメタ文字を一切気にしなくていいので気分は楽だけど、 リダイレクトを自分でしなければならなくなる。 440 名前：437 mailto:sage [02/08/08 01:58] おっと、 shift(@fetch_cmd, $url); じゃなくて push(@fetch_cmd, $url); ね。 441 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/08 07:05] "wget -i -" で動かして URI はパイプで突っ込めば? 442 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/09 00:50] >>441 パラレルに落さなくていいのなら… まあ、あらかじめURLのリストを等分しておいて、 wget -iを並行実行すればいいんだけどね。 443 名前：421 mailto:sage [02/08/09 11:00] ご意見サンクス。エスケープは >429 書いた直後に気づきました。 "exec" と書く前に気づかなきゃだめか... >430 $ while read url; do t=${url#}; echo "$url" >> ${t%/*}.list; done $ echo *.list | 429を $fetch_cmd = "wget option -i"; に変更 で、できるかな。シェルスクリプト大好き。 >436 >437 やってみた。shuffle はパイプに繋げてたけど、一緒にしても大したこと無いね。 my($pid, @slot, @url); @slot = (0) x $max; chomp(@url = <>); outloop: for (;;) { foreach (@slot) { if ($_ != 0 and waitpid($_, &WNOHANG)!=0) { $_ = 0; } } foreach (@slot) { last outloop unless @url; if ($_ == 0) { my $url = splice(@url, int(rand(@url)), 1); $url =~ s/'/%27/g; $pid = fork(); if ($pid==0) { exec("$fetch_cmd '$url'"); } else { $_ = $pid; } } } sleep(1); } foreach (@slot) { waitpid($_, 0); } M-x indent-region したら条件文の丸括弧にスペースがぁ... 444 名前：421 mailto:sage [02/08/09 11:02] >443 うげ。echo じゃだめだ $ while read url; do t=${url#}; echo "$url" >> ${t%/*}.list; done $ ls -1 *.list | 429を $fetch_cmd = "wget option -i"; に変更 445 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/10 00:03] >>435 最初は結構ジャンル固まってるけどね。 ただ、その後が問題で、重複しないように過去のURLとコンペア しながら日々ダウンロードしてると、どうしても最新の画像を 全ジャンルまんべんなく、という状態でのダウンロードになるんだわ。てなもんで、最近はURLの処理に時間がかかる(Mobile Gear)割に 実入りが少ないこともあって、やってないっす。 まぁ、現在は努力を惜しまずディープなURLを辿って集めてます。 そういえば、最近の虹板って、いわゆる2バイト文字でURL書くのが 流行ってるのか我々への嫌がらせなのか、目につくね。 http://ティンコ.co.jpみたいな。 446 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/10 02:14] URLの抜き出し部分で、 s,ttp://,\n,ig; s,ime.nu/,http://,ig; s,pinktower.com/,http://,ig; とか next if(m(名無しさん\[1-30\]\.jpg)); などという処理が結局は必要なわけでしょ。こういう部分に単に s/天使炎(\.com)?/angelfire.com/g; s/性塊(\.com)?/sexblock.com/g; などを追加していけばいいんじゃないかなあ。 それよりもUNIX屋としては、ファイルを偽装されるのがいちばん面倒… 447 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/10 02:22] >>443 $urlの最後の文字が\だったら? 全てのシェルのメタ文字をURLエンコーディングしないとダメだと思う。 448 名前：445 mailto:sage [02/08/10 12:42] まぁ、置換すりゃあいいんだけどね。 漏れの場合は、過去のコンペアは件数が膨大になっててcshで回せなくなって いた関係もあって、文字列置換というかURL文字列補正もCでロジック組んで 捌いていたよ。 ファイルの偽装、ZIPについては最初っからあきらめてるから無問題(;_;)。 対応策は面倒というか、かなり困難。　 分割してひとつひとつGIFファイルに偽装する奴とか、フォーマット 調べると偽装くらいはなんとか判定できそうな気もするけど、結局 結合したらzipファイルだろうからパスワード無いとどうしようもない。 パスワードなんて今のところ収集対象外だしねぇ。 でも、パスワードだけ何らかの規則に基づいて収集して、ソレでZIPファイル に対して総当りするというのも結構面白いかも。 449 名前：名無しさん＠お腹いっぱい。 [02/08/10 12:47] ぽこにゃん、ラブマ、ぶったぎりあたりは wine でOK。rez は cat。 450 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/11 15:17] >>447 sh のシングルクォート中のメタ文字は ' のみ。 $ echo '\' \ # いまWindowsなので確認してないけどあってるはず 451 名前：448 mailto:sage [02/08/13 01:48] パスワードつながりで。 某ホームページではパスワードがhtmlの中に含まれてるとかで、 そのページに含まれるキャラクタの全組み合わせを生成する ロジックを作って、その生成データを基に早速総当りをカマして みたところ、全部外した(・_・) ひょっとしてUNIX版unzipのパスワードって、8bit通らないのかな。 その某ホームページではパスワードがいわゆる2バイト文字の可能性 もあるから、それなら納得・・・できないぞ。 452 名前：名無しさん＠カラアゲうまうま mailto:sage [02/08/13 07:18] >>451 大丈夫。 # むしろWin用の解凍ソフトの方が # 普通には日本語が入らないことが多い罠。 文字コードを確認しれ。 大抵はSJISでないとダメでそ。 453 名前：451 mailto:sage [02/08/14 08:35] >>452 あんがと。 とりあえずs-jisで取り込んでから処理はしてるけどね。 パス付きでzipした奴、テスト的に作ってみて検証しますわ。 ちなみに、日本語のパスワードが入るWin版のunzipって どういったのがあるのでしょうか？てスレ違いか。 454 名前：名無しさん＠お腹いっぱい。 [02/08/30 06:29] www.gaultier-x.com/bbs/board1.htm ここって優秀な画像があつまってるけど、 どうやって攻略する? bbsに貼られている画像だけを取得するうまい方法が 思いつかなくて、手動でwget動かしちゃってるんだが。 455 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/31 11:07] ttp://annaohura.japannudes.net/immagini/anna{000..413}.jpg 素人な質問スマソ。zsh+wgetではねられるにょ。攻略法伝授してくんろ 456 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/31 11:32] referer 457 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/03 11:52] たいていはreferer。 まれにUA名で蹴ってるところも。 どっちもwgetのオプションでつけられる。 man wget httpの勉強もしる。 458 名前：名無しさん＠お腹いっぱい。 [02/09/07 13:48] man wget もいいけど、wget --help の方が安易なので最初はそれを読むといい。 うちの wget 1.8.2 だと全部日本語ででてくるし。 http 勉強せよ、といのは同意。 実験用の httpd をあげて自分でいろいろ嬲ってみるのも勉強になるよ。 もちろん、いきなりサーバーをインターネットに晒したりしないでね。 ついでなので、あんなさんも全部貰っときました。 459 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/07 14:21] --refererをどこにすればイイか分からなかった…修行が足りないな…俺。 460 名前：名無しさん＠お腹いっぱい。 [02/09/07 14:53] 基本はブツのあるディレクトリだよ。 まあぶっちゃけあそこはドメインしか見ていないけど。 461 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/07 15:19] referer なんて、たいていはその画像自体を指定しておけば問題ない。 462 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/07 18:52] >>459 みんなはじめはそうだよ。 みんなそこから、獲ろパワー(二つの意味)で大きくなった。 さ、1から読みなおそう。 463 名前：459 mailto:sage [02/09/07 19:08] あー…やっと落せた…(もちろん、仕事はチャンとしたぞ！)。 RefererじゃなくてUser-Agentで引っかかってました…(笑)。 464 名前：C_sugar [02/09/08 02:39] >>379 PGFの中では彼女がいちばん良いな。 465 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/08 04:58] エロパワーの壁がここに…ｗ okazu.bbspink.com/test/read.cgi/ascii/1030825907/ 466 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/08 07:55] >>459 >>462 微笑ましいな・・・これでエロでさえなければ。 ガンバレ>>459 467 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/08 11:13] homepage.mac.com/hetare_go5go/FileSharing1.html ここのseqimgというシェルスクリプト使ってます。（curl使用。） refererも設定できるし重宝してます。 スクリプトの内容は私には理解できません。(w 468 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/08 21:26] >>457-458 今時、manやhelpなんてしなくてもググったほうが使用例が見つかるので速い。 それに鯖の公開は別問題。 469 名前：458 mailto:sage [02/09/08 21:55] >468 サーバー立ち上げる話は、 apache の設定とか cgi の動作とかを自分で体験してみると、 怪しいアクセスを制限しようとする側の気持ちもちょっとわかって、 それに対抗する手段も見つけやすいし、HTTPの理解もできるよ、という話ね。 別に公開せよというつもりは全くない。 man や help じゃなくて google といのは、 自分で情報を見つけられるようなら別に何でも構わんよ。 せっかくUNIX版にあるんだから、ノウハウだけじゃなくて ちとは技術も身に付けて欲しいのよ。 470 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/08 22:11] UNIX版じゃなくてUNIX板ね。すまそ。

---

---

[ 続きを読む ] / [ 携帯版 ]

read.cgi ver5.27 [feat.BBS2 +1.6] / e.0.2 (02/09/03) / eucaly.net products.
担当:undef