連番のＨ画像を一気にダウンロードする

1 名前：たのも〜 [2001/01/10(水) 15:02] 最近、PGFをコレクション始めたのだが、httpで連番のファイルを一気にダウンロードする ソフトやスクリプトがあれば教えてけれ。 606 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/06/26 09:43] 連番生成・・・cygwin上でシェルスクリプト ダウンロード・・・Irvine POSTを喋らしたりcookie食わせるなら、perlでUAつかって書く やっぱWindows上じゃないとねこーいうのは。 607 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/06/26 09:55] 連番生成 : jot ダウンロード : wget POST や Cookie : Perl でも Ruby でも Python でも何でも なんで Windows？ 608 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/06/26 18:31] >>606 >>607 >>605 の方法が漏れには一番簡単に見えるんだが。 というか，プログラムを書く必要ってあるのか？ Cookie を食べる必要があるなら w3m でやればいいし。 609 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/06/26 20:58] >>607 は >>606 に突っ込んでみたかっただけだよん 610 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/06/30 19:18] unlov が Google から消えた…誰か詳細きぼんぬ。 611 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/07/02 00:01] Googleから消えた理由は知らんが、サイトはまだあるよ。 612 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/07/02 00:48] jot って BSD 用なの? 613 名前：610 mailto:sage [03/07/02 08:32] >>611 URL きぼんぬ。 614 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/07/07 07:47] takehost が Accept-Language: も見るようになったような気配を感じる。 615 名前：名無しさん＠お腹いっぱい。 [03/07/07 08:14] >614 拙者の記憶によると日本時間で4日の昼間からでござる。 入れ替わりにcookieを見なくなったように思わるれ。 616 名前：あぼーん mailto:あぼーん [あぼーん] あぼーん 617 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/07/22 06:57] . 618 名前：610 mailto:sage [03/07/22 10:30] 誰か教えてくれぇ〜(´Д`) 619 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/07/22 11:43] >>618 作れ。 620 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/07/22 18:36] >>610 まず誠意をみせろ。おれが自宅に戻れる22:00以降に。 話はそれからだ。 621 名前：610 mailto:sage [03/07/23 19:58] 誠意っヽ(｀Д´)ノ ttp://houston.ddo.jp/~pitt/bakuf/2201.zip ttp://houston.ddo.jp/~pitt/bakuf/2202.zip ttp://houston.ddo.jp/~pitt/bakuf/2203.zip ttp://houston.ddo.jp/~pitt/bakuf/1701.zip ttp://houston.ddo.jp/~pitt/bakuf/1702.zip ttp://www.hh.iij4u.or.jp/~hancock/rm/000.dat ttp://www.pp.iij4u.or.jp/~fizz/rm/001.dat ttp://houston.ddo.jp/~pitt/ousyo2/002.dat ttp://houston.ddo.jp/~pitt/ousyo2/003.dat ttp://houston.ddo.jp/~pitt/ousyo2/004.dat ttp://houston.ddo.jp/~pitt/ousyo2/005.dat ttp://www.hh.iij4u.or.jp/~hancock/rm/ousyo22.rez ttp://www.hh.iij4u.or.jp/~hancock/rm/ousyo22.crc ttp://homepage2.nifty.com/ysau/1/movie/a001/a001.bat ttp://homepage2.nifty.com/ysau/1/movie/a001/a001.001 ttp://homepage2.nifty.com/ysau/1/movie/a001/a001.002 ttp://www.kk.iij4u.or.jp/~rouge/rm/tanpan2.zip ttp://www.pp.iij4u.or.jp/~custom/rm/tanpan4.zip ttp://www.nn.iij4u.or.jp/~jelly/rm/tobibako1.zip ttp://www.ff.iij4u.or.jp/~clio/rm/tobibako2.zip ttp://www.ff.iij4u.or.jp/~magnet/rm/roring1.zip ttp://www.hh.iij4u.or.jp/~blanc/rm/roring2.zip ttp://www.kk.iij4u.or.jp/~cosmic/rmm/mituami1.zip ttp://www.hh.iij4u.or.jp/~starz/rmm/rock1.zip ttp://www.nn.iij4u.or.jp/~coaster/rmm/rock2.zip 622 名前：きっと騙されているに一票 mailto:sage [03/07/24 03:00] >>621 ゴチ 623 名前：名無しさん＠お腹いっぱい。 [03/07/27 23:48] >>621 落ちてこないよ〜 624 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/07/28 00:31] こんなん動ナビとか動画普及委員会チェックしてれば毎日ゲットできるぞ。 625 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/07/28 17:52] >>620 に騙された哀れな >>610 がいるスッドレはここですか？ 626 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/07/28 23:40] 動ナビ死んでませんか 627 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/07/29 05:38] 動ナビは死んでないが、iij を使った結構な数のエロサイトから ファイルが落とせなくなっているな 628 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/07/29 14:45] >>626-627 ほかでやれ 629 名前：ぼるじょあ ◆yBEncckFOU mailto:（＾＾） [03/08/02 05:03] 　　　 　∧＿∧　 ∧＿∧ ﾋﾟｭ.ｰ　（　 ・３・） (　　＾＾ ） ＜これからも僕たちを応援して下さいね（＾＾）。 　　＝〔~∪￣￣￣∪￣￣〕 　　＝ ◎――――――◎ 　　　　　　　　　　　　　　　　　　　　　山崎渉&ぼるじょあ 630 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/08/04 13:20] wget の --timeout って、 相手がファイアウォールでパケットを捨ててるときには機能しないような気がする。 というか、そもそもそういう目的で使うオプションではないのか？ まあ、squidを経由すれば問題ないんだけど。 631 名前：620 mailto:sage [03/08/04 13:38] >>610 遅くなって正直スマンかった。 望みのモノだよ。 saeto.deep-ice.com 632 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/08/04 14:13] >>610 おめ 633 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/08/04 14:58] 動ナビURLはこっちに www.i-like-movie.com/ 634 名前：名無しさん＠お腹いっぱい。 [03/08/13 12:19] ２ちゃんで話題になった「みーほ」女子○学生 B86 W57 H88（○5歳） がこのHP内のギャラリーで何を考えているんだか、衝撃的なセルフのヌードを晒してます！！ 削除される前に早めに見ておいた方がいいとおもいます！マジでやば過ぎ！！ neeez.com/~miho-room/ 635 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/08/13 16:58] 不覚にもﾜﾛﾀ 636 名前：あぼーん mailto:あぼーん [あぼーん] あぼーん 637 名前：あぼーん mailto:あぼーん [あぼーん] あぼーん 638 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/08/27 02:13] {from..to} 639 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/08/27 02:15] {10..20,30..40} みたいにはできないの？ 640 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/08/27 03:38] >639 zsh: {{10..20},{30..40}} 641 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/08/27 08:40] (　･∀･)つ〃∩ ﾍｪｰﾍｪｰﾍｪｰ 642 名前：639 mailto:sage [03/08/27 19:15] >>640 ありが�dごぜいます 643 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/10/26 18:10] そろそろ２ヶ月もカキコがない…。 おまえら満足してますか？ 644 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/10/26 22:21] >おまえら満足してますか？ してねぇっす・・・。 ダウンロード成果物をいかにユニークに保存するかってトコロで 頭痛めてたりする。 とりあえず、ファイルのMD5をpostgres上のテーブルにinsertしといて、 ダウンロード成果物をそいつとチェックして適宜ハネるって運用してるん だけど、どうしても明らかに重複する奴が出てくる。 理由はいくつかあるんだけど、この辺が泥臭くかつ難しいね・・・。 最終的には画像の類似性をうんぬんって世界にしないと仕方ないのか？ 誰か「漏れはコレだ！」って奴を教えてくれぃ。 645 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/10/27 02:18] >>644 > 最終的には画像の類似性をうんぬんって世界にしないと仕方ないのか？ > 誰か「漏れはコレだ！」って奴を教えてくれぃ。 今まで何を試したか書いてくれ。 例示した後で「それはもう使ってみた」って言われるのはやだ。 646 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/10/27 04:18] おれは単純に時間とディレクトリで分類してる。 ファイルのタイムスタンプとユニークなID,簡単なメモを 名前に付けてリネームするスクリプト書いて、 適当なディレクトリにとりあえず放り込む。ここまではほぼ自動。 あとは実際に見てる時に必要なら分類し直す。 おれ的にはファイル名がユニークであれば、それで足りてる。 全ての画像に等しい価値がある訳でないので、 必要な時の手作業の分類で間に合う。 647 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/10/27 04:30] 俺はディレクトリと連番だな。もちろんスクリプトで。 648 名前：login:Penguin mailto:sage [03/10/27 14:31] >>610 再うpきぼん 649 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/10/27 20:36] >>644 wget -x で URL のまま保存してる。 650 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/10/28 00:30] >>648 > >>610 > 再うpきぼん >>631 > >>610 > 遅くなって正直スマンかった。 > > 望みのモノだよ。 > saeto.deep-ice.com 651 名前：644 mailto:sage [03/10/28 12:03] >今まで何を試したか書いてくれ。 少しずつ積み重ねてるから、そんないろいろな方法試してるわけでも ないんだわ。 で、今のところこんな仕組み。 前提：ファイルはすべて.jpg。 対象は、ディレクトリごとにファイルがまとまっていると想定。 (ディレクトリひとつに1ファイルは無視) -- 日々。 (1) wget -x でディレクトリごとdownload (2) jpeginfoで壊れたファイルを削除 -- 月次。 (3) ディレクトリ階層をn階層 -> 2階層へ変換 (4) 指定バイト数以下のファイルやディレクトリを削除 (サムネイル対策) (5) 過去にダウンロードしたファイルのmd5と比較し、新規ファイルが 含まれているディレクトリは保存用ディレクトリへ移動。 (6) 保存用ディレクトリへ移動したものは、md5をpostgres上のテーブルへ insertする。 (次からのダウンロード重複チェック用) --適当なタイミングで。 (6) そこそこたまってきたら、CD-Rを使ってお掃除。 上記(6)以外はすべて自動実行。 で、こうやってて素朴に思うのが、「ここまでやらないかんのか？」てところ。 これという方法も無いような気がするんだけどね。 652 名前：644 mailto:sage [03/10/28 22:21] 続き。 重複する理由ってのが、だいたい (a) jpgファイルが壊れてて、md5が違ってる。 (b) 見た目おんなじ画像で壊れてもいないjpgファイルだけど、何故かmd5が違う。 (c) 素材はおんなじだけど、画像ファイル化したヒトが違うヒト といったところかなと。 んで、(a)はjpeginfoでどうにかなるとして(といっても再度ダウンロードで補うことが できればだけどね)、(b),(c)はどうしたものかなと。 完全自動化を目指してるんで、この辺クリアできないかなと考えてます。 653 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/10/29 00:51] そこまでしてローカルにあらゆる画像を保存したいの? 画像の類似性を判別するソフトがあったような気もするけど。 654 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/10/29 02:28] GQview とか 655 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/10/29 02:29] >>653 よく web 上から消えるじゃん。 656 名前：うひひ mailto:sage [03/10/29 09:36] >>644 素人考えなんだが 同じエロ画像でも大きさっていうか画質とかが違ってたりすんじゃん 例えばイメージマジックとかで同じ様な仕様になるように 小さくサムネイルのように同じファイルサイズとかにフィルタしてから binary diffみたいのを使って差分をとって差分比率を読みとりながら 画像を比較できないのかなぁ？ 657 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/10/29 14:12] 昔は連番ファイル落とすためにwgetやshを駆使して頑張ってた時期もあった。 たとえばこことか。 ttp://www.taiwankiss.com/board1/data/82585.html （白石ひより、藻無し、556MB + 567MB、ラブマ分割、パス未発表） 今は各種P2Pがあるから手間いらずで外付け120GBもエロで満杯だよ。 658 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/10/29 22:59] >>658 どのP2P使ってるか教えれ 659 名前：644 mailto:sage [03/10/31 23:42] レスありがとさんです。 >GQview とか フリーでこのテのツールがあるとは知りませんでした。 別のツールでは、作者が「コマンド実行で類推するようにしたいな」って 書いてたんで、もう少し様子見かなと。 もしくは、これらツールから該当コードをぶっこぬいて、コマンドラインで 実行できるようデッチ上げるのも手かなと。 >binary diffみたいのを使って差分をとって差分比率を読みとりながら >画像を比較できないのかなぁ？ ＃漏れも画像関係まったくの素人なんですが・・・。 jpegを一度bitmapか何かに展開してからゴリゴリ比較って動きかな？ 暇を見てちょっと試してみます。 時間を見つけて、いずれかの方法をちょっとやってみます。 ありがとうございやした。 660 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/11/13 05:03] 俺は半角板を自動巡回して URI 拾って wget のリクエスト作る Ruby スクリプト書いた 落ちてきた画像は一通り見てお気に入りの奴はお気に入りディレクトリに入れて それ以外は全部ファイル名を MD5 にリネームするスクリプトで変換してから 画像置き場ディレクトリに放り込んでる 画像的には同一なんだけどデータとしては違うというケースはうちでも発生してるな ちゃんと判定する方法なんて無いような気がしてたから諦めてたけど ここらへん研究してみると面白いかもな >>652 (b)(c)のケースなんだけど、もし画像サイズが同じなら、 jpeg のエンコード時の特性の違いがあるのかもな もしそうなら jpeg のエンコードに特化した画像判別があればいいのかも 661 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/11/14 22:06] >>660 JPEGは符号化時のクオリティ設定で出力がまったく違います。 また、どこかのwebで拾った同じJPEGファイルに端を発した画像でも デコード・エンコードを繰り返して劣化したもの、コメントが変わった ・取り除かれたもの、huffmanコードを最適化したものなどいくらでも バリエーションがありますので、結局デコード後の画像として比較する しかないのではないかと。 662 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/11/22 23:24] エロ画像とかよか普通の女の子画像をダウンロードしたくなりました。 で、 ttp://avbuzz.com/bbs/model/list.php を見つけたわけですが。 ここのを大きい画像だけ上手にダウンロードしたいんだけど、難しいです。 良い方法、なんか思いつきませんか？ 663 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/11/23 00:16] うーむ。 % w3m -dump_source 'avbuzz.com/bbs/model/diss.php?id=152568' | sed -n 's@ *<img src=\(.*\) vspace=10><br>@\1@;s@^u@avbuzz.com/bbs/model/u@;/^http/p' 664 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/11/23 03:04] >>663 出きたよー。 ありがと。 665 名前：名無しさん＠お腹いっぱい。 [03/11/25 15:58] wgetを使ってあるディレクトリ以下にある(cgiソース含)ファイルを無差別にDLする方法ありませんかね。 666 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/11/25 16:00] man wget 667 名前：名無しさん＠お腹いっぱい。 [03/11/25 16:08] >>666 やったけど詳しく書いてないみたいだけど、、、 wget -r --ignore-length <URL/> で良いかな? 668 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/11/25 16:16] info wget 669 名前：名無しさん＠お腹いっぱい。 [03/11/25 17:19] cgiファイルらしきもんはダウンロードできたけれど、やっぱソースが見れないです。 ソースの形でまるごとやりたいんですけど。 670 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/11/25 17:25] ソースが見れないように設定してあるHTTP鯖から、 ソースを落とすことはできませんヨ。当たり前だろ。 671 名前：名無しさん＠お腹いっぱい。 [03/11/25 17:31] やっぱ、そうだったか。 たまたま、ソースもまるごと落せたこともあったけど、それはそこの管理者が 物凄くアホだったってわけね。 俺もな、、、涙; 672 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/11/25 17:35] そもそも、読み出し権限無いかもしれないし。 673 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/11/25 22:14] >>671 というかCGIとして実行されるように設定されてるファイルは、絶対にGETできんよ。 そのファイルを指定したリクエストが来たらCGIとして実行するようになってる 訳だから、(そのWebサーバ経由では)ファイルを取りようが無い。 ソースを落とせたことがあるんなら、多分それは、CGI実行設定されてない ディレクトリに物置のように置いて有ったのだろう。逆に言うとそれは 「動いていない」プログラムだから、正しいという保証はどこにも無い。 674 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/11/26 00:38] jpeginfo でこわれているjpegファイルの判定を十分にできますか？ なんか、xv で表示できないファイルがだいぶ残るのですが。 675 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/11/26 01:21] XVの設定が古いせいではないかと… ImageMagickとかなら表示できたりしない？ 676 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/11/26 01:53] そうですか。もうすこしいろいろためしてみます。 677 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/11/26 14:35] % perl slodziutka.erospace.pl ﾄﾞｿﾞｰ 678 名前：名無しさん＠お腹いっぱい。 [03/12/17 20:51] 最新のwgetって~を%7Eに変換しないのか… 679 名前：名無しさん＠お腹いっぱい。 [04/01/02 16:41] 「げっとぴっく」ってやつ使ってるんだが 「指定のＵＲＬには画像が存在しません」とかいうエラーが出てきてdlできん 680 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/01/02 16:44] >>679 板違い。 681 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/01/05 09:57] gallery3.pure-angel.net/kasumi_nakane/index.html なんだけど、wget が使用不能です（downloaderとして弾かれる）。 猛者の皆様、お助け下さい。 682 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/01/05 10:22] >>681 あんま好きなおなごじゃないな wget --user-agent=Mozilla --referer gallery3.pure-angel.net/kasumi_nakane/01/ gallery3.pure-angel.net/kasumi_nakane/01/nakane_kasumi_0{0,1,2,3,4,5,6,7,8,9}{0,1,2,3,4,5,6,7,8,9}.jpg 683 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/01/05 14:01] > wget --user-agent=Mozilla --referer gallery3.pure-angel.net/kasumi_nakane/01/ gallery3.pure-angel.net/kasumi_nakane/01/nakane_kasumi_0{0,1,2,3,4,5,6,7,8,9}{0,1,2,3,4,5,6,7,8,9}.jpg ありがとうございます！！ --refererの使用まで思い至りませんでした。 684 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/01/08 07:39] >>578の方法につての質問です。 ディレクトリが同じでその中のファイルの例が img20031113192714.jpg 13 Nov 03 19:27 6.2Kb img20031113210116.jpg 13 Nov 03 21:01 7.4Kb img20031113210157.jpg 13 Nov 03 21:01 22.1Kb ･･･ こんな感じになってます。これを一気に落としたいのですが いかんせん時分秒まで回してたらやばいことになりそうなので wget ~　の~部分だけループできたらと思います。 で，その場所がディレクトリサービスONだったので starsuiteで上のようなファイルリストを作りました。 でもシェルスクリプトの動作がイマイチわかりません。 cat<<END |wget nanntokakanntoka/ 2003xxxxxxxx.jpg ... END の足りない部分を埋めていただきたく思います。 Solaris9でインストールしたときのsh使ってます。 それ以前にwgetでディレクトリサービスONの アドレスから.jpg .png .gifの絶対パス取って まとめてゲット~なんて出来ればなお良いんですけど 私にはさっぱりひらめきがないのでもし良かったら ご教示願います 685 名前：684 mailto:sage [04/01/08 07:53] あーん最悪。wget -r www.nantara/ だけでぜーんぶおとせた。ディレクトリサービスオンだとこんなことになるのね。 って書き込んでる間に396filesオチター 686 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/01/08 09:52] 何が最悪なんだ？ 687 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/01/08 13:32] 684がhelpもinfoも読まずにカキコしちゃった自身の ソコツさ加減を最悪と称しているのでせう 688 名前：名無しさん＠お腹いっぱい。 [04/01/09 02:37] echo "wget www.hoge.he.jp/hoge/ero{001..100}.jpg" | zsh -s 689 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/01/09 13:54] >>685 URL希望 690 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/01/17 18:58] あの、awkでしかも汚いですが一応動きます。 baseurl と files 変えたら他の女の子のもいけます。 よければ添削してやってください。 BEGIN{ baseurl="www.tokyo-247.net/image/37_maya/maya1/t2_maya001.jpg" files = 55 split(baseurl,url,"1/") url[2] = substr(url[2],1,index(url[2],"0")) for(i=1; i<=files; i++){ path = url[1] int((i-1)/15)+1 "/" if(i<10){ number = "0" i }else{ number = i} file = url[2] number ".jpg" print file wgetcmd = "wget -nc " path file system(wgetcmd) } } 691 名前：名無しさん＠お腹いっぱい。 [04/01/18 00:35] wgetのオプションでquotaを指定すると取得するファイルの上限をきめられるそうですが 逆に下限を決める事はできないのでしょうか？ HDDがすげー遅いので、ディスクアクセスをできるだけ減らしたいっす 692 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/01/18 00:39] >>690 わざわざ変なスクリプトかいて暇ですな。 693 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/01/18 00:45] >>690 ファイルごとに wget を起動するんでなく URL を一括で wget に食わせてやる方がよいと思う。 あとせっかく wget 使うなら便利なオプションがいろいろあるので調べるが吉。 694 名前：690 mailto:sage [04/01/18 08:09] ご意見ありが�d。 >692 九段のサイトでは画像を小出しにしてまして 定期的に巡回して、うｐ分を一括ダウソする必要があり まぁ暇だったこともあってこうなりまつた。 >693 その向きでまたチャレンジしまつ。 695 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/01/18 11:26] > ご意見ありが??。 まともなunixerならまず使おうとは思わん記号だな 696 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/01/18 11:53] >>695 というか、入力方法がわからんよ emacsでctrl-q hoge fuga とかするの? 697 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/01/18 11:55] そういえば、どこかのｽﾚに 「(･∀･)ｲﾗﾈ」って書いてあったのを見たことあるよ 698 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/01/18 15:40] >695 わざわざ使おうとは思わんけど、 unixでは読めないのがあたりまえみたいな 書きかたをされると( ´ﾟдﾟ｀) 699 名前：名無しさん＠お腹いっぱい。 [04/02/08 02:27] 連番のH画像じゃないんですが、 celeb.goldengate.hu/site_videos.php3 ここの MPEG全部落したいんですが、あれこれやっても うまくできないのです。お知恵を貸していただければ、 嬉しいのですが。 700 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/08 03:24] "あれこれ"やったことを書け。 701 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/08 14:32] リンクを解析して辿り、目的の拡張子だけをダウソするPerlスクリプトを書いたんですが・・・再発明ですか？ 個人的には十分楽しんだからｳﾏｰだけど。 702 名前：あぼーん mailto:あぼーん [あぼーん] あぼーん 703 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/08 15:29] 先生！！>>702の頭の悪さが直っていません！ 704 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/08 15:50] HTML::LinkExtor とか使えばいいのに。 出力は、fork しまくって wget を同時に走らすスクリプトに渡すと。 まあ、手元にあるんだが、希望者がいれば公開してあげます。 705 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/08 17:50] >>704 公開希望 706 名前：名無しさん＠お腹いっぱい。 mailto:sage　マジでいてーよ [04/02/08 18:24] 今痔が出来て痛くてたまらないからAA貼り付けようかな 707 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/08 22:22] 僕もがんばってみた。「はじめてのC言語」とそれから「関数の使いかた」少しよんだ。 #include <stdio.h> #include <string.h> #include <math.h> #define MAXSTRING 255 struct address{ char preaddr[MAXSTRING]; char scope[MAXSTRING]; char aftaddr[MAXSTRING]; int statnum; int endnum; int digit; }; /* 続く */ 708 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/08 22:23] void numaddr( struct address *p ) { char cset[] = "-"; p->digit = strcspn( p->scope, cset ); p->statnum = atoi( strtok( p->scope, cset )); p->endnum = atoi( strtok( NULL, cset )); } void printaddr( struct address *p ) { int i, n, t; for ( n = p->statnum; n <= p->endnum; n++ ) { fprintf( stdout, "%s", p->preaddr ); if ( n == 0 ) i = 0; else i = log10(n); for ( t = i; t < p->digit - 1; t++ ) fprintf( stdout, "0"); fprintf( stdout, "%d%s\n", n, p->aftaddr ); } } /* 続く */ 709 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/08 22:24] int main( int argc, char *argv[] ) { int i; char cset[] = "[]"; struct address multiaddr[argc]; if ( argc <= 1 ) fprintf( stdout, "%s [word]...\n", argv[0] ); else { for ( i = 1; i < argc; i++ ) { strcpy ( multiaddr[i].preaddr, strtok( argv[i], cset )); strcpy ( multiaddr[i].scope, strtok( NULL, cset )); strcpy ( multiaddr[i].aftaddr, strtok( NULL, cset )); numaddr(&multiaddr[i]); printaddr(&multiaddr[i]); } } return 0; } /* おしまい */ 710 名前：707 mailto:sage [04/02/08 22:28] math.h をつかうと #gcc -o getopai getopai.c -lm と -lm つけるのなんでだろ? 711 名前：707 mailto:sage [04/02/08 22:35] >>709 やっぱこう↓しとく "s/\[word\]/opai\[001-100\].jpg/" 712 名前：699 [04/02/08 23:49] 700さん ここむずかしいですね。どういう仕組みなんだろう、このHP。 画像もたくさんあるみたいなんだけど、すぺてPHPで開いてきます。 wget -r --user-agent=Mozilla --referer celeb.goldengate.hu celeb.goldengate.hu/ 当然 これでは無理ですね だめぽ… 713 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/09 12:51] 難しくはない。ただ、ファイル名が結構適当なので面倒臭い。 wget celeb.goldengate.hu//celebs_foreign_pic/Dido/dido{043..045}.jpg 714 名前：名無しさん＠お腹いっぱい。 [04/02/09 13:03] >>712 動画ウィンドウの表示にはJavaScriptを利用してるみたいなので wgetだけでは無理かと 715 名前：699 [04/02/09 23:45] うん どうやってするのがスマートな解決なんでしょうか。 僕には皆目検討もつきません。 やっぱ 一つ一つ落すしかないのかな。 716 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/10 03:47] --user-agentの指定ってどういうとき必要になるの？ 717 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/10 03:56] 偽装したい時 718 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/10 08:30] >>716 指定しないと落とせないとき。 719 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/10 10:44] アクセスログ読んでる奴に嫌がらせしたいとき。 720 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/11 12:14] >>718 --user-agentを指定しアクセス制限を回避することは 不正アクセス禁止法の第3条2項2号に違反するため、 一年以下の懲役又は五十万円以下の罰金に処されます。 721 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/11 13:22] >>720 user agentは不正アクセス禁止法の識別符号には該当しない。 722 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/11 15:23] 詳しい人100人集めたら90人くらいまではそう言うと思うけど、裁判所的にはどうだろね。 URLと一緒で意図絡んでるからトチ狂った判断出される可能性はなきにしもあらずげ。 723 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/11 20:32] >>721 MS的にはおもしろくないだろうよ？ 724 名前：720 mailto:sage [04/02/11 23:11] >720はネタなんで無視してくれて構いません。 ただ、一応補足しておくと… >>721 識別符号を使用した不正アクセス行為を規定しているのは第3条2項1号。 第3条2項2号は識別符号以外の情報を使用した不正アクセスについて 規定しています。 www.ipa.go.jp/security/ciadr/law199908.html 725 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/12 00:07] もしかして、厳密にいうと違反なわけ？ 726 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/12 01:51] >>725 誰かがUA偽装のみで訴えられて裁判所が何らかの判断下すまで違反だとは誰も断言できない。 条文にアクセス方法についてもうちょい具体的に書いておいてくれりゃよかったんだけどね。 727 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/12 05:09] telnetしたり自分でUA組んだ時、 打ち間違えたりリテラル書き間違えてたらタイーフォか。ありえねー。 標準で偽装可能な Opera はタイーフォだな。(w 大体、クライアント側が偽装してるかどうかを立証する方法がないわな。 ただ裁判官はこの手の知識は絶無だし、腐った弁護士は少なくないからなぁ。 やな世の中だ。 728 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/12 15:31] なんか変な人が。 >>727 UserAgentを普段書き換えることや書き換え機能がついてること自体は問題ない。 * UserAgentでアクセスの制限をしているサイト * へ、UserAgentを書き換えて アクセスしたことが問題（になるかもしれないのはやだなあ）という話。 729 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/12 19:11] なる可能性はあるな。国内の法律では不正アクセス行為の禁止等に関する法律の 第3条3項に以下の記述がある >三　電気通信回線を介して接続された他の特定電子計算機が有するアクセス制御機能に >よりその特定利用を制限されている特定電子計算機に電気通信回線を通じてその >制限を免れることができる情報又は指令を入力して当該特定電子計算機を作動させ、 >その制限されている特定利用をし得る状態にさせる行為 ここの「制限を免れることが出来る情報」にuseragentが含まれるかどうかが争点だろう。 俺としてはUAはそもそも信憑性にないものだし，UAによるアクセス制御自体が 無効だと思ってる。ケータイのサイトなんかでよくあるけど，CDMAなんかopenwave.com からブラウザ拾ってきて使えばPCでMobile Browserのagentが出せる。 この場合は有罪?無罪? アクセス制御にはIPアドレスなどを使うべきだろう。 俺の結論　合法と解釈する。 730 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/12 22:13] アクセス制限とは認証のことであり、UAのチェックは認証としての要件を満たさない 以上終了 731 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/13 00:28] >>730 前提を示す必要があるな。 732 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/13 02:39] もまえら暇だなぁ。 733 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/13 03:27] そんなことより違法なエロ画像の URL 下さい。 734 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/13 04:16] 「うらぼん」でぐぐればいいのでは？ 735 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/13 07:56] これですか？？ ttp://www.chuouji.or.jp/urabon/urabon.htm ありがとうございます！ 736 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/13 08:48] おお、これは本当にありがたい。ありがたやありがたや (一人一) ﾅﾑｰ 737 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/13 12:12] これどうやっておとすのでしょう wget --referer では落とせません URLリストをテキストに出力して別のGUIダウンローダにコピペすれば落とせるのですが。 ちなみにwget -iでは無理でした ttp://www.free-adult-hosting.net/bookoff014/book/text4.htm の真ん中右Sampleってやつです01〜41 お願いします 738 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/13 12:25] user-agentだろどうせ 739 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/13 12:34] cookie利用の可能性も 740 名前：名無しさん＠お腹いっぱい。 [04/02/13 12:40] % wget --user-agent=Mozilla www.free-adult-hosting.net/bookoff014/BOOK010_004/0{01..41}.jpg 741 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/13 14:27] 連番の蓮画像を一気にダウンロードする スレに見えた。 742 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/13 14:34] >>741 3年前から同じスレタイですが。 743 名前：741 mailto:sage [04/02/13 15:02] ようするに見る側の問題ってこった。 744 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/13 15:11] >740 ありがとぉ 745 名前：名無しさん＠お腹いっぱい。 [04/02/14 00:51] ttp://kawaii.clawz.com/hentv/max.html ここってどうやって巡回すればいい? ヘッダがないからwgetじゃエラーになるんだけど 746 名前：名無しさん＠お腹いっぱい。 [04/02/14 03:58] よ〜するに、M$IEもMozillaを騙っているので偽装であると...φ(.. ) 747 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/14 04:25] 　　　 　 　 　 　 　 ,.　-‐- 　　　　　　　 　 「｀Ｙ´|　　　 ヽ 〜 　　　　　　 　 　 Y⌒ｿノﾉﾘ）) ）〉 　　　　　　　　　 i　(ll (〔ｉ　,i〕{ﾉ 　　　　　__　　　 ﾘ从ゝ~ (ﾌ／ 　　　　 {{ﾞｧ‐　 ､　　'⌒　T 　　　 　 `ーへ　ヽ ィ　　 ! 　　　　　　　　　ｰ' ,ﾉ　　, 　　　　　　 　 　 , ´ 　 '/ .　　　　 ,.､ 　 　 ! 　 ヽ' 　　　　/　　 ヽ. /ヽ. 　 ヽ 　 　 　 ｰ'´＼　'　 /ヽ　　ヽ 　　　　　　　　　ｰ'　　 ＼　 ヽ　　 _ 　　　　　　　　　　　　　　ヽ.　ヽ'´ / 　　　　　　　　　　　　 　 　 ＼　_/ 【小学6年】山手線（渋谷駅）で全裸の少女が補導 part12【昼間から(画像有り)】 pc.2ch.net/test/read.cgi/pcnews/1074297496/l50 748 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/14 04:28] urlがpcnewsでは開いて見る気もせんが、 AAは良い出来だから今回だけは許してやろう。 749 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/14 12:30] pcnewsに飛ばすならせめて ネットで公開して本人補導とかそういうのにしてくれないとな。 750 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/15 04:28] >>735 功徳は生きてるうちに 751 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/17 17:54] smmonkey.pwp.blueyonder.co.uk/zxa1.html H画像ではない (連番ではある) けどこれはむっ、と思った。 この手で対処されたらお手上げっぽくね？ # ちなみに違法ページではないよ。Amstrad社のケツの穴はデカいなあ 752 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/18 23:10] ttp://www.macromedia.com/software/flash/open/licensing/fileformat/ 一応仕様は公開はされてるけどな。 753 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/20 04:08] あんまりサーバに負荷かけちゃ駄目だよ。 #!/bin/bash if [ ! -d ./OUT ]; then mkdir OUT fi URL="thebbs.jp" GETNUM="1024" UA="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.1.4322)" wget -U "$UA" -N "${URL}/up1/" LIST=$(cat index.html | egrep '[0-9]+\.html' | sed 's/.*href=\"\([0-9][0-9]*\.html\)\".*/\1/g') PAGES=$(for name in ${LIST} ; do echo "${URL}/up1/${name}" ; done ) wget -U "$UA" -N -nv -w 1 --random-wait ${PAGES} for name in $(grep 'href=/sum.html\?' 1[0-9]*.html \ | sed 's+.*href=.*/\([0-9][0-9]*\.\(jpg\|png\|bmp\|gif\)\) .*+\1+g'\ | sort | tail -n ${GETNUM} ) do wget -N -nv -U "$UA" -w 4 --random-wait -O ./OUT/${name} "thebbs.jp/up1/img/${name}" done でもここから選別するのが大変な罠。 754 名前：753 mailto:sage [04/02/20 04:40] あ、そうそう。 急に変なアクセス増えて何かの対策とられたりしないように次の事くらいは守って使って。 UAは絶対変える。 GETNUMは増やさない。 -w は減らさない。 --random-waitは外さない。 管理者に迷惑かからないようにしてな。まじで。 一晩くらいかけてマターリ落して細く長く楽しむのが吉だべよ。 つっても楽しめる画像があんまり無いんだけど。 755 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/21 01:23] 自分で生HDDをつけるということは、少なくてもパーティションの作成から ファイルシステムやswapの作成というところから始めなきゃいけない訳だし unix未経験者にはハードル高いんじゃないかな、少なくてもvi使えないと話にならんし。 でもこれから勉強したい人には良いかもね。 756 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/21 01:38] ↑なかなか上品なレスだけど、頭の中ではエロエロなことばかり考えているんですね。 757 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/21 16:20] 誤爆かと思った罠 758 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/22 07:14] エロは*習熟の源です 759 名前：名無しさん＠お腹いっぱい。 [04/03/12 00:34] 760 名前：名無しさん＠お腹いっぱい。 [04/03/15 03:48] ほしゅ 761 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/04/16 21:19] ほしゅほしゅ 762 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/04/22 20:59] hosyu 763 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/05/07 11:36] 764 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/05/07 23:19] hosyu 765 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/05/08 00:26] なんかネタ無いの？ wgetで複数ファイルの同時ダウンロードするシェルスクリプト書いてたまに使ってるけど、 curlを使うperl,ruby,python等のスクリプトの方がよくない？ shは遅いし、wgetは終了時のエラーコードとか細かい部分がダメぽい。 766 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/05/08 05:48] エロには飽きた。 767 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/05/08 06:19] 画像に飽きた奴が小説に流れるパターンだな 768 名前：名無しさん＠お腹いっぱい。 mailto:age [04/05/23 11:48] もう一度、ｴﾛのﾊﾟﾜｰを！！！ 769 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/05/28 13:14] 保守 770 名前：sage mailto:sage [04/06/21 21:23] 誰か俺が使ってるスクリプト見たい人いる？汚いけど。 771 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/06/21 21:30] 参考にしてみたいな 772 名前：770 mailto:sage [04/06/21 22:09] こんなかんじ。 urlをテキストに並べておいて、ファイル名を引き数に指定して使ってます。 urlにリンクされているjpgを勝手にフォルダ掘ってそこにdlしていきます。 フォルダ名はurlから拾ってます。 #!/usr/bin/perl use LWP::UserAgent; use HTML::LinkExtor; use URI::URL; use strict; use POSIX ":sys_wait_h"; $| = 1;#OUTPUT_AUTOFLUSH my $iframe_ref=''; my $base_tag = ''; 773 名前：770 mailto:sage [04/06/21 22:09] while(!eof()) { my $url = <>; $iframe_ref = ''; my %downloads = (); chomp $url; next unless $url; print "Checking $url¥n"; if ( map{ $downloads{$_} = 0 } getlinks($url) ) { $url = $iframe_ref if $iframe_ref; dl2( $url,[sort keys %downloads] ); print "¥n"; } else { print "there are no JPG¥n"; } } 774 名前：770 mailto:sage [04/06/21 22:10] my @imgs = (); my $iframe = ''; sub callback { my($tag, %attr) = @_; $iframe = $attr{"src"} if $tag eq 'iframe'; $base_tag = $attr{"href"} if $tag eq 'base'; return if $tag ne 'a'; push(@imgs, $attr{"href"}); } 775 名前：770 mailto:sage [04/06/21 22:10] sub getlinks { $base_tag = ''; @imgs = (); $iframe = ''; my $url = $_[0]; my $ua = LWP::UserAgent->new( Agent => "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;)"); my $p = HTML::LinkExtor->new(¥&callback); my $res = $ua->request(HTTP::Request->new(GET => $url), sub {$p->parse($_[0])}); my $base = $base_tag || $res->base; if ($iframe and !@imgs) { print "Found iframe. recheck >> $iframe¥n"; $_ = url($iframe,$base)->abs; $iframe_ref = $_; $iframe = ''; return getlinks($_); } @imgs = map { $_ = url($_, $base)->abs; } @imgs; @imgs = grep{/.[jJ][pP][gG]$/} @imgs; return @imgs; } 776 名前：770 mailto:sage [04/06/21 22:11] sub dl { my $uri = $_[0]; my $ref = $_[1]; my ($dummy,$dir) = ($uri =~ /.*¥/([^¥/]+)¥/([^¥/]+)¥/[^¥/]*$/); opendir(A,$dir) || mkdir $dir; closedir A; chdir $dir; `curl -s -O $uri -e $ref`; chdir "../"; } 777 名前：770 mailto:sage [04/06/21 22:12] sub dl2 { my $max = 4;#プロセス数 my $ref = shift; my @str = @{shift(@_)}; my($pid, @slot); my $tick=0; while(@str){ for(0..($max-1)){ if($slot[$_] != 0 and waitpid($slot[$_], &WNOHANG)!=0){ $slot[$_] = 0; } } 778 名前：770 mailto:sage [04/06/21 22:12] for(0..($max-1)){ if($slot[$_] == 0){ my $url = shift(@str); last unless defined $url; chomp($url); if($pid=fork()){ $slot[$_] = $pid; } elsif (defined $pid) { print "Start Download >> $url¥r"; dl($url,$ref); exit; } else { die "Can't fork: $!¥n"; } } } sleep(1); } for(0..($max-1)){ waitpid($slot[$_], 0); } } 779 名前：770 mailto:sage [04/06/21 22:13] 以上です。 780 名前：770 mailto:sage [04/06/21 22:29] 余計なのはいってた； my $tick; を削除してください； バーが回るヤツつけようと書き換えている最中の貼ってしまいました； 781 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/06/22 14:41] wget -r -A .jpg に URL を渡して回せば良いのでは？ と言ってみるテスト。 782 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/06/22 17:35] wgetの--page-requisitesを使ってお絵かき掲示板の絵をコメントごと収集しようと思ってます。 しかし、しぃアプレットを使っている掲示板からは--page-requisitesで画像を持って来れませんでした。 例として、どこでもいいんですが思い切り無関係なところでこことか↓ ttp://www15.big.or.jp/~baroque/nharuna/oekaki/bbsnote.cgi 　　1)　wgetの設定がまずい 　　2)　こっちのネットワークの何かがまずい 　　3)　CGI側で何かしてるのでwgetでは無理 なにがよろしくないんでしょう。wgetがHTMLを解析してくれてない感じなんですが。 783 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/06/22 18:03] >>782 1) -p option ついたの最近よ？ あと実装始めのころのはバグってた気もした 2) これっぽい。君のサイトが撥ねられてるとか、proxy とか 3) んなこたー、ない % wget --page-requisites www15.big.or.jp/~baroque/nharuna/oekaki/bbsnote.cgi （略） % ls www15.big.or.jp/~baroque/nharuna/oekaki/data/ IMG_003579.jpg IMG_003582.jpg IMG_003585.jpg IMG_003587_2.jpg IMG_003581.jpg IMG_003584.jpg IMG_003586.jpg IMG_003588.jpg % wget --version GNU Wget 1.9.1 784 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/06/22 18:06] ゼンゼン関係あるけどこのサイトは感動した www.geocities.jp/futaba136241/baseball01.html 785 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/06/22 18:18] >>782-783 漏れも画像のダウンロードができなかった -m -l1オプションでもダメだった % wget --version GNU Wget 1.8.2 wget 1.9は~の処理が変わったので使ってない 786 名前：782 mailto:sage [04/06/22 18:33] でも、infoseek.co.jp にあるのも candybox.to にあるのも x-beat.com にあるのも駄目。指定ファイルしか落ちてこない。 Webブラウザでは普通に見れるし… --recursive とかもこのサイトに効かないんだよなあ。 $ wget -nv --page-requisites www15.big.or.jp/~baroque/nharuna/oekaki/bbsnote.cgi 18:15:34 URL:www15.big.or.jp/%7Ebaroque/nharuna/oekaki/bbsnote.cgi [28106] -> "www15.big.or.jp/%7Ebaroque/nharuna/oekaki/bbsnote.cgi" [1] 終了しました --18:15:34-- ダウンロード: 28,106 バイト(ファイル数 1) $ wget --version GNU Wget 1.8.1 Windows版。 >wget -nv --page-requisites www15.big.or.jp/~baroque/nharuna/oekaki/bbsnote.cgi 18:15:20 URL:www15.big.or.jp/%7Ebaroque/nharuna/oekaki/bbsnote.cgi [28106] -> "www15.big.or.jp/~baroque/nharuna/oekaki/bbsnote.cgi" [1] FINISHED --18:15:20-- Downloaded: 28,106 bytes in 1 files >wget --version GNU Wget 1.9.1 なんででしょね？ 787 名前：770 mailto:sage [04/06/22 21:39] >781 おお。スマートだし。自分が恥ずかしくなってきた。 でもこれ、サムネールとか広告まで保存しちゃいますね。 保存先も深くなっちゃうし。 788 名前：770 mailto:sage [04/06/23 05:05] >782 wget --page-requisites --follow-tags=IMG でいけました。 あと自己レスなんですが wget -r -A.jpg -nd -np -I 1 -H --ignore-tags=img -P dir でやりたかった通りに出来ました。 789 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/06/23 10:56] >>788 でもあんま根本的な原因究明にはなってないな(w 解析が難しいHTMLの書き方にでもなってるのか？ 790 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/06/23 11:48] wgetよりcURLの方が便利だ。 791 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/06/23 16:46] 使い方ｷﾎﾞﾝ. 792 名前：770 mailto:sage [04/06/25 09:06] >789 CGIが吐くHTMLの最初の方に <META name="ROBOTS" content="NOINDEX,NOFOLLOW"> とあり、wgetがこのタグのNOFOLLOWを理解して探索をやめてしまうから。 793 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/06/29 18:13] がーん。wget って --timestamping と --no-clobber を同時指定ってできないんだ… 　「ローカルより新しいファイルならサーバからダウンロードするが 　　ファイルは上書きせずに通し番号などをつけて区別して保存する」 という芸はできないのか。 794 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/06/30 13:09] >>793 サーバー上のファイルと比較すべきローカルのファイルを どれにするのが適当なのかがよくわからない、というのが原因なんだろうね。 --timestampingで更新ダウンロードした時に スクリプトでリネーム退避しておく、という手くらいしか思いつかないや。 …wgetが更新ダウンロードしたことを検知する方法ってなんかあるっけ。 ログを書き出す設定にしてgrepする以外にあるかな？ 795 名前：名無しさん＠お腹いっぱい。 [04/07/04 16:58] 優秀なﾎﾟﾏｴﾗに質問でつ このサイトの画像を自動で保存するにはどうすればいいでつか? www.sweetnote.com/board/chidle/hoshiinanase/ ページの最後にCSSで隠した画像があって、 その画像にアクセスするとアクセス禁止になってしまうので wgetだと保存できません ちなみに、巡回ソフト対策みたいなのですが、 CSSに対応してないブラウザで見ると表示されてしまうし、 Operaでスペース押していくと画像を順番に表示していくので CSSで隠した画像にもアクセスしてしまいます 796 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/07/04 17:14] そういえば、昔作ったスクリプトには grep -v BBLhGdTS 何ていうのが入っていたな。 797 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/07/04 17:18] ん？ えーと、コレは単に ……。しまった。CSS云々ってコレか。繋ぎ変えよう 798 名前：795 mailto:sage [04/07/04 17:23] >>797 面倒なことさせてしまってすみません FirefoxなどでCSSを無効にすると 一番下に同じサムネイルが2枚表示されていて その下の画像のリンクにアクセスするとアクセス禁止になってしまいます 799 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/07/04 17:30] う、うまく書けない。まあいいや。 えーとね、Lynxかなにかで全リンクを抽出して、grepで/images/を含む行を取り出す。 これは「1行目は本物画像リンク、2行目はCSSで隠された罠リンク」の順番になってるので 偶数行目だけ削除するフィルタを何かで書いて（初心者が急いでるので挫折）、 そのURLリストをUserAgentがIEでrefererが当該ページなwgetで回せばいい。はず。たぶん。 800 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/07/04 18:10] bbs.coolnavi.com/16627 ↑のようにcookie強制する画像サイトは難しい。 801 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/07/04 18:36] wget --load-cookies --save-cookies .... でOKでは。 802 名前：799 mailto:sage [04/07/04 19:13] 適当に書いてみた。LynxだとIEのフリができずアクセス解析でバレそうなのでHTMLソースをwgetして解析。 >>799の「リンクを抽出した1行目は本物画像リンク、2行目はCSSで隠された罠リンク」の仕様が崩れるとアウト。 #/bin/sh wget $1 -q -nv --user-agent=="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -O - |\ sed -n 's/<a href="\(..*\)" target="_blank">.*/http:\/\/www.sweetnote.com\1/p' |\ awk 'NR%2 == 1' | wget --user-agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" \ --referer=$1 -nv -P ${2:-gazou} -i - 上記の5行をget.shとかで保存して適当に実行可能にして $ ./get.sh www.sweetnote.com/board/chidle/hoshiinanase/ とするとカレントディレクトリにgazouディレクトリを勝手に掘って画像を保存。 （5行目の -P ${2:-gazou} を消すとデフォルトでカレントに保存するようになる） $ ./get.sh www.sweetnote.com/board/chidle/hoshiinanase/ test とするとカレントディレクトリの下にtestという指定ディレクトリを勝手に掘って画像を保存。 IEだと思わせてるので画像の更新はあえて見てない（毎回6ファイルを強制ダウンロード）。 鯖負荷のかけすぎで気取られないように注意。 803 名前：795 mailto:sage [04/07/04 21:35] >>802 ありがとうございます ダミーのリンクは最初と最後の画像だけみたいなので 偶数行を削除という発想をヒントに2行目と最後の行を削除したらいけました sed -e '2 d' | tac | tail +2 > 仕様が崩れるとアウト。 以前は各画像のあとにコメントアウトされた ダミーの画像がふたつずつありました > （毎回6ファイルを強制ダウンロード）。 いつもはwgetに-xオプションをつけてダウンロードしています あとは "`echo url | cut -d/ -f3-`" というファイルが 存在するかどうかでダウンロード済みかどうかを判断しています URLエンコードが必要な場合は適当に処理してます 804 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/07/04 22:27] IEでもHEAD投げてサイズを見てダウンロードするかどうかを決めるってのはやってるんじゃないかな。 別にそれでバレることはないと思うぞ(w 805 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/07/04 23:52] >>801 いやね、>>800は半角板に張ってあったりすると、URI中のセッションIDとcookieのセッションIDが一致しないとダメなのよ。 そのサイトから直で落とすなら問題ないんだけどね。 806 名前：名無しさん＠お腹いっぱい。 [04/08/14 11:43] 保守 807 名前：名無しさん＠お腹いっぱい。 [04/08/22 21:52] wget使ってdlするｽｸﾘﾌﾟﾄを書いてるんだけど、どうもcookieの処理が上手く出来 ないんだけど、だれか解決方法知らない？ index取得時にUIDとSIDをsetされるので、imageをgetする際にその両方を送れば いいだけなんだけど、なぜかwgetだとUIDしか送ってくれない。 808 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/08/27 11:56] office-lady.net/office/cute/album1.html ここの画像ってどうすればgetできますか？ wgetプロの方、おながいします。 809 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/08/27 12:28] wget で適当な --referer を指定して、zsh で office-lady.net/office/cute/images/img0{01..18}.jpg あとは自分でいろいろ調べてみてください。 810 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/08/27 13:47] >>807 指定するときにセミコロンでパラメータをセパレートするんじゃないの？ ひょっとしたらwgetの場合cookieなんかだと、複数のパラメータセットが あった場合、全部追加されるのかもしれないけど。 #まあキャプチャすれば直ぐ判ることだが。 811 名前：名無しさん＠お腹いっぱい。 [04/09/09 01:30] 保守 812 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/09/10 11:16] >>808 こんな感じ。 wget --header=REFERER:office-lady.net/office/cute/ office-lady.net/office/cute/images/img0{01..18}.jpg 813 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/09/10 17:38:03] >>812 --header=REFERER:と等価な--refererが最近のヤツだと使えるようになってる。 {}の展開、以前上手く動かなくて使ってないのだが、俺の勘違いだったのかな。 今度試してみよう。 814 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/09/10 20:32:43] >>813 cshが勝手にはぎ取っているという落ちでないの？ echo {01..18} の結果は？ 815 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/09/10 22:49:45] >>814 ああ、やっぱりシェルの展開機能なのね。 普通にsh(bash)でした。 816 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/09/10 23:05:16] このスレのあちこちで、しつこく zsh って書いてあるのに… 817 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/09/10 23:36:51] curlにはそういうiriaライクな構文があるよね。 818 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/09/10 23:48:35] >>816 いや、zshに展開機能があるのは知ってるんだけど wget自身にパラメータの展開機能が盛り込まれたのかと思ったんだよ。 シェルにあるような機能を取り込む必要もないのかもしれんが、 ある意味zshって特殊(スタンダードではない)だから。 まあログインシェルぐらい時々で変えれば、つう考えもあるな。 819 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/09/10 23:59:20] >818 展開は shell が面倒見てその結果をアプリケーションに渡すのが Unix 的思想。 820 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/09/11 01:05:09] >>819 んじゃ、もう一方のUnix的な思想で 展開機能のないシェルで展開させるために使うフィルタで お勧めなのは何かある？今はawkでやってるんだけど。 (zshのスクリプトでというのは取りあえず無しで) 821 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/09/11 02:16:47] >>820 おまえ ｱﾎ だろ. 822 名前：820 mailto:sage [04/09/11 03:06:57] >>821 多分指摘のとおりアホなんだと思うけど、 アホ故に、どの辺りをもってしてアホなのかが判らん。 ズバっと明確に切ってくれ。 823 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/09/11 03:09:28] zshのスクリプトでいいじゃん。 車輪の再発明はｲﾗﾈ 824 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/09/11 05:25:12] url を切り出すスクリプトと wget を 50 個くらい平行して走らせるスクリプトだけで オナニーするには困ってない. 825 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/09/11 06:07:50] >>820 まったくスレ読まないで書くから外してるかもしれないけど。 curlは自前で展開してくれる。そっち使えば？ 826 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/09/13 15:03:30] えっと、aria は４系でも動かないの？ 827 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/09/18 13:54:18] もう疲れました。自分なりにwgetのオプションを色々と試してみたんですが。 ttp://bbs.coolnavi.com/16627/10674p8.の中の画像をwgetで落とすことが できません。 どうか、先生方のお知恵をお貸しください。お願いします。 828 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/09/29 02:14:03] 被写体が♂だったらやったんだけどな・・・ 829 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/09/29 02:21:56] 工ｴｴｪｪ(´д｀)ｪｪｴｴ工 830 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/09/29 02:26:40] 苺きんたまの画像をゲットした時は #!/bin/sh cat input |grep "v.isp.2ch.net/up/" >output sed 's/http/ttp/' output > tmp sed 's/ttp/http/' tmp > tmp2 sed 's/JPG/jpg/' tmp2 > tmp3 awk ' {print "wget " $1}' tmp3 >temp chmod 700 temp ./temp mv *.jpg images こんな感じ。お好みでwhileして?p=1・・・p25までゲットとか。 無限roopで問題なかった。1つのcgi落とすのに10分以上かかったから。 sedが冗長な感じだが足りない頭じゃこんなものしか書けなかった。 誰かもっと簡潔な「よい見本」きぼんぬ。 831 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/09/29 02:30:11] あーごめん。これじゃなかった。 #!/bin/csh @ i = 1 while ($i <= 2) date >>history wget "up.isp.2ch.net/upload/c=03okari/index.cgi?" cat "index.cgi" |grep jpg >list awk -F\" '{print "wget -U hiroyuki v.isp.2ch.net" $2}' list >test cat test |grep jpg >test2 chmod 770 test2 ./test2 awk '{print $4}' test2 >>listtmp sort -i listtmp |uniq >getlist mv *.jpg jpg3 rm "index.cgi" @ i = 1 end こんなん。これも良い見本きぼんぬ。 832 名前：名無しさん＠お腹いっぱい。 [04/10/22 13:36:38] age 833 名前：名無しさん＠お腹いっぱい。 [04/11/05 19:21:13] 保守! 834 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/11/05 19:23:59] なんて息の長い祖レッドなんだ。 835 名前：833 mailto:sage [04/11/05 19:45:55] 見つけてしまいました、こんなスレ。今からzsh入れます! 836 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/11/05 20:09:10] すげー。ありがとみなさん!ノシ 837 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/11/09 13:04:12] このスレ２１世紀の始まりから生きてるのか 838 名前：名無しさん＠お腹いっぱい。 [04/11/11 21:10:37] エロは性器を超える 839 名前：名無しさん＠お腹いっぱい。 [04/11/11 21:37:36] page11.auctions.yahoo.co.jp/jp/auction/n9933154 このダウンロードソフトって使った人います？？ 840 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/11/25 23:08:39] wgetに画像だけ-ncの動作をするオプションを追加して使ってる。 時間の入った連番画像が主の時には、-N使うよりは動作は速いし鯖負荷も多少は減るんじゃ無いかな。 wget --no-clobber-imageで。 begin-base64 644 - H4sIAN3lpUEAA7VXaW/bRhD9LP2KqYDakiXRJHXLMGoHkQsjTh04aYECAViK XInbkLsEd+kDaf57Zw8dtCTXCVDBMMXZ92aPeTM7iuliAd2iBMc5fVgS2fWc ieOdiiI6TaTMnQj2Wuvdbvcgpea7bq/ruV1vAO542vOn3sBxVx9ouxPXrbfb 7f2uFbvf9byuPwDfnw5GU7fvjPqD0WCLfXEBXW/Y9zpDaOunN4GLizqYT0Fk WTC4m326u313Zqzf6lBvA9AFNHkuHcajlM/npKBZuCRwdARJKAL9EohysaCP QQ7Nk0TIUDopj8I0WNCUtBRSfQnIIxVS7Ae11EwAX80D4PQErhdQmRaoALVI EgNnELJYe4UwLUgYP4Hx3oGYA+Oy3q6pPRWU3BOQCTHYk9OV/5Qv84IyiXu7 uf01+GN29+b246wDQbPxud6+1jv862dxvHaPPgrSgQeapsr/2rnzmTVaHdjd 0Vl1K+s1qF1YXwREmedcoFEei7XLGG7fObC12JNYwj/nNjhX6Hg1cHU3mwXv L/98M4NmXGbZ02bWZwFtm4C2VWRLQQIp4BxcHehVfCXNCG4iyylbtowCvtbj w2KnjMpdsRvrAbGbwY3YPStXz3uN2DdsI3YPvOHUH0y9oTMcDP0dsY98rXV8 jKzSv0Ijo0XBi0anVvvt95sbfNSiLA5ETqLADMG3joUyjEekkEdah+qtY+Bz 841 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/11/25 23:09:17] zlMSsi3oSqQIP6qodpfRrjJ0Au3QtLVzaLI8LAiTm6XxwFgOLy8v+ONThaAM Fn9PIlnZeJkpJYoNXhYrLI7h8gLKFohHacckL0gUShKjXl9QSxZStqsWYz2g FjP4o2rZsLfVMpz2Rs544hq5bKnFH0+UWtRjtK6LeBZ0yXhBuilhS5k0Opj7 QVgsy0ydNmgJgdcb27OrKGwf9Dg73oYy3l3rZq/nvmcV8wzetarZSxp7z+aI aaEjrEO6f57RM0rChXwNb7yPl3L+pcwPUAauoqgjH/aG6siHvVHHXEW1KMRa 6I3dKX4HEESi+O7DFJqNiDOGa1E1ipeofHU1oGusdwo5xxr9BYvcyoE3VfW/ 4uB5vkGDY+E+0zhLt/MfXx7vzh9GEckPzfuC7BFOORNO8lye64ED4l+P/6j+ Kw62u4Ph1HWd/mS3OxgMVDjw/9gmAN6PEMZxoIKKWjir1TDh33J1caEZlJmF GYGVTp5+UZeWJa4P3NKoCOcpEbAKA1sCX5hbG7/jceIHqXEoQ8fefRU3Om6v 89W2vjTFsWuKkrDAm5QWWPoINivG1Se8ljHKir7eBciCkAorVTe32qoh3fAl rCwVHGV5KYMq+FrZKvAX5FJKmordMmnNB6RiR9dC8Xvge1NV7V4llC16VSa9 seP6owpdyWTi9ZVO1MNfKcV2G6qh0F0jRq7e3tceYh4LaU9roQ4EGz/d9BkT Am17o7qSJr5im2LY0DT4Fpyf61piW8bN1Jb1k8CLGhM5ynA+5GKq/50vG60q 3nsZT/5nQs6+D7+ki+/Cz7N8P37ruHQ7iAq9wwYXQkgpwxa14BlcfdDttYWq zjXnGFFswSVHBBFJ+oSNsWp28d7X5V9g4uhk0xll30DkYaQ7Xj6XeB1jZyuT gpfLBDJNb7b0RCLhZWr8zNUSCAIfqEz0V8Q8JIRhi6wcMY6tO1viUhiiSOz8 dzbtlF5rfjGbfrjsbtG3+g78c7FLNT1qJZvGOpnwv0mlui56KnMSmaWbxPlw eXf5/iOmxHYCtdQ1pJNt30+xgxSMunlRv2yChwSbxUAHf824ur6ZWfcorTIy 9SvISKbKo+HpHzOHl3XPqVKQBQYqkhv0PqeK9S+tiE0GWw8AAA== ==== 842 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/12/08 14:39:01] hoshu 843 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/12/10 13:48:48] ちょっと保守しますよ。 844 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/12/19 02:35:17] ほっしゅっしゅ 845 名前：名無しさん＠お腹いっぱい。 [04/12/26 03:27:28] 初心者です。 ttp://aurelie.no-ip.info/~mangahentaipro/Hentai/Box/images/001.jpg を196まで一括で落としたいんですが。 なるべくわかりやすい方法を教えて下さい。 すみません。 846 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/12/26 03:34:13] $ zsh % wget -c -w 5 ttp://aurelie.no-ip.info/~mangahentaipro/Hentai/Box/images/{001..196}.jpg 847 名前：名無しさん＠お腹いっぱい。 [04/12/26 03:49:49] zsh、wgetはどこでインストールできますか？ あの・・・zsh、wgetって何ですか？ ほんとにすみません。 848 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/12/26 04:10:46] www.zsh.org www.gnu.org/software/wget/wget.html あとは自分で調べてください。 849 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/12/26 04:16:58] >>847 ttp://aurelie.no-ip.info/~mangahentaipro/Hentai/Box/images/001.jpg ttp://aurelie.no-ip.info/~mangahentaipro/Hentai/Box/images/002.jpg ttp://aurelie.no-ip.info/~mangahentaipro/Hentai/Box/images/003.jpg ttp://aurelie.no-ip.info/~mangahentaipro/Hentai/Box/images/004.jpg ttp://aurelie.no-ip.info/~mangahentaipro/Hentai/Box/images/005.jpg ttp://aurelie.no-ip.info/~mangahentaipro/Hentai/Box/images/006.jpg ttp://aurelie.no-ip.info/~mangahentaipro/Hentai/Box/images/007.jpg ttp://aurelie.no-ip.info/~mangahentaipro/Hentai/Box/images/008.jpg ttp://aurelie.no-ip.info/~mangahentaipro/Hentai/Box/images/009.jpg ttp://aurelie.no-ip.info/~mangahentaipro/Hentai/Box/images/010.jpg 196まで全て手作業で作ってみたが２分４０秒で出来た メモ帳でやった 01-02-03-04-05-06-07-08-09-00 これをひとかたまりに９セットコピペ んで数字 - ←↓（同時押し） 001-002-003 011-012-013 021-022-023 わからんのなら手作業しかあるまい、がんがれ 850 名前：名無しさん＠お腹いっぱい。 [04/12/26 04:30:24] >>848 ありがとうございます。 >>849 ありがとうございます。地道にやってみます。 ちなみに同時押しって何ですか？ 851 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/12/26 12:46:52] curl -O aurelie.no-ip.info/~mangahentaipro/Hentai/Box/images/[001-196].jpg 852 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/12/26 12:55:45] >851 それだとシェルが展開しようとして変なことが起きるから、適当にクォートすべきだな。 853 名前：名無しさん＠お腹いっぱい。 mailto:sage [05/01/03 08:02:28] おまいら御用達のwgetの www.st.ryukoku.ac.jp/~kjm/security/memo/2004/12.html#20041220_wget って、まだ直ってないんでしょうか。 854 名前：名無しさん＠お腹いっぱい。 [05/01/05 01:31:19] >>853 はい。 855 名前：名無しさん＠お腹いっぱい。 mailto:sage [05/01/10 20:09:44] ４周年記念日 でもsage >>380 ttp://search.mse.co.jp/cgi-bin/ip_dom-2/ipsearch.cgi エロサイトじゃないけど、何なのかもよく分からん。 856 名前：名無しさん＠お腹いっぱい。 [05/01/29 14:47:08 ] ttp://hp.vector.co.jp/authors/VA024337/SqTop.html 857 名前：名無しさん＠お腹いっぱい。 [05/01/29 16:18:15 ] >>856 ﾃﾞﾑﾊﾟ ｷﾀ━━━━━━(ﾟ∀ﾟ)━━━━━━ !!!!! 858 名前：名無しさん＠お腹いっぱい。 mailto:sage [05/01/30 03:32:28 ] phpとか使われるとわけわからん。落とせん 859 名前：名無しさん＠お腹いっぱい。 mailto:sage [05/02/02 12:00:08 ] perlスクリプト使え 860 名前：名無しさん＠お腹いっぱい。 [05/02/02 16:27:08 ] （　ﾟдﾟ）ﾎﾟｶｰﾝ 861 名前：名無しさん＠お腹いっぱい。 mailto:sage [05/02/03 05:11:11 ] ttp://www.melon-peach.com/ ここの画像、どうにかしてぶっこ抜けませんか？ 862 名前：名無しさん＠お腹いっぱい。 [05/02/03 16:27:47 ] ﾈﾄﾗﾝ厨(･∀･)ｶｴﾚ!! 863 名前：861 mailto:sage [05/02/06 13:01:24 ] ﾈﾄﾗﾝ厨じゃないのに・・・ (つД`)･ﾟ･ 864 名前：名無しさん＠お腹いっぱい。 mailto:sage [05/02/06 19:39:21 ] >>863 >>41,578 とか参考にならない? 865 名前：名無しさん＠お腹いっぱい。 mailto:sage [05/02/07 00:09:17 ] >>861 重杉 866 名前：名無しさん＠お腹いっぱい。 mailto:sage [05/02/13 22:56:14 ] wgetかcurlで nylon.hostfuck.com/index01.html の画像を落とすスクリプトを書いてください 867 名前：名無しさん＠お腹いっぱい。 mailto:sage [05/02/13 23:25:32 ] >866 ちょっとは自分で勉強することも覚えてはいかがですか。 868 名前：名無しさん＠お腹いっぱい。 mailto:sage [05/02/15 01:00:48 ] >>866 #!/bin/sh wget -r -l1 "nylon.hostfuck.com/index01.html" mkdir gazou mv *.jpg *.bmp *.tif* *.x*m *.gif *.rgb *.psd *.eps *.wmf gazou rm ./ 無保証。 869 名前：名無しさん＠お腹いっぱい。 mailto:sage [05/02/15 02:57:21 ] 403喰らう悪寒。-Uでしっかりと騙るのがベターかも。。。 二次元には興味なし。でも 870 名前：名無しさん＠お腹いっぱい。 mailto:sage [05/02/15 03:59:53 ] 2次元か 871 名前：名無しさん＠お腹いっぱい。 mailto:sage [05/02/15 17:58:19 ] while(<>){ 　m/num=([0-9]+)&type=([a-zA-Z]+)[^0-9]*([0-9]+)/ and system "wget". 　　" --output-document='$3.$1.$2'". 　　" --header='Cookie:num=$1;type=$2'". 　　" nylon.hostfuck.com/nylon.php". 　"\n"; } 872 名前：名無しさん＠お腹いっぱい。 mailto:sage [05/02/15 18:02:22 ] ×& ○&amp; 873 名前：名無しさん＠お腹いっぱい。 mailto:sage [05/02/15 20:12:36 ] Perl? 874 名前：名無しさん＠お腹いっぱい。 mailto:sage [05/02/15 20:39:49 ] 漏れはこんなスクリプトでやってみた for n in {28672..32767}; do [ -f $n.jpg ] && continue wget --header="Cookie: num=$n; type=jpg" --output-document=$n.jpg \ nylon.hostfuck.com/nylon.php done ほんとは連番じゃないので ちゃんとやりたかったら番号はこんなかんじで抜き出せばいいかも w3m -dump_source \ nylon.hostfuck.com/{,index0{1..7}.html} |\ ruby -e 'while gets; $_.sub(/image.php\?num=(\d+)/) do puts $1; end end' |\ sort | uniq 875 名前：名無しさん＠お腹いっぱい。 mailto:sage [05/02/15 23:04:47 ] 無駄が多いな、このサイト。 876 名前：名無しさん＠お腹いっぱい。 mailto:sage [05/02/16 03:26:14 ] 　　　　　　　　　　　　　　　　　l　　　　　　　　　　 l 　　　　　　　　　　　　　　　　 J　　　　　　　　　　 l 　　　　　　　　　　　　　　　　　　　　　　　　　　　J さわったら負けかなと思ってる。 877 名前：名無しさん＠お腹いっぱい。 mailto:sage [05/02/16 19:57:30 ] 成功した？ 878 名前：名無しさん＠お腹いっぱい。 mailto:sage [05/03/01 08:03:13 ] セルフプレジャー保守 879 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/04/04(月) 23:44:21 ] 初心者スレから誘導されてきました。 連番のzipファイルを一気に解凍する方法はありますか？ 001.zip 002.zip 003.zip 今はひとつひとつunzipしてます。既出だったらすみません。 教えてくれたら、こころを入れ替えてスクリプト勉強します。 880 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/04/04(月) 23:45:58 ] unzip {001..100}.zip 881 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/04/04(月) 23:53:44 ] for i in *.zip; do unzip $i; done でもいいんでないかい? 882 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/04/05(火) 00:14:01 ] echo *.zip | xargs -n1 unzip 883 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/04/05(火) 00:42:16 ] unzip は自前でワイルドカードを処理するのでほかに zip ファイルがなければ unzip \*.zip でどうでしょう。 884 名前：名無しさん＠お腹いっぱい。 [2005/05/30(月) 16:25:28 ] うほ 885 名前：名無しさん＠お腹いっぱい。 [2005/06/14(火) 20:55:22 ] altemisweb.jpから落とせる方法をご存知の方、いますか？ そもそも普通にw3mとかでも開けないのですが。 たとえばttp://s1.artemisweb.jp/kto11/main.html からいけるページなど。 886 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/06/14(火) 21:12:18 ] wget -m --cookies=on --user-agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)" とかじゃだめなの？ 887 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/06/14(火) 21:15:53 ] >>886 UAとrefererは指定してもだめです cookieはためしてないけど、w3mでさえページを開けないってことはcookieじゃなくて JavaScriptが効いてないとだめなのかもしれない希ガス 888 名前：名無しさん＠お腹いっぱい。 [2005/06/14(火) 21:45:27 ] >>887 リファラ送ったら普通に落ちてきたぞ？ wget --referer="s1.artemisweb.jp/" \ s1.artemisweb.jp/kto11/room-01/main.html 889 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/06/14(火) 21:52:29 ] >>888 そうすか？ 私のところでは、w3mでもwgetでも、特定のバイト数を読み込んだところで ブロック状態になります。で、しょうがないからctrl-Cで終了させると、 IEで取得可能な全てのファイルは落とせていない。 そっからもぐってたどれる画像に関してはまったく無理です。 890 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/06/14(火) 21:53:16 ] > IEで取得可能な全てのファイルは落とせていない。 わかりにくい言い方でした。 当然ですが割り込みで入力を停止させてるので、partialなファイルに なっちゃってるってことです。 891 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/06/14(火) 21:54:53 ] Referer以外チェックしてないみたいだけど % wget --referer=s1.artemisweb.jp/ \ s1.artemisweb.jp/kto11/room-01/267_track_04/267_shizuku_tsukino_2_084.jpg HTTP による接続要求を送信しました、応答を待っています... 200 OK % wget s1.artemisweb.jp/kto11/room-01/267_track_04/267_shizuku_tsukino_2_084.jpg HTTP による接続要求を送信しました、応答を待っています... 403 Forbidden Refererを送るにはm(r?)オプションをつければいいので これで全部ダウンロードできると思う wget -m -np -L s1.artemisweb.jp/kto11/main.html 892 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/06/14(火) 22:01:51 ] >>891 え？？ それで、ちゃんと最後までおちますか？ 私のところではブロックしてしまうのですが。 何が悪いんだろう。 893 名前：853 mailto:sage [2005/06/15(水) 01:38:59 ] >>853 www.cve.mitre.org/cgi-bin/cvename.cgi?name=CAN-2004-1487 www.cve.mitre.org/cgi-bin/cvename.cgi?name=CAN-2004-1488 これ? 894 名前：名無しさん＠お腹いっぱい。 mailto:hage [2005/06/15(水) 09:16:17 ] wgetばーじょんうｐあげ 895 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/06/15(水) 22:25:56 ] >>885 uname -v および wget --version を晒してみ 896 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/06/16(木) 01:47:37 ] >>895 FreeBSD 4.7-RELEASE GNU Wget 1.8.2 897 名前：895 mailto:sage [2005/06/16(木) 22:21:11 ] >>896 すまぬ，予想外れた． Darwin Kernel Version 7.9.0 だと OS X 添付のwget (version失念) で --referer オプションが働かなかった． >>891 末尾の方法では html は落ちたが jpeg は 403． 出来心で GNU Wget 1.10 のソース落としてインスコしたところ wget --referer=s1.artemisweb.jp -m -np -L s1.artemisweb.jp/o11/main.html で落とせた．たぶん参考にならないが一事例としてカキコ． 898 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/06/16(木) 22:27:31 ] thx. とりあえずニューwgetで試してみることにしますわ。 899 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/06/22(水) 10:07:33 ] % ls .thumbnails/normal | wc 3643 3643 134791 % du .thumbnails/normal 84000 .thumbnails/normal ('A`) 900 名前：900 mailto:sage [2005/06/26(日) 09:34:26 ] 900 901 名前：名無しさん＠お腹いっぱい。 mailto:あげ [2005/06/29(水) 02:00:46 ] すみませんこのサイトの画像取れません…ttp://loface.com/pic_sum.php?p=kakyu2 (サムネイルを拡大にするには、topページでクッキーを取得する。→loface.com/?e=35) 自分は色々やりました。例えば wget -r -A .jpg -nd ttp://loface.com/pic_sum.php?p=kakyu2 こんな感じでやってみましたが、どうもダメ… どうかご教授下さい。 902 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/06/29(水) 02:21:00 ] お前は基本がわかってないから無理 903 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/06/29(水) 02:59:38 ] >>901 ヒント： wget --header="Cookie: kokoni hairu mojiretu wo nanntoka shutoku shiro" 904 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/06/29(水) 21:09:33 ] >>901 日本語も学びなおしたほうがよかろ 学問でも技芸でもなく、単なる方法を知りたいのなら ×教授ください ○教示ください >>903 それはヒントどころか答えでは・・・ｗ 905 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/06/29(水) 23:51:29 ] 空気を読んだ方がよかろ 単なる抜く画像を知りたいなら ×助教授ください ○女教授ください 906 名前：名無しさん＠お腹いっぱい。 [2005/06/30(木) 07:07:50 ] 10秒に1アクセスの制限もあるな。 907 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/06/30(木) 09:58:10 ] >>901 初心者だけど過去ログを見ながら挑戦してみますた curl -H "ここにくっきー文字列" -o kakyusei#1.jpg "loface.com/pic.php?img=kakyusei[001-879].jpg&pic=kakyu2" 又は… for num in `seq -f %03g 1 879`; do wget --header="ここにくっきー文字列" --output-document=kakyusei${num}.jpg \ "loface.com/pic.php?img=kakyusei${num}.jpg&pic=kakyu2" done これで全部ぶっこぬけると思うヽ(´ー`)ﾉ 908 名前：名無しさん＠お腹いっぱい。 [2005/07/02(土) 19:04:53 ] なんか最近は DCGA ってのばっかりでスルーばっかりだよ。 909 名前：901 mailto:sage [2005/07/03(日) 00:05:10 ] >>902 そんなorz >>903 クッキー文字列のことですか? >>904 っう…スミマセン >>905 ○女生徒ください >>906 それどういう意味ですか? >>907 うーん上手くいきません?何ででしょう 910 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/07/03(日) 02:49:12 ] >>909 つ Firefox + Live HTTP headers 911 名前：906 mailto:sage [2005/07/03(日) 09:29:12 ] >>909 そのままの意味。連続アクセスするとjpegの代わりに「10秒まてこの早漏」と返してくる。 hint: wget --load-cookies=foo --save-cookies=foo --keep-session-cookies 912 名前：901 mailto:sage [2005/07/03(日) 15:47:34 ] お騒がせしてすみません、解決できました。 wget -r --header="cookie: Cookie: PHP_DAYCOUNT2=＜省略＞; lf=＜省略＞" loface.com/pic_sum.php?p=kakyu2 で出来ました。今まで出来なかったのは『PHP_DAYCOUNT2』が抜けてただけみたいですorz >>910さんが指摘した『Live HTTP headers』で気がつきました。 どうも有難うございました。 >>911 レスしてくれて有難うございます。 913 名前：名無しさん＠お腹いっぱい。 [2005/07/17(日) 01:12:56 ] age 914 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/07/17(日) 01:21:26 ] まだあったのな、このスレ。 915 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/07/17(日) 01:39:56 ] UNIX板での良スレ 916 名前：名無しさん＠お腹いっぱい。 mailto:age [2005/07/31(日) 12:29:53 ] エロいおまいら 画像ビューワ のお勧め教えれ。 xv? gimageview? gqview? 他? ディレクトリ一覧の時に、そのディレクトリの中の画像が アイコン一覧みたいに見えるやつキボンヌ。 917 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/07/31(日) 13:32:21 ] またこいつか。 918 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/07/31(日) 14:37:59 ] >>916 explorer 919 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/07/31(日) 15:06:24 ] >918 ports には見当たらないね。 ぐぐってもどれがどれやらワカラン。 >917 ? 920 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/08/01(月) 02:33:50 ] ネタにマジレスか こりゃヒドイ 921 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/08/04(木) 06:20:35 ] kuickshow つかってまつ 922 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/08/04(木) 14:52:57 ] paint 923 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/08/13(土) 11:44:34 ] >>919 C:\Windows\system32\explorer.exe 924 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/08/25(木) 21:53:35 ] gthumbかな? 925 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/08/26(金) 09:57:59 ] linux.bytesex.org/fbida/ 926 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/09/02(金) 22:15:47 ] 例えば、リストの内容が www.unko.jp/~chinko/[000-026].jpg www.manco.jp/anal/gay[00-26].jpg みたいなファイルがあったとしてこれを展開してwgetなりに渡すにはどんなスクリプト書きます？ 自分が深く考えないで書いてみたのは cat < list | sed 's/\(.*[^0-9]\)\[\([0-9].*\)-\([0-9].*\)\].*\.\([^.]*\)$/\1 \2 \3 \4/g' | awk '{printf("echo %s\{%s..%s\}.%s\n", $1, $2, $3, $4)}' | zsh -s | tr ' ' '\n' で、最初のsedでアドレス、開始の番号、終わりの番号、拡張子を分けて、awkでzshのスクリプト書いて最期にtrで改行入れてるんだけど、どうかな？ 添削よろしくです。 927 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/09/02(金) 22:23:05 ] やりたいことがよくわからんが、 スカトロでホモって事はわかった。 928 名前：名無しさん＠お腹いっぱい。 [2005/09/02(金) 22:40:51 ] ＞添削 読めない 929 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/09/03(土) 00:47:22 ] zsh知らんけど、添削するなら sed 's/¥[¥([0-9]*¥)-¥([0-9]*¥)¥]/{¥1..¥2}/g; s/^/echo /' とか？ ただ自分なら、zsh使うくらいなら perlとかで、置き換えながらぐるぐる再帰使って回すかなぁ。 930 名前：名無しさん＠お腹いっぱい。 mailto:sageまあたしかに勘弁して欲しいが [2005/09/03(土) 01:19:04 ] >>928 「てんさく」って読むんだYO! 931 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/09/03(土) 01:24:12 ] >>929 アーナルほどsedで開始と終わりの番号を別のフィールドにわけないでzshの{..}の形にすればいいのか。。。 坂本文のたのしいUNIXで勉強したてなんでsedとawkくらいしか知らないのでできればperlで 書いていただけませんか？ 932 名前：名無しさん＠お腹いっぱい。 [2005/09/03(土) 02:07:02 ] www.zentastic.com/videos/bmevideo-3.wmv www.zentastic.com/videos/bmevideo-4.wmv 933 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/09/03(土) 04:01:09 ] wgetなりってことなので curl 使ってもいいんですよね 934 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/09/06(火) 18:40:22 ] >931 雑だけど。 #!/usr/bin/perl -n sub ren { 　$_ = shift; 　if (/¥[(¥d+)-(¥d+)¥]/) { 　　my ($a,$b,$fst) = ($`,$',$1); 　　foreach $i ($fst..$2) { 　　　ren($a . sprintf("%0*d",length($fst),$i) . $b); 　　} 　} else { 　　print; 　} } ren($_); 935 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/09/06(火) 19:31:13 ] Perlの場合、マジックインクリメントに頼れば #!/usr/bin/perl -n if (/^(.*)\[(\d+)-(\d+)\](.*)$/) { for ($2..$3) { print "$1$_$4\n"; } } else { print; } でいい気がするけど 936 名前：934 mailto:sage [2005/09/06(火) 19:48:05 ] ついでにbash shopt -s extglob function ren { case $1 in *¥[+([0-9])-+([0-9])¥]*) set -- $( echo "$1" | sed 's/¥[¥([0-9]*¥)-¥([0-9]*¥)¥]/ ¥1 ¥2 /' ) for i in $( jot -w"%0$(echo -n $2|wc -c|tr -d ' ')d" - $2 $3 1 ) do ren $1$i$4 done ;; *) echo $1 ;; esac } while read s do ren $s done >935 Perlまかせにすると、[00-10]とかができなかった。 937 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/09/06(火) 19:58:54 ] >>936 ちょっと試した感じだと、00みたいに偽値と判断されるやつがダメみたいね。 01-10とかだとオッケーなんだけど。 938 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/09/14(水) 19:01:44 ] 連番のH画像を諦める勇気ってのも僕には必要なんだ。 エロ画像 　いくら取っても 　　　　　無くならず 　　取るだけ取って 　　　　それでおしまい お世話になりました。 939 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/09/14(水) 20:28:42 ] 今度は、ため込んだ画像を削除する勇気だな。 940 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/09/14(水) 22:08:56 ] 画像から動画へステップアップする勇気も必要だ。 941 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/09/15(木) 09:12:22 ] 取り敢えず200MくらいのHDDを6個くらい買ってくる勇気 942 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/09/15(木) 16:43:35 ] 200Gの間違いじゃないのか 943 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/09/15(木) 19:47:59 ] 200Gを6個買うのよりも200Mを6個買う方が勇気いると思う。 944 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/09/19(月) 17:01:24 ] ﾜﾛﾀ 945 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/09/22(木) 10:04:37 ] 動画話に進出したついでに。 小さいスクリーンショットを一枚にまとめるのに 良いツールって何かありませんか? 散々既出の連番ゲットしたあとにちまちま convert +append convert -append ってやってまつ。 こういうのってどうやってるんだろ: ttp://www.aventertainments.com/jp/Product_lists.aspx?product_id=9200 946 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/09/22(木) 19:15:37 ] 使ったこと無いけど、montageはどうかな？ImageMagic系。 www.cit.gu.edu.au/~anthony/graphics/imagick6/montage/ 947 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/10/15(土) 14:53:52 ] アルテミスでGNU使ったら、串刺してたのに生IPごと弾かれたorz 948 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/10/15(土) 15:10:03 ] ↑今年最初に見た馬鹿 949 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/10/15(土) 16:36:25 ] www.arutemisu.com/2005/photograph%20list%20top.html 950 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/04(金) 18:45:08 ] このスレのまとめサイト作っていいですか？ 951 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/04(金) 19:25:36 ] よろしく 952 名前：950 mailto:sage [2005/11/05(土) 18:30:02 ] >>950 テキトーにつくってみました。 seizen.dyndns.org:8080/matome/ ちなみにおいらはperl+sh派です。 953 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/06(日) 00:52:21 ] だよもん.. 954 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/06(日) 02:08:37 ] このスレで tp://www.464.jp の連番ダウンロードできた人いる？ 955 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/06(日) 08:03:56 ] >954 さっき試してみたけどできたよ しかしこれ画質悪いな 956 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/13(日) 15:05:31 ] 今このスレのノウハウを生かしてVOAのスクリプトとmp3をダウンロード中…。 957 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/14(月) 19:37:17 ] voaって何かね 958 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/14(月) 21:21:25 ] Vagina or Anus 959 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/16(水) 22:48:44 ] >>957 Voice of America です。英語のニュース・サイトの過去ログがターゲットです。 mp3とスクリプトが揃っているので、これをローカル教材として加工しようと思いました。 で、一応落とせたんですが…… www.voanews.com/specialenglish/2005-11-15-voa3.cfm こんな吐き気がするHTMLをどう加工しろと……orz 960 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/18(金) 19:49:09 ] edなり perlなりで、ばっと<span class="articleheadline"〜</P></span>あたり抜き出して、html2txtみたいな処理かけて、余計なの削るとか。 そういうことではない？ 961 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/18(金) 22:10:42 ] >>960 perl で $html =~ s!!!sig; を何度も繰り返すスクリプト書いて、なんとか読めるHTMLに加工しました。 今は mp3 を wget してます。 このサイト、mp3 は mp3 で命名規則皆無という腐りっぷりです。うへぇ。 ところで質問です。 ちょっと確認してみたところ GNU Wget 1.10.1 のデフォルトのリクエストは GET /index.htm HTTP/1.0 User-Agent: Wget/1.10.1 Accept: */* Host: localhost Connection: Keep-Alive という内容でした。で、プロトコルを HTTP/1.1 に切り替えるか、 または強制的に HTTP/1.1 と申請してリクエストすることはできますか？ 962 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/18(金) 23:45:53 ] curl使ってみるとか 963 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/19(土) 05:30:52 ] >>961 どーせPerl使うんならHTML::TokeParserとかその辺のライブラリ使えばいいのに。 高速ではないけどそれなりに便利だよ。 964 名前：名無しさん＠お腹いっぱい。 [2005/11/28(月) 22:50:25 ] 次スレどうしますか？ 965 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/29(火) 09:40:42 ] 次 　ス 　　レ 　　　頼 　　　　ま 　　　　　な 　　　　　　い 966 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/29(火) 16:31:03 ] 頼みcom 967 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/29(火) 18:27:16 ] >>977までは粘れると思われ。 968 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/29(火) 22:52:17 ] >>980が立ててくれるってさ 969 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/30(水) 15:53:56 ] >>980 今度のスレタイは↓こうしてくれ 「連番のＨ画像/動画を一気にダウンロードする」 970 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/30(水) 17:39:06 ] これは言わない約束なのかもしれんが 「H」は外さないうわなにするやめろqあwせdrftgyふじこlp:[ 971 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/30(水) 18:26:42 ] じゃあ 連番のURIから一気にダウンロードする /2 でよろしかったでしょうか？ 972 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/01(木) 21:44:37 ] てか連番ている？ 973 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/01(木) 21:50:49 ] ネタ出つくしたみたいだし、 次スレなしでもいいかと。 974 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/03(土) 16:03:25 ] 最近動画落とすのにパスワードが必要だったりするので 自動化は無理そうだと思ったり思わなかったり 975 名前：名無しさん＠お腹いっぱい。 [2005/12/07(水) 08:43:36 ] >>955詳　し　く 976 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/13(火) 14:55:32 ] 次スレ pc8.2ch.net/test/read.cgi/unix/1063129265/ 977 名前：FM [2005/12/18(日) 21:28:53 ] >>975 opera使えば右クリックが効くからURLがわかりますよ。 それで、 464.jpってttp://comic110.464.jp/data/... 以降がwgetですんなりDLできないのですがなんでかわかりますか？ ttp://comic104....などは普通にできるけど、ドラゴンボールが取れない。 operaで直接url書けばみれるのですが,なんででしょうか? あれ、この板ってもう別にうつってる？ 978 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/19(月) 01:02:57 ] >>952 ここまでスレが進んでるのにまとめにcurlが載ってないのは信じられない 979 名前：名無しさん＠お腹いっぱい。 [2005/12/21(水) 03:21:09 ] >>977 レスありがとうございます 私はlunascapeというタブブラウザを使っていてそれで画像のurlを抜き取り 連続ダウンローダで連番のを落としてみたのですが見てみると画像情報がなくすべて見れないファイルでしたorz jpegファイルなのに見れないんですよね。。 ちなみに私が試したのはドラ●もんでttp://comic104でしたができませんでした。。 噂によるとダウンロードできないようにしてるサーバーとかあるようです.....(´･ω･｀) 980 名前：名無しさん＠お腹いっぱい。 [2005/12/21(水) 09:33:01 ] どざ氏ね 981 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/21(水) 15:31:35 ] >>979 やってみたけど、問題なくダインロード&表示できるよ。 >>979のスキルの問題 982 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/21(水) 15:52:11 ] ダインロードってなんかかっこええな 983 名前：名無しさん＠お腹いっぱい。 mailto:男塾 [2005/12/22(木) 01:54:40 ] スキルでなく、クンフーの問題 984 名前：名無しさん＠お腹いっぱい。 [2005/12/22(木) 03:59:39 ] >>981 ホントですか･･･(ﾟДﾟ)一体何が原因なんでしょうか････ 私もダウンロード自体はできてるのですがフォルダにダウンロードされた 画像ファイルを見てみると表示されませんorz ソフトやURLなどいろいろ確認しましたが。。orz 　今は結局freemacroでダウソしてるんですが時間かかりまくりんぐ･･･orz 985 名前：名無しさん＠お腹いっぱい。 [2005/12/24(土) 10:06:45 ] >>984 ヒント：連番ダウンローダはrefereを使ってくれない。 986 名前：nyanko mailto:sage [2005/12/24(土) 12:10:46 ] >>985 wget でも普通に指定できるYO! 987 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/24(土) 15:55:24 ] >>986 TU○ にもしかしている方？ >>984 なんか、ほんとにクンフーたりないねきみ。。。 988 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/24(土) 16:45:08 ] ここがunix板だと気づいていないんじゃないのか。 989 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/24(土) 17:20:08 ] 来年の１月１０日で５周年だな 990 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/24(土) 19:12:34 ] 今まで誰も出していないが，emacs 上でウェブブラウザ(w3m とか)を走らせて， 画像をダウソロードする手順をキーボードマクロで登録しておけば， 特に何も考えなくてもほとんどのサイトでダウソロードできます． 991 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/25(日) 03:14:29 ] >>990 具体的に書かないのは宗教上の問題かなんか？ 992 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/25(日) 07:30:18 ] キーボードマクロの手順を具体的に書くの?w 993 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/25(日) 13:32:48 ] インタラクティブってアホじゃありません？ 994 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/26(月) 03:13:07 ] おい、次スレが立ってるぞ pc8.2ch.net/test/read.cgi/unix/1135533382/ 995 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/26(月) 10:26:56 ] (ﾟдﾟ)ｳﾒｰ 996 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/26(月) 10:28:39 ] (ﾟдﾟ)ｳﾒｰ 997 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/26(月) 10:30:27 ] (ﾟдﾟ)ｳﾒｰ 998 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/26(月) 11:00:26 ] まんこ 999 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/26(月) 11:01:29 ] (ﾟдﾟ)ｳﾒｰ 1000 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/26(月) 11:02:34 ] (ﾟдﾟ)ｳﾒｰ 1001 名前：１００１ [Over 1000 Thread] このスレッドは１０００を超えました。 もう書けないので、新しいスレッドを立ててくださいです。。。

---

---

[ 新着レスの取得/表示 (agate) ] / [ 携帯版 ]

read.cgi ver5.27 [feat.BBS2 +1.6] / e.0.2 (02/09/03) / eucaly.net products.
担当:undef