連番のＨ画像/動画を一気にダウンロードする2

1 名前：前スレ1 [2005/12/26(月) 02:56:22 ] 前スレ5年間のご愛顧ありがとうございました。PGFは無事コンプしましたが、これからも皆様の日々 実践されているノウハウを教えていただきたく再度、スレを立てさせてもらいました。 前スレ 連番のH画像を一気にダウンロードする pc8.2ch.net/test/read.cgi/unix/979106537/ 174 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/10/04(日) 23:34:23 ] つーるのつかいかたがわかんないです＞＜ 175 名前：名無しさん＠お腹いっぱい。 [2009/10/09(金) 19:12:20 ] >>174 readme.txt 嫁 176 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/10/09(金) 20:50:01 ] >>166 ありがたいです しかし、１００枚超えると普通にはじかれますね・・・ 串どうやって刺そうかな 177 名前：名無しさん＠お腹いっぱい。 [2009/10/09(金) 22:49:02 ] 携帯専用ですが 無料のおかず画像サイト集めてみました s12.smhp%2ejp/abc1103 178 名前：157 mailto:sage [2009/10/10(土) 17:32:40 ] >>176 待つ時間を長くすればするほど 単位時間のダウンロードの大きさが減るので、 730行目あたりの関数 waitp を sub waitp { # wait process and random sleep. # process sleeps while ??? seconds, not "msec". # # if you want to use "msec" unit, use "select". # same effect of 'sleep' while 250 msec is, # "select(undef, undef, undef, 0.25) ;". # but, can't use progress bar. my $base = 10000 ; # random sleep from 1 sec to $base/1000 sec. my $t = int ( rand ($base) / 1000 ) ; progbar (++$t) ; return 1 ; } などと書き換えてみてください。 帯域制限がかかりにくくなります。 179 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/10/12(月) 10:05:00 ] >>178 やるじゃん 180 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/10/13(火) 02:45:36 ] >>178 thx！ ここへは検索でたどり着いた他所者で申し訳ないが助かるわ 昔入社直後にならったプロンプト程度の知識でもいけるもんだな・・・使う分には 181 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/10/13(火) 05:57:36 ] g.e-hentai.orgのスクリプトの使い方がよくわからなくて困っています 付属のReadmeを読んでみて自分なりに試してみたのですがうまくいかず 本体を起動すると黒い窓と文字が一瞬表示されるのですが すぐに消えてしまうためなんとかプリントスクリーンで撮影して そこに書いてあったリストの作成などもしてみたのですけどダメでしたorz プログラムなどの知識皆無なのでそもそも場違いとも思うのですが、 どなたか教えていただけないでしょうか？ 182 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/10/13(火) 06:47:37 ] >>181 g.e-hentai.orgからアクセス制限がかかってる現在の状況下で さらに自分で調べもしない人間達にでも使えるように説明しろと？ 正気ですか？ お前の目の前にある箱はなんだよ？飾りか？ >自分なりに試してみたのですが もっとやれ もっともっとやれ 救いな事に>>157氏のファイルはインチキじゃない 自分で勉強すれば必ず結果が伴う 183 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/10/14(水) 12:55:49 ] 黒い窓とか釣りだろ。 >>181 Linux勉強してLinuxで実行するといいよ 184 名前：名無しさん＠お腹いっぱい。 [2009/10/20(火) 09:36:45 ] e-hentaiの制限が2日ほど続いているのですが、 皆さんはどれくらいの期間、制限かかってます？ 初めのころは１・２時間程度だったのになあ。 185 名前：名無しさん＠お腹いっぱい。 [2009/10/21(水) 21:16:44 ] blogwatcher.pi.titech.ac.jp/nandemorss/index.cgi?url=http%3A%2F%2Fpc12.2ch.net%2Ftest%2Fread.cgi%2Funix%2F1135533382%2F 186 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/10/23(金) 04:59:37 ] >>157氏のe-hentaiのダウンロードスクリプトに串を噛ませようと思ってるんだけど 串の設定項目が無いのでDL専用の仮想マシンを作ってシステム全体に串を噛まそうと思う yumとかで実践されてるこの方法が一番かな blog.livedoor.jp/glantank/archives/50952655.html 187 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/10/23(金) 05:29:17 ] と思ったらTor串焼かれまくってて笑った これだけ神経質だとISPごとアク禁とか何のためらいもなくやりそうで怖いなw 188 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/11/16(月) 09:44:27 ] ちくしょーーーー！実行してもスクリプト弾かれちまう…なんとかならないかなぁ 189 名前：名無しさん＠お腹いっぱい。 [2009/11/17(火) 02:10:06 ] He_252405.zip ぱす chinko E-Hentaiからダウンするなら最近これ使ってるけどな。 転送制限もなぜかかかりにくい。600枚位連続で落としたが、まだいけそうだ。 どやって回避してんのかな。 Win用だからスレチかもしれんが。 190 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/11/17(火) 21:28:52 ] 帯域制限かかってからはや3日が過ぎた いつ解除されんのかな 191 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/11/17(火) 22:46:25 ] >>189 ちょっと、試してみた。 結局おれんトコでは、150枚くらいで転送制限になった。 転送制限中ですよ画像も、ダウンロードしちゃうよ。w >>190 もう、そろそろじゃない？ 五日くらい制限喰らった時も有ったような。 192 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/11/18(水) 01:16:26 ] 509 bandwidth exceeded you have temporarily reached the limit for how many images you can browse -if you haven't already, you can double your daily quota simply by signing up for an absolutely free forums account at, forums.e-hetai.org/ - you can run the hentai@home distributed image server to help us serve more images. this will give you points which can be used to increase your page view limit, and cache files locally so they are ready when you wish to view them. (check the news dorum for moredetails and signup information) please understand that e-hentai galleries is a free service, and to keep it free we must limit the amount of images anyone person can view. if you come back in a few hours, you will be able to download more. 暇だから写した 157氏のスクリプト試したら4枚で… 閲覧や手作業での保存も出来ず悶悶 解除されたらチンコの試そう >>191 そんなにかかるのか 確認に行って509返されて期間延長とかないよな 193 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/11/18(水) 01:56:14 ] >>189 再うｐｷﾎﾞﾝﾇ 194 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/11/19(木) 02:05:56 ] >>192だけどいつの間にか制限解除きてた 195 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/11/30(月) 23:57:45 ] >>189 はどんなツールだったの？ 196 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/01(火) 21:27:46 ] >>195 画像ダウンロードアプリですよ。 ダウンする時に、サムネイルプレビューが見えるのが親切設計。 転送制限回避は、どうも環境によるとしか胃炎。つーか、分からん 197 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/02(水) 01:30:52 ] うｐしてちょ… 198 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/03(木) 14:41:23 ] tumblrのRSSフィードから画像をダウンロードするスクリプトとか 誰か作ってませんか？ 199 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/03(木) 16:08:22 ] 157氏のスクリプト、この前までは順調に使えてたが、 今日また使おうとしたら、 Invalid argument at get.pl line 438. って吐き出して止まってしまう・・ 200 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/04(金) 03:35:56 ] >>171はURLチェックの部分にwwwを加えないと初っ端で失敗 作成したときはwwwがなかったのかな それと、それでも the list file name is www.imagefap.com/gallery/*******.list. the directory name will be www.imagefap.com/gallery/*******. www.imagefap.com/gallery/******** does not exist. Invalid argument at C:\Documents and Settings\-----\fap.pl line 239. make a directory: ってエラー出て止まるんだけどどうすればいいべさ 201 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/06(日) 07:39:36 ] e-hentaiのちょっと古めのCGが見れないぜー 202 名前：157 mailto:sage [2009/12/06(日) 20:01:16 ] >>200 239行目でもwww無しでURLチェックしてるので そこにもwwwを加えてください 作成した時は多分wwwが無かったのだと思います >>201 原因不明です URLお願いします 203 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/06(日) 21:34:25 ] 201じゃないけどなぜか見れないのがあるぜ 数日前は大丈夫だったはずなのに・・・ g.e-hentai.org/g/181326/7405b90607/ 204 名前：200 mailto:sage [2009/12/06(日) 22:50:08 ] エディタによって行数が変わってしまって239行目がどこか分からず 秀丸使ってるんだけど239行目はmakedir中のprint〜でURLチェックとは無関係だす とりあえず数箇所URLでimagefap.comがあるところの前（cache.imagefap/com除く） にwww.をつけたらエラーなしで動いたけど今度は指定URLとは関係ないギャラリーの画像を取得した 保存されたフォルダは指定URLと同じ番号なのに中身が別物、別のギャラリーとか思って調べてみたけど 同じファイル数のギャラリーが存在してなかった、なんぞこれ 205 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/06(日) 23:36:02 ] e-hentaiの件 見れるのと見れない画像の差を理解した。 ヒントはおまいらの好きなタグだｗ そのタグに入ってたのは一切見れなくなってて やっぱりなーと思った。 206 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/07(月) 02:17:49 ] P2Pが仕様できないわが身としてはe-hentaiが頼りの綱だったのだが 困ってしまうなぁ 207 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/07(月) 19:24:25 ] 何個か上げりゃポイントでDL出来るんだからそれで妥協すりゃいいじゃん 208 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/07(月) 20:16:39 ] どのくらいのポイントでどのくらいダウソできるの？ 209 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/08(火) 01:04:08 ] 必要なポイントはファイルサイズとファイル数によるし、 もらえるポイントは他人の閲覧数とDL数で決まるからサムネイルで食いつきそうなの上げればいい 長くお世話になる気ならいつ使えなくなるか分からん上に更新も期待出来ないツールより、 いくつか定期的に提供して数クリックで快適にDL出来る方が俺にとっては便利だからそうしてる 210 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/08(火) 15:30:16 ] ロリ系が全く開かんなっとる…(´・ω・`) 211 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/08(火) 23:29:14 ] 復帰しないのかねえ 212 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/10(木) 17:56:06 ] 規制が反発をより強くするだけだと なぜ分からないのか･･･愚か過ぎる 213 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/10(木) 21:30:24 ] 趣味でやってるようなもんに何言ってるんだ 向こうはいつでも閉鎖できるんだし 214 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/10(木) 21:41:52 ] 上の神スクリプトでさ、 例えば100枚落として弾かれたら、次は101枚目からDL開始するとかは出来ないんでしょうか。 215 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/11(金) 05:49:50 ] e-HENTAIの制限は、要は短期間に複数の画像ファイルにアクセスするのを制限してるんですよね？ だったらスクリプトが一枚画像にアクセスしたらインターバルを置いて（手作業で開いて保存するくらいの時間？）、 次のファイルにアクセスするようにすれば良いんじゃないでしょうか？ 時間はかかるかもしれませんが、一枚一枚手作業で保存する手間を考えれば妥協できると思うんですが… 216 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/11(金) 06:53:55 ] >>215 >>178で既出の話題だな とはいえそのインターバルがどれほどなのかは興味があるな 217 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/12(土) 01:18:04 ] 同じものを同じ条件でダウソしてもダウソ可能数が変動するから インターバルとかダウンロード容量以外の影響も受けてると思う そうなると全く分からん そもそも各IPで制限してるのかすら分からないんだよ 串かましてダウソできてもダウソ可能数がまた違う 218 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/12(土) 18:14:10 ] へたれプログラマの俺でも永久動作のEHGダウソソフト作れたよ 既に公開されている素晴らしいツールらを組み合わせて何とかなった ヒマがあったら作ってみたりゃ良い 219 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/13(日) 12:33:46 ] 永久動作のヒントだけでも教えてくだされ神さまよ 220 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/14(月) 21:54:13 ] avtokeiのプロフを落とすために24時間のスクリプト仕掛けた。 画像は一気に落とせたんだがなあ。 221 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/16(水) 00:36:08 ] E-hentai以外で似たようなサイトはないものかね 222 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/16(水) 02:05:03 ] まぁいろんなところからかき集めれば同じなんだけどね 223 名前：名無しさん＠お腹いっぱい。 [2009/12/16(水) 20:31:50 ] 規制無くならないのかねぇ･･･ サムネでロリっぽい画像使ってるやつも入れなくなってるみたいだし 224 名前：名無しさん＠お腹いっぱい。 [2009/12/19(土) 02:10:14 ] 509 BANDWIDTH　が　出ちまった・・・ 1枚1枚ダウソしてたが　150枚くらいで。どうにかならないか…泣 225 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/29(火) 02:15:45 ] E-hentaiに10個ほどうｐして、 最初の数日はどんどんポイントが溜まっていった。 しかしこの頃は一日に100P入るかどうか、 日がたつにつれてgalleryごとにもらえる ポイントのレートが下がってるのかな 226 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/31(木) 14:31:42 ] E-hentaiの画像をまとめて保存出来るツール教えてください 227 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/31(木) 14:43:51 ] 半年ROMれ 228 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/31(木) 17:11:06 ] rapidshare のものを(スピードは遅くてもいいので) batch 処理で落とすためのスクリプトってないのかな? 最初の URL を wget でもってきて html を覗いて <form action="... " method="post"> がそれっぽいんだけど それを直接 wget しても×なんだよね… 229 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/31(木) 19:35:56 ] IP代わんないと連続では無理 230 名前：名無しさん＠お腹いっぱい。 mailto:sage [2009/12/31(木) 23:29:48 ] freerapidがjavaで出来てるからひょっとしたら動くのかも 231 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/01/07(木) 11:31:14 ] e-hentaiって解除確認に行って509だったら期間延長とかされんのかな。 232 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/01/08(金) 04:03:40 ] それは関係なし 233 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/01/08(金) 16:28:13 ] >>189 再うｐお願いします。 234 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/01/11(月) 04:18:01 ] e-hentaiブラウザが縦に長くなってどれも見れなくなっちゃった これが規制なのかな 235 名前：名無しさん＠お腹いっぱい。 [2010/01/13(水) 23:24:43 ] どーなってんだろうね。 サムネまでは見れるが、そこから画像にアクセスしている気配すらない。 原因はなんなんでしょ。 236 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/01/14(木) 15:03:58 ] e-hentaiはUpしてもいちいち既出だ既出だと騒いでくるから鬱陶しい 237 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/01/14(木) 15:30:19 ] e-hentaiはダウソする場所ではなく、どういうものがあるのか確認する場所だと思ってる 必要ないもの集めても仕方ないし、特定のものだけでも手間かかりすぎる 238 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/01/14(木) 18:36:03 ] rapidshare 1. 最初のページ内の action="hogehoge" から "hogehoge" を抽出 2. 次のターゲット % wget --post-data="dl.start=Free" hogehoge 3. 100秒とか待つ(カウントダウンタイマー分) 4. (2. から最終ターゲットを抽出して)wget 1.〜4. を 30分間隔(容量次第?)とかでぐるぐる 239 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/01/14(木) 18:41:46 ] perl WWW::Mechanize の練習にちょうどいいかもしれないな 240 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/01/16(土) 15:10:54 ] e-hentai用のスクリプトを書いたけど リファラ,user-agentとクッキーを設定してやったら スレッドは1つだけど退避時間もなしで、 509でなくなったよ。 241 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/01/16(土) 16:19:36 ] あまりえげつないことやると向こうも対策してくるからほどほどにするようにw 242 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/01/16(土) 21:45:19 ] *.listファイルを作ります。 ↑ これの作り方わかんないだけど、どうやんの？ 243 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/01/16(土) 22:25:27 ] >>242 うｐされてから半年間はそんな質問はなかったな 他と比較して自分の理解力を身をもって知るべきだ 短く言えば "アホは来るな" 244 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/01/18(月) 09:27:43 ] >>189のツール使ってるんだけど、急に弾かれるようになっちゃった… Your IP address is not allowed to access that Your IP address has been temporarily banned for using automated mirroring/harvesting software and/or failing to heed the overload warning. The ban expires in 56 minutes 23 seconds だって… WIN向けだからここで聞くのも間違っている気もするんだけど、何か対策されたのかな？ 245 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/01/18(月) 14:42:55 ] 元々運が良かっただけとか てか再うｐきぼんぬ 246 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/01/18(月) 17:25:43 ] >>244 俺も弾かれるようになった おそらく対策されたんだろう いままで対策されなかったのが不思議だったし 247 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/01/18(月) 19:17:53 ] やはり対策されたのか… もともと発祥のちんこロダもなくなっちゃったし、ばーうｐの方法もないし、対応難しいかなぁ 248 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/01/19(火) 19:01:43 ] >>245 なんとも図々しい。 頼み方も知らないのか。 249 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/01/21(木) 03:38:16 ] e-hentaiって有料なの？ あれだけのデータをただで見れるとか怖くなっちゃうんだけど 250 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/01/21(木) 11:43:11 ] 197 名前：名無しさん＠ピンキー[] 投稿日：2009/12/28(月) 17:04:38 ID:a4+zYW5n0 E-Hentaiって、有料なんですか？ freeとあるから無料なのですか？ 251 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/01/26(火) 22:07:41 ] >>189 再うｐおねがします 本当頼みます 252 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/01/27(水) 14:39:42 ] >>251 244 ：名無しさん＠お腹いっぱい。：2010/01/18(月) 09:27:43 >>189のツール使ってるんだけど、急に弾かれるようになっちゃった… Your IP address is not allowed to access that Your IP address has been temporarily banned for using automated mirroring/harvesting software and/or failing to heed the overload warning. The ban expires in 56 minutes 23 seconds だって… WIN向けだからここで聞くのも間違っている気もするんだけど、何か対策されたのかな？ 246 ：名無しさん＠お腹いっぱい。：2010/01/18(月) 17:25:43 >>244 俺も弾かれるようになった おそらく対策されたんだろう いままで対策されなかったのが不思議だったし 前レス読んだ？急に真剣になってバカじゃないの？？ 253 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/01/27(水) 22:39:27 ] 別人に何を言ってるんだ 254 名前：名無しさん＠お腹いっぱい。 [2010/02/02(火) 00:50:57 ] 誰かこれ頼む。もう3日なやんどる jappygal.blogspot.com/2010/01/dgcyuki-mogami-no811-201002.html 255 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/02(火) 13:00:37 ] cookieとjsでガチガチになってるわけでもなし。簡単じゃないか URL=jappygal.blogspot.com/2010/01/dgcyuki-mogami-no811-201002.html wget -O- "$URL" | grep -o "[^\"']*.jpg" | sed -ne "/s1600-h/s/s1600-h/s1600/p" >LIST wget -i LIST 256 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/02(火) 14:02:53 ] 2スレ目でそろそろ「基本テク」をおさらい・まとめて おかないといけないんじゃないかな… ページソースや直URL確認 wget --referer オプションやら -r -l などなど zsh の連番技法 {001..052}.jpg とか >255 html 解析から a href= 抽出するのは grep -o が使えたのか 257 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/02(火) 14:14:57 ] 前スレを見てみたい 方法の改良論とかもありそうだし 258 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/02(火) 14:26:46 ] 2se.dyndns.org/test/readc.cgi/pc8.2ch.net_unix_979106537/ 259 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/02(火) 17:20:47 ] 前スレみたらこんなのがあった ＵＲＬにはつながらず…… 952 ：950：2005/11/05(土) 18:30:02 >>950 テキトーにつくってみました。 seizen.dyndns.org:8080/matome/ ちなみにおいらはperl+sh派です。 260 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/07(日) 06:27:04 ] 先ほど509になってびっくりしてググったらここに来ました 何だか知らないけどよろしくお願いします とりあえずスレ見たらアク禁解けるまで待てと書いてあるので待ってみます 261 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/07(日) 10:57:35 ] そういや157のツールでe-hentaiの古い画像が見れないのってどうなった？ 262 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/08(月) 20:25:53 ] e-hentaiの画像を簡単に多く取れるツール作って欲しい 263 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/12(金) 20:58:02 ] 作った… 264 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/13(土) 02:49:10 ] おめでとう。 265 名前：名無しさん＠お腹いっぱい。 [2010/02/14(日) 19:08:52 ] 欲しいと言われると腕がなるのでおいらも挑戦してみた。 千枚保存するのに20分掛かったが帯域制限には引っ掛からなかったよ。 これが >>262 の想いに届いたなら幸せだ。 www1.axfc.net/uploader/File/so/38900 スクリプト起動したら"URL>"のプロンプトにギャラリートップのURLを入力してくれ。 複数のURLをテキストファイルに書いてリダイレクトで食わせてもOK。 後は放っておくだけでギャラリーIDのサブディレクトリを掘って画像を保存するよ。 266 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/14(日) 21:43:09 ] GPの増やしかた教えてくれ 267 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/15(月) 15:13:12 ] e-hentaiってgzip転送しているように見えるけど phpスプリクトは対応してますか？ 負荷掛けるのはいくない 268 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/15(月) 16:22:00 ] リファーとクッキー設定してないけど いいのだろうか 269 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/15(月) 17:10:20 ] リファラー？ 270 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/15(月) 17:31:45 ] サムネイルしか保存出来ないんだが対策されたのだろうか 271 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/15(月) 20:12:26 ] そもそもphpの開き方がわからない俺orz 272 名前：263 mailto:sage [2010/02/15(月) 21:12:03 ] クッキーないと画像は落ちないよ。 wget なら --keep-session-cookies 併用して表示ページを経由する。 オリジナルをダウンロードする場合はログインスクリプト書いて そのクッキー使う。DL数に厳しい上限あり。 ログインしておけば通常の画像も帯域が増えるよ。 273 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/15(月) 21:39:22 ] >>270 俺もサムネしか落ちないな 274 名前：名無しさん＠お腹いっぱい。 [2010/02/15(月) 22:01:39 ] >>262は「e-hentaiの画像を簡単に多く取れるツール作って欲しい」と言ってるんだから あながち嘘ではない。ソースあるんだから、なんとかしたい人ならこれをベースになんとかする。 275 名前：名無しさん＠お腹いっぱい。 [2010/02/15(月) 22:57:20 ] この過疎地で1日のレスがこんなに付くとは思わなんだ>>265だが 一週間の掲載期間は長かったかしら。 まぁ洒落なんだからそんなに突っ込まないでくれ。 こんなところでそのまんま自前のソース広げて使われ まくった挙句に変な対策でもされたら面倒だからね。 >>267 phpはgzip展開圧縮も普通に出来るよ。 276 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/18(木) 13:16:01 ] リファラーってどうやってせっていすんお？ $ua->agent("Mozilla/5.0 (Windows; U; Windows NT 6.0; rv:1.9.2) Gecko/20100115 Firefox/3.6 (.NET CLR 3.5.30729)"); $ua->proxy('http', '127.0.0.1:65536/'); 277 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/19(金) 02:08:37 ] get.plでダウンロードできなくなってるんだが… 対策されたか？ 278 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/19(金) 15:36:48 ] 確かにget.pl使ってもエラー吐かれるな 279 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/19(金) 16:21:20 ] どんなエラーでてんの？ こっちも対策するぞ 280 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/19(金) 17:21:23 ] こんなん ** make directory ** the list name is 0f9cd89d5b.list. the directory name is 0f9cd89d5b. 0f9cd89d5b does exist. doesn't make a directory. ** get 98 pics ** get pic's html file (1/98). get html : success. (200 OK), [dummy.html] get [0] ...: HTTP::Response=HASH(0x2fd6994)->status_line, [0] : failed to download pic. try a gain (5/5). wait/sleep 3 sec : [***] これを5回繰り返して止まる 281 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/19(金) 18:19:24 ] 対策っていうか, 多分画像が貼ってあるページの構造が変わって, scrapeimgname() と scrapeimgurl() がファイル名と url を 抽出できなくなっただけ. これらの関数は getpics() から呼び出され, 抽出できなかった場合に return 0 するが, getpics() 側で特にエラー処理 してないので, エラーにならず get [0] ... とかなって走りつづけてる (本当は 0 のとこに scrapeimgname() の戻り値であるファイル名が入る). モジュールに依存しないように html の parse を自前でやってるが,  俺は面倒なので, HTML::TreeBuilder::XPath 使って書き直した. あと HTTP::Response->status_line がメソッド呼び出しなのに  double quote で文字列展開しようとしてるので, status_line が 正しく表示できてないのもバグっぽい.  "@{[ $res->status_line ]}" とかしといた方がいい. 282 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/19(金) 18:51:06 ] bandwidthがperlだとブラウザより高いのけ？ QoSでperlへの帯域絞るしか無い？ 283 名前：名無しさん＠お腹いっぱい。 [2010/02/19(金) 22:35:10 ] img id.*でマッチングするようにscrapeimgnameとscrapeimgurlを書き換えたら動いたよ。 オリジナルは画像鯖のドメインでマッチングしてたんだけど、ドメインが変わったからマッチしなくなったんだね。 >>282 オリジナルだと4秒ぐらいで取りに行っちゃうから、間隔を10秒以上とるようにsleepを書き換えるとけっこう快適になるよ。 284 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/19(金) 23:06:49 ] >>283 サブルーチンを書き換えればいいのかな 285 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/19(金) 23:17:33 ] $t=（rnd（$base1000)）+10 とか？ 286 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/19(金) 23:19:13 ] >>284 そうそう。waitpとかいう名前だったはず。 287 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/19(金) 23:21:06 ] 私も、img idでマッチする様に書換えて、動きました。 書出すファイル名は、altタグから引っぱればいいかな。 288 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/19(金) 23:23:28 ] >>283 便乗して悪いけど img id.* ってのはscrape〜の if ( m|src="r.e-hentai.org/.*?"| ) の部分のことでいいのかしら 289 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/19(金) 23:25:00 ] $t=（rnd（$base1000)）+10 とか？ 290 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/19(金) 23:26:00 ] うあ base/1000の間違い すまぬ 291 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/20(土) 01:13:58 ] perlの記述がよく分からないんだけども 正規表現とかimgタグとかは他の言語とかと一緒なのかな 292 名前：157 mailto:sage [2010/02/20(土) 01:54:50 ] URLとイメージ名のスクレイパの正規表現の手直しと waitpの時間延長を施した新ヴァージョンができました www1.axfc.net/uploader/Sc/so/84683.zip&key=ehg 293 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/20(土) 11:01:04 ] 157さんサンクス！ ちゃんと動いてます。 294 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/20(土) 17:10:24 ] use LWP ; my $ua = LWP::UserAgent->new; $ua->agent("User-Agent: Mozilla/5.0 (Windows; U; Windows NT 6.0;rv:1.9.2) "); $ua->timeout(180); $ua->proxy('http', '127.0.0.1:80/'); 295 名前：157 mailto:sage [2010/02/20(土) 21:05:59 ] 上のバージョンで>>281氏のstatus_lineのデバッグ入れるの忘れてました すいません 296 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/21(日) 13:12:16 ] 今スクリプトのデバッグ中にふと思いついたしょーもない むしろ '常識知らねーな' と言われそうな変更を試してる。 これで4ページ/分のペースで14冊330ページ99MBまで落としたが 一向に帯域制限がやって来ない。昨夜は引っ掛かりまくりだったし 今まで3日の間を空けたってこんなこと無かったんだがな。 サーバのプログラムが変わったばかりらしいがバグを突けたのか？ それとも今日は感謝デーなのか？ 297 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/21(日) 13:21:48 ] >>296 変更前と後のスクリプトで試してみて 両方とも帯域制限が来ないなら 今日は感謝デー 後の変更済みスクリプトだけに帯域制限がこないなら その変更は大当たり 298 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/21(日) 13:35:43 ] >>297 おぉ、そりゃそうだ。舞い上がって変化点検証の基本を忘れてた。やってみる。 299 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/21(日) 14:56:32 ] すまん。サービス期間中だったようだ。 変更前のコードでも222ページ75MBまでスルスル落とせた後に 509 がやってきた。 その直後に変更後のコードを掛けてみたがやっぱり 509 だった。 多分週末メンテナンスで俺のカウンタがリセットしたとかなんだろうな。 クッキーなくなってるね。リダイレクトもなし。img id=xxx は相変わらず付いてるけど 肝心の id の値はHTML本文中に見つからない。 300 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/21(日) 16:34:57 ] 157さんのツールで、DLするページによってサムネイルページで400エラーを吐くのは何故でしょうか？ 301 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/02/21(日) 20:17:10 ] >>300 オレもそういうページあるけど多分複数ページじゃなくて単独ページの場所だと 動かないっぽい。 ベースページを解析するルーチンで1ページしかないページだと構文解析できずに 終わってるっぽいな。 直すのめんどいんで手作業でやってるけどね。 ついでだけど500枚くらいのやつだとエラー途中までしかDLしないのは仕様？

---

---

[ 新着レスの取得/表示 (agate) ] / [ 携帯版 ]

read.cgi ver5.27 [feat.BBS2 +1.6] / e.0.2 (02/09/03) / eucaly.net products.
担当:undef