連番のＨ画像/動画を一気にダウンロードする3

連番のＨ画像/動画を一気にダウンロードする3 at UNIX

[1からを表示]
50:名無しさん＠お腹いっぱい。
10/05/21 20:44:07
lofiからgの画像のURLわかるけど403返されるよね？
元画質で取る方法は無いんかなぁ

51:50
10/05/21 20:44:54
>画像のURL
Gellery not availableになってる画像ね

52:名無しさん＠お腹いっぱい。
10/05/21 22:42:34
元画像に一般ユーザーが簡単にアクセス出来る仕組みを残しておくなんて思えない。
普通、管理者権限でログインしてアレコレする様になってんじゃね。
たとえば、なんらかの抜け穴が残っていたら、すぐに塞ぐだろうし。
画像が見られるだけでもいいじゃないか。

53:名無しさん＠お腹いっぱい。
10/05/21 23:13:08
>>50
一旦gの方のソースとれば確実。
強制転送ページが来たらlofiに戻ればおｋ。

細かく言うと
lofiの方がgより先にアップされるから、基本lofiに対してアクセスする。
①lofiの１ページ目のアドレスを取得して、サーバー名だけgに変更してgのページソースを取る。
②強制転送ページが来たらlofiのソースページを取得して、/1/のサイズを/3/に変更して画像取得。
③lofiは目次ページが無いことがあるから、１ページ目のリンクから入って
次ページのリンクが現在のページのアドレスと同じ物になるまで拾う。
①→②→③ or ①→③を終わるまで続ける。

※gの方のソースページの画像アドレスの抽出方法は>>13の真ん中３行のような感じで取ってる。
※弱点：時々画像のないNotFoundのページ(レスポンスコードが404ではない)が現れる。
目次方式ではないため、これがくると途中で取得をやめてしまう。（親切な人が再うｐしてくれるけど）

54:50
10/05/22 02:22:15
>>53
Gellery not availableになってる場合gの方のソースは存在しない
（Gellery not available共通ページのgzipが落ちてくる）
のでlofiから強引に画像のURLを推察する方法を探している

画像のリダイレクト前URLはこんな感じ
lofi: URLﾘﾝｸ(gu.e-hentai.org)ハッシュ1]-[ID1]-[画像の幅]-[高さ]-jpg/[ID2]-[ハッシュ2]/1/[ファイル名]
g: URLﾘﾝｸ(g.e-hentai.org)ハッシュ1]-[ID1]-[画像の幅]-[高さ]-jpg/[ID2]-[ハッシュ2]/[ギャラリーのID]-[何枚目の画像か]/[ファイル名]

ハッシュ2以外は全てどちらも共通しているのでハッシュ2だけわかれば
lofiに残ってる画像からgの画像のリダイレクト前アドレスを生成して直接叩ける

手元に試行した痕跡が残ってないので確証はできないがlofiの画像鯖がguになる前はハッシュ2も共通していたはず
それで403が出たので元画像を取る方法は無いのかなと

55:名無しさん＠お腹いっぱい。
10/05/22 14:38:02
どうでもいいから修正版貼りたまえよ

56:名無しさん＠お腹いっぱい。
10/05/22 16:47:10
何の修正版だ

57:名無しさん＠お腹いっぱい。
10/05/22 16:57:06
>>48からのレスがみえねーのかよ

58:名無しさん＠お腹いっぱい。
10/05/22 17:00:48
>>57
正確には>>44だな

59:名無しさん＠お腹いっぱい。
10/05/22 17:40:00
本家みたいに解凍してgrepして画像のURL叩くだけでしょ

60:名無しさん＠お腹いっぱい。
10/05/22 17:58:49
>>55
おまえみたいのがいるから（ｒｙ

61:名無しさん＠お腹いっぱい。
10/05/22 22:40:44
lofiになんか仕様変更か規制でもはいったの？
携帯で見ようとしたら画像に繋がらないんだけど

携帯じゃもう閲覧できないのかスペシャリストの方教えて下さい

62:名無しさん＠お腹いっぱい。
10/05/23 00:06:04
HTTPリクエストヘッダーのHostフィールドを
Host: lofi.e-hentai.org\r\n
にすればおｋ。そういうことじゃなくって？

63:名無しさん＠お腹いっぱい。
10/05/23 20:05:59
>>61 うむ、報告ご苦労。また監視の作業に戻ってくれたまへ。
次に繋がらない場合はビジネスとして放棄されたと判断して欲しい。

64:名無しさん＠お腹いっぱい。
10/05/24 17:00:59
503

65:名無しさん＠お腹いっぱい。
10/05/24 17:24:46
>>54
SHA-1のハッシュ値だから、元がわからないと無理。
ハッシュ1は画像ファイルのハッシュ値だけど、ハッシュ2は不明。
多分、ハッシュ2もファイル情報（＋α？）を使ってる。

ファイル情報からURLを生成する仕組みなら、
ダウンロードする前にURLを推測するのはほぼ不可能になる。

まあ、自分ならそんな風に作る（作った）と言うだけで本当のところは知らない。

66:名無しさん＠お腹いっぱい。
10/06/03 19:21:29
ところで.plはどこをどの様に直せば良いのですか？

67:名無しさん＠お腹いっぱい。
10/06/03 21:33:59
怒涛の大量アップが来たからそのことかと思った・・・最大スレッド数設けないと

68:名無しさん＠お腹いっぱい。
10/06/03 21:59:46
画像サーバー死んでるだけだった

69:名無しさん＠お腹いっぱい。
10/06/06 02:50:08
e-hentai.orgでautopagerが上手く動かないな・・・
kaonもhomerも駄目だ

70:名無しさん＠お腹いっぱい。
10/06/06 21:54:18
>>26 guro
も入ってますがね…
そうそうE-Hentai Galleriesについて…
Yahoo!知恵袋にて質問があったから参考になりそうな回答しておきました。
"E-Hentai Galleries"っと調べれば見つかると思います。

71:名無しさん＠お腹いっぱい。
10/06/06 22:02:55
秘中の秘とか笑えること書いてんな

72:名無しさん＠お腹いっぱい。
10/06/06 23:14:25
秘中の秘(笑)
exの事だったら今更すぎて笑える

73:名無しさん＠お腹いっぱい。
10/06/07 05:39:17
まぁ向こうに送られるとVisitsとか途端に伸びなくなるから知らない人というかアカウントすら取ってない人が多いんだろうとは思う

74:名無しさん＠お腹いっぱい。
10/06/07 12:40:36
その都度対応版の供給があればおｋ

75:名無しさん＠お腹いっぱい。
10/06/08 01:37:14
アクセス元隠すことしか考えてなくて入会とか一切念頭になかった
メリットあるなら考えるか

76:名無しさん＠お腹いっぱい。
10/06/10 17:33:33
loliconタグついてるのlofiでも見られなくなったな

77:名無しさん＠お腹いっぱい。
10/06/10 20:11:27
普通に見れるよ

78:名無しさん＠お腹いっぱい。
10/06/12 11:06:09
「普通に」ではないけどexのcookie送ったら見れるんだ。知らんかったわ。

79:名無しさん＠お腹いっぱい。
10/06/13 03:03:38
exってどこでしょうか
過去ログと検索をしましたが分からなくて…
教えていただけないでしょうか

80:名無しさん＠お腹いっぱい。
10/06/13 08:26:55
>>79
嘘付け、前スレにでてるぜ。

81:名無しさん＠お腹いっぱい。
10/06/13 08:59:44
俺も分からないなぁ
調べてみてもなんかパンダみたいのがしょぼくれる画像しかでないｗ
誰か詳しく書いてほしい・・・

82:名無しさん＠お腹いっぱい。
10/06/13 09:08:04
世間でいう応用力のないあなたにヒント。
しょぼくれたパンダは中学英語で "sad panda"。
まずエロサイトめぐる以前にgoogle使えるようになろうよ。

83:名無しさん＠お腹いっぱい。
10/06/15 09:40:01
>>82
見つかりました
どうもご親切にご教示ありがとうございます

84:名無しさん＠お腹いっぱい。
10/06/15 13:54:11
92.61.36.211が落ちてから１日くらい経ってるんだが、
こういうののリトライとかどうしてる？

85:名無しさん＠お腹いっぱい。
10/06/15 14:39:07
92.61.32.0/20この範囲で全部逝ってるのか

86:名無しさん＠お腹いっぱい。
10/06/17 08:40:00
lofiでもloやショタタグついてるやつファーストページでも見れなくなった…
どうしたらいい？

87:名無しさん＠お腹いっぱい。
10/06/17 09:25:12
意地悪しないで教えてください…

88:名無しさん＠お腹いっぱい。
10/06/17 09:45:09
わるわるしないで…

89:名無しさん＠お腹いっぱい。
10/06/17 23:33:07
>>86
でかい乳に明日への活力を見出せ。乳は素敵だぞぅ

90:名無しさん＠お腹いっぱい。
10/06/18 01:37:04
何が原因かは分からないけどLofiから全部閲覧できる
やったことと言えば、本家ログインか、exhentaiにクッキー書き換え？
クッキーの方は適当にやったからできてるのかすら分からん
つか、こんな風に普通に閲覧できない状況だと、あげてくれる人も廃れるんじゃなかろうか

91:名無しさん＠お腹いっぱい。
10/06/18 01:41:15
>>89
ロリコンでもショタコンでもないんだ
大きな胸のお姉さんが大好き
ただ、漫画とかで相手の男が子供ってだけでショタタグがついてる…
それで見られないんだ、すごく残念

92:名無しさん＠お腹いっぱい。
10/06/19 10:34:59
携帯ユーザーでも余裕で見れると言うのに……。

93:名無しさん＠お腹いっぱい。
10/06/19 16:41:45
リクエストヘッダーうｐして

94:名無しさん＠お腹いっぱい。
10/06/20 10:19:57
>>92
教えてください、お願いします
意地悪しちゃ、嫌…

95:名無しさん＠お腹いっぱい。
10/06/20 12:02:26
>>94
まだ見れてないの？ちゃんとレス読んでけよ。

96:名無しさん＠お腹いっぱい。
10/06/20 12:13:53
Set-Cookie: exhentai
って追加したけど駄目だった

97:名無しさん＠お腹いっぱい。
10/06/20 15:29:25
"Set-Cookie:"はサーバから送られてくるもんだ。こっちから送るのは ""Cookie:"。
なんかスタートラインにも辿りつけとらんぞ。

98:名無しさん＠お腹いっぱい。
10/06/20 16:38:55
間違いますた。
でもCookie: exhentaiで送ってるけどやっぱり駄目です。

99:おまえはエパミナンダスか。
10/06/20 17:43:30
そんなこと聞いてるようだからexhentaiにアクセスするとパンダが出てくるんだろうが
そのときどんなcookieが送られてくるか見ること。ブラウザの使い方は...知ってるよな。
そしたら次にその名前でググってみる。

100:名無しさん＠お腹いっぱい。
10/06/20 18:34:28
多分これかなっていうのを見つけました！
本当にありがとうございます！
３０２っぽいんでちょっと書き直して挑戦してみます！

101:名無しさん＠お腹いっぱい。
10/06/20 18:40:22
この情報は貴方のお役に立てましたか？
私のヘルプ枠は5回/年です。
しかし今年既に前スレで4回死ねって言われたので減点4が発生しており、
次回の助言は翌1月1日以降となります。
以上宜しくお願い致します。

102:名無しさん＠お腹いっぱい。
10/06/20 22:59:49
馬鹿だろお前ｗ

103:名無しさん＠お腹いっぱい。
10/06/21 05:32:29
読んだけどわからないな…
手順教えて欲しいのに
みんな意地悪しないで

104:名無しさん＠お腹いっぱい。
10/06/21 06:13:26
てかPC持ってない俺でも見れるぞ
てかまだあれをしてないんじゃないか？

105:名無しさん＠お腹いっぱい。
10/06/21 21:35:28
えぱみなんだすやえぱみなんだすおまえはほんとにあたまがないねぇ

106:名無しさん＠お腹いっぱい。
10/06/21 23:46:26
スレタイが「蓮舫のH画像～」に見えた。

寝るか・・・

107:名無しさん＠お腹いっぱい。
10/06/22 09:41:01
わかりません
教えてください、お願い

108:名無しさん＠お腹いっぱい。
10/06/22 11:09:28
何がわからないのかもわからない

109:100
10/06/22 13:01:58
>>107
>>99さんのおかげでわかった

例えば
URLﾘﾝｸ(lofi.e-hentai.org)

などで、This gallery is currently unavailable.　が現れたら、リンク加工

URLﾘﾝｸ(exhentai.org)

上をGETリクエストするときに以下のフィールドも追加するとページソースが取得できる。

Cookie: ipb_member_id=1; path=/; domain=.exhentai.org
Cookie: ipb_member_id=1　これだけでもいいかも

ソース内の画像のリンクにそのままアクセスすればおｋ

110:100
10/06/22 13:06:38
exhentai.orgにクッキー指定無しでアクセスするとipb_member_id=0になって
sadpanda.jpgが落ちてくる。

111:100
10/06/22 13:37:02
あ、３０２で正しいアドレスに飛ばされるので、自作ブラウザの人は対応してください。

112:名無しさん＠お腹いっぱい。
10/06/22 21:38:01
言ってしまえば>>82を見て exhentai "sad panda" でググればもうそこに答えが
あったんだがここまで具体的に言われるまでピンとこないのは例の教育方針のせいなのか。

113:名無しさん＠お腹いっぱい。
10/06/22 22:49:28
つーかもしかして100は普通にブラウザで見ることもできてないのか？

114:名無しさん＠お腹いっぱい。
10/06/23 11:35:19
FxだとWeb Developerで簡単に見られるな。
>>100は、自作ダウンローダーでも作ってんじゃね？

115:名無しさん＠お腹いっぱい。
10/06/24 21:06:09
URLﾘﾝｸ(sinkai.s13.dxbeat.com)
こんな感じの
ページ‐画像一覧‐画像（html表示）
みたいなページで楽にダウンロードできるツール無いですか？
お願いします

116:名無しさん＠お腹いっぱい。
10/06/24 22:29:17
>>115
そこは、オンラインショッピングサイトなので、ダウンロードツールじゃ
ありません。
どのサイトでも1クリックするだけでダウン出来るツールは、残念なが
ら今のところありません。

有名なサイト以外は、wget,curlなどの汎用ツールやスクリプトなどを使って
個々に対応するしか方法がありません。

117:名無しさん＠お腹いっぱい。
10/06/24 22:59:19
苦労することに悦楽を感じながら他人には涼しい顔で簡単さと言いたがる漢が集まるところで聞いてもだめだよ。

118:名無しさん＠お腹いっぱい。
10/06/24 23:25:02
ツール厨が現れるのは、いつものことじゃないか。気にスンナ

119:名無しさん＠お腹いっぱい。
10/06/27 19:31:33
e-hentaiってどうやってかせいでんの？
閲覧投稿無料で広告もないし

120:名無しさん＠お腹いっぱい。
10/06/28 10:09:44
gは広告出てる

121:名無しさん＠お腹いっぱい。
10/06/28 22:29:01
どこをどうアクセスすれば広告が無いように見えるのか甚だ疑問である。

122:名無しさん＠お腹いっぱい。
10/06/28 22:47:45
広告フレーム除去してた

123:名無しさん＠お腹いっぱい。
10/06/30 11:59:33
E-HENつながらない

124:名無しさん＠お腹いっぱい。
10/06/30 12:27:20
E-HENは閉鎖だな

125:名無しさん＠お腹いっぱい。
10/06/30 12:28:44
exも見れなくなるって

126:名無しさん＠お腹いっぱい。
10/06/30 12:31:27
トップやログイン画面は見れるからメンテナンスしてるだけじゃね
7 hours ago: Put up another small patch forGalleries to enable some future functionalityelsewhere.
21 hours ago: Updating some stuff on a fewservers. Could make things a bit slower than usualuntil it finishes.
↑
翻訳サイトで翻訳したけどワケワカメだった
アップデートとか書いてあるから大丈夫だろ

127:名無しさん＠お腹いっぱい。
10/06/30 13:22:38
エキサイト翻訳によると
CreditCardのPayがどうのこうの

と一般ユーザーは制限がどうのこうの書いてあった

128:名無しさん＠お腹いっぱい。
10/06/30 14:47:15
とりあえず続けて欲しいわ
まあ漫画は消されそうだけどね

129:名無しさん＠お腹いっぱい。
10/06/30 14:49:18
ソースの変更無さそうです

130:名無しさん＠お腹いっぱい。
10/06/30 14:54:21
E-HENはたまにこういう変な事するからなぁ
まあ一週間も経てば元に戻るのでは

131:名無しさん＠お腹いっぱい。
10/06/30 14:55:31
しばらく様子見

132:名無しさん＠お腹いっぱい。
10/06/30 14:55:42
URLﾘﾝｸ(e-hentai.org)に、Everything is back up and running.って書いてた。

133:名無しさん＠お腹いっぱい。
10/06/30 14:57:58
メンテ後の新たなデータ上がってきたようだけど、やっぱり規則変わってない
バックアップとサーバー移転・高速化が目的だったのかと

134:名無しさん＠お腹いっぱい。
10/06/30 15:00:33
すべては、バックアップとランニングです。
↑つまりどういうことだ

135:名無しさん＠お腹いっぱい。
10/06/30 15:15:20
大事なことはデータのバックアップを取ること、それと適度な運動
ってことだ。

136:名無しさん＠お腹いっぱい。
10/06/30 15:17:10
E-HEN元に戻ったな

137:名無しさん＠お腹いっぱい。
10/06/30 20:14:40
すべて戻ったよ、起動して走ってるよ、だろ

138:名無しさん＠お腹いっぱい。
10/06/30 21:00:57
パンダのページ落ちてる？
EXはもちろんパンダさえ出ないんだが

139:名無しさん＠お腹いっぱい。
10/06/30 22:04:34
たしかに繋がらない。pingは通る。それになんかloli系のアップが無くなった気がする。
一時的なものかな？それともルール変更？

140:名無しさん＠お腹いっぱい。
10/06/30 22:16:21
exは死んだか…

141:名無しさん＠お腹いっぱい。
10/06/30 22:26:27
ってかE-Hentai GalleriesとExHentai.orgの違いとかあるの??

142:名無しさん＠お腹いっぱい。
10/06/30 23:15:01
震度2程度で毎度毎度うれしそうに報告すんなよ。

143:名無しさん＠お腹いっぱい。
10/06/30 23:39:31
EX元に戻った

144:名無しさん＠お腹いっぱい。
10/07/04 17:45:48
今はどんな方法で落とせばいいの？
まずg.e-hentaiを見て509の画像が出たらlofi.e-hentaiから/3/で取ってるんだけどもっと良い方法があったら教えてください

145:名無しさん＠お腹いっぱい。
10/07/04 17:53:09
509がでても対処できるだろ

146:名無しさん＠お腹いっぱい。
10/07/04 18:25:15
>>144
509は、そのIPでのアクセスをちょい休んでくださいってことだから。
串変えればいいだけ。

147:名無しさん＠お腹いっぱい。
10/07/04 20:07:12
>>144
基本待てばいいんだよ。ちょっと間を置けばまた取れるようになるさ。
自動化しておきながら張り付いてる訳じゃないだろう。時間はたっぷりあるさ。
待ちのアルゴリズムを追求すんのも夏の暇つぶしにはもってこいだよ。

148:名無しさん＠お腹いっぱい。
10/07/04 20:50:36
e-henて昔ダウンローダーあったんだよな。
一度作って配布するところまで考えがいったのに何でやめたんだ？

予想以上に負荷が凄かったから？

149:名無しさん＠お腹いっぱい。
10/07/04 20:55:32
>>119が続けて釣ってるつもりか？今でもあるのにスレ汚しめ。

150:名無しさん＠お腹いっぱい。
10/07/05 00:52:25
>>145-147
プロキシ介したら落とせましたありがとうございます

151:名無しさん＠お腹いっぱい。
10/07/05 18:23:33
509でもHTTPステータスが200のときと404のときがあると思うのですが何故でしょう？

152:名無しさん＠お腹いっぱい。
10/07/05 20:42:47
>>115
artemisからのダウン？
mech使えば簡単だよｗ
今も自作のスクリプトがバックグラウンドでブイブイ動いてるｗｗ

153:名無しさん＠お腹いっぱい。
10/07/09 16:10:11
altが無くなったから、ファイル名で保存すると泣けることに

154:名無しさん＠お腹いっぱい。
10/07/09 20:14:08
変更の意図は汲みかねるが小変更で済む範囲だったね。これを始めに週単位で来るのかな？
そういえば前の変更ラッシュも日本時間の金曜だったし。

155:名無しさん＠お腹いっぱい。
10/07/09 22:05:15
取れねーと思ったらちょっと変更来てた
相変わらずcurlで行けるんだな

156:名無しさん＠そうだ選挙に行こう
10/07/10 21:46:53
５０９になったらどのくらい待てばいいのかしら
１日くらい？

157:名無しさん＠そうだ選挙に行こう
10/07/10 22:46:26
何で自分で試してみない?それともよっぽどの

158:名無しさん＠そうだ選挙に行こう
10/07/11 05:26:57
>>156
集合住宅で同一回線とか（一ＩＰを複数人で共有してたり）、
プロバイダーと動的ＩＰ契約を結んでいたら（個人で固定ＩＰはほとんど無いと思うが）
アドレスプール（ＩＰ束）を複数人で共有するため、時間でどうこうなるものでもない。
接続ＩＰ帯域にＥ－ｈｅｎユーザーが居ればの話だけど。

159:名無しさん＠お腹いっぱい。
10/07/14 04:46:02
まーたソース変更しやがった

160:名無しさん＠お腹いっぱい。
10/07/14 09:13:45
そーっすか

161:名無しさん＠お腹いっぱい。
10/07/16 07:30:33
総帥か

162:名無しさん＠お腹いっぱい。
10/07/17 16:15:44
ソーナンス

163:名無しさん＠お腹いっぱい。
10/07/17 16:46:37
そーすっと
どうすればいいの？

164:名無しさん＠お腹いっぱい。
10/07/23 01:00:46
403が出る条件ってなんですか？
ほとんど落ちるのですがたまに403が混ざってしまいます

165:名無しさん＠お腹いっぱい。
10/07/24 00:40:51
URLにexhentai.orgとうってもパンダの画像しかでないのですが・・・。

166:名無しさん＠お腹いっぱい。
10/07/24 07:16:30
exhentai.orgから受け取ったcookieのipb_member_idの値を1にしたら入れたよ

167:名無しさん＠お腹いっぱい。
10/07/25 04:57:19
アカウント取らなくていいんだもんな
やたらと対策凝ってる割に肝心なところで抜けてんな…

168:名無しさん＠お腹いっぱい。
10/07/26 13:37:14
privoxyでヘッダ改ざんすればブラウザで普通にex見れそうなんだがなんか上手くいかない
誰か同じ事やってる人いない？

今のところ外部アクセスでしかやってないからわからんけどexの検索って本家で除外されてるのも出てくるの？

169:名無しさん＠お腹いっぱい。
10/07/26 14:22:01
URLﾘﾝｸ(g.e-hentai.org)でloliconで検索したら0件だったけど
URLﾘﾝｸ(exhentai.org)でloliconで検索したら22,355件でるな

普通のブラウザならFirefoxならCS Liteとかで>>109のクッキー作成でいけるけど。
連続して落とすことが目的だから普通のブラウザなんて使ってられないわな。

170:名無しさん＠お腹いっぱい。
10/07/27 15:09:48
久しぶりにきてみたけどget.plの時代は終わった感じかな？

171:名無しさん＠お腹いっぱい。
10/07/27 23:53:17
改竄とか偽装って書くと「俺ってハッカー」みたいな気分になれるな。
中学生の頃を思い出すぜ。

172:名無しさん＠お腹いっぱい。
10/07/28 12:06:38
>>170
1年もたてば時代は終わる罠。
新しいの作るよ　夏厨のために7月中に

173:名無しさん＠お腹いっぱい。
10/07/28 16:16:29
オマエらの能力があればダウンロードスクリプトじゃなく
画像ファイルの自動生成できるんじゃないか？
もう21性器だぜ
肉色と肌色を巧みに児童合成してエロ画像ぐらい作れるだろ

174:名無しさん＠お腹いっぱい。
10/07/29 16:03:18
改良した
g.e-hentai.org 用スクリプト、ehg.pl version 2.0
URLﾘﾝｸ(www1.axfc.net)

175:名無しさん＠お腹いっぱい。
10/07/29 17:56:23
>>174
GJ!

176:名無しさん＠お腹いっぱい。
10/07/29 23:02:40
ありがとう。ソースを参考にしてget.plに適用させてもらった

177:名無しさん＠お腹いっぱい。
10/07/29 23:35:01
と思ったら早速対策？されたっぽくてワロタ
矢印の画像しかとれねえ・・・また修正するのめんどくせええええ

178:名無しさん＠お腹いっぱい。
10/07/30 01:32:03
お前らなんでわざわざ画像1個ずつシコシコ保存してんの？
クレジット使ってダウンしろよｗ

179:名無しさん＠お腹いっぱい。
10/07/30 01:32:52
過ぎた要望とはわかってるんだがcybersyndromeの公開串一覧を読み込んで
・反応がある→使う
・反応がない／503が出る→串を変える（ランダムに）
ってな機能を追加してくれないだろうか

善意でやってるのはわかるんだが
夏厨一斉に生IPで高速ダウンロードとかすると今までざるだった部分まで抜本的な対策に持ってかれない

180:名無しさん＠お腹いっぱい。
10/07/30 01:36:15
むしろ串無しで使った猿が全員アク禁に入れられて終了コースだから現仕様の方が望ましい

181:名無しさん＠お腹いっぱい。
10/07/30 01:44:39
お前らなんでe-henみたいな糞サイトでわざわざ画像1個ずつシコシコ保存してんの？
クレジット使ってダウンしろよｗ

182:名無しさん＠お腹いっぱい。
10/07/30 01:45:37
>>180
なげーんだよなここのアク禁

183:名無しさん＠お腹いっぱい。
10/07/30 22:58:51
>>181
ダウンローダつかってるよ

184:名無しさん＠お腹いっぱい。
10/07/30 23:48:58
ドロシー導入したけど使えなくてﾜﾛﾀ

185:名無しさん＠お腹いっぱい。
10/07/31 16:55:05
僕たち人種は違っても結局は同じなんだね

186:名無しさん＠お腹いっぱい。
10/07/31 20:07:34
しっかし最近午後8時(JST)過ぎたとたんに509で引っかかり易くなるぜ。

187:名無しさん＠お腹いっぱい。
10/08/01 14:05:42
hentaiverseがクールダウンする昼過ぎからが良かろうて。

188:名無しさん＠お腹いっぱい。
10/08/03 20:23:42
つい最近まで使えたダウンローダーあったらしいな。

早く誰か作ってくれないかな。

189:名無しさん＠お腹いっぱい。
10/08/13 13:18:18
嫌です

190:名無しさん＠お腹いっぱい。
10/08/14 00:06:37
e-hentai 実写系の画像が丸ごと削除されちゃってるな。
アイドルや白人美女画像もけっこう置いてあったから重宝してたのに。

191:名無しさん＠お腹いっぱい。
10/08/14 00:23:51
どうりで糞みたいな外人3Dばっかだと

192:名無しさん＠お腹いっぱい。
10/08/14 15:06:40
g.e-hentai.org 用スクリプト、ehg.pl version 2.0
これってもう対策されてるの？
自分でエラー治してみたけど
なんかダメっぽい

193:名無しさん＠お腹いっぱい。
10/08/15 00:30:37
＞ehg.pl version 2.0
150ファイル（23Mぐらい）ぐらいDLするとIP弾かれた。

何十個かDLしたら数分スリープさせたり
途中ページからDLさせられるよう改造中。

194:名無しさん＠お腹いっぱい。
10/08/16 04:19:21
Can't call method "url_abs" on an undefined value at C:\aa\ehg.pl line 84.

このエラーが出るのは俺だけか・・・？
環境に問題があるのか
それとも、元々84行目を修正する必要があるの？

195:名無しさん＠お腹いっぱい。
10/08/16 06:46:58
WWW::Mechanize
が入ってないとか

196:193
10/08/16 13:22:44
sleep 3から9へ書き換え、
50個落としたら5分休憩、
DL済みファイルはスキップ。

こう改造して、294個落としたURLで再度挑戦。
12個さらに落としたところで蹴られた。

URLリストを作成させて、irvineとかで落としたほうがいいのかな。

197:名無しさん＠お腹いっぱい。
10/08/16 22:04:47
一個一個ｼｺｼｺと落とさないの馬鹿なの？

198:名無しさん＠お腹いっぱい。
10/08/16 22:22:38
ワンクリックで画像保存できるツールあるよ
マウスの親指サイドボタンをそれに割り当てた
かなり捗るぞ

199:名無しさん＠お腹いっぱい。
10/08/17 06:52:25
>>197,198
自宅警備の人かよ

200:名無しさん＠お腹いっぱい。
10/08/17 07:45:55
>>196
画像で気にするのはURLがhentaiverse.netのimage.phpの場合だけで良い。
他は帯域制限の集計に入ってないので長く待つ必要はない。一度画像の
URLを記録しながらトライしてみれ。

201:名無しさん＠お腹いっぱい。
10/08/17 14:34:06
もうプログラムで落とすのが目的だからねえ。
画像なんて見ないよ。

202:名無しさん＠お腹いっぱい。
10/08/17 21:30:06
とりあえずthat is itを何十冊上げれば気がすむのかと

203:名無しさん＠お腹いっぱい。
10/08/19 06:19:22
一定時間毎に串を切り替えるよう組んでるせいか帯域制限は来ない
その代わり低確率で取得失敗するからチェックしないといけないけど

それより元ファイル名で保存しようとするとたまにかぶってるのがうざい…
同人CG集とかでディレクトリごとに分かれてるはずのファイルが全部トップディレクトリにぶちまけられてる状態でうpられてる

204:名無しさん＠お腹いっぱい。
10/08/19 09:20:55
串ができるならリネームも１５分くらいでできんじゃね？

205:名無しさん＠お腹いっぱい。
10/08/19 09:34:55
>>204
とりあえずリネームはしてるんだけど元ファイル名いじると何か釈然としなくてな…
今はページ番号をファイル名の前に付けてる（1-○○とか01-○○とか）

206:名無しさん＠お腹いっぱい。
10/08/19 16:57:18
しかしe-hentai(exhentai)はどんどん攻略が楽になってくな
wgetでアクセスしたら変な落書きが落ちてきて頭抱えた時代が懐かしい

207:名無しさん＠お腹いっぱい。
10/08/19 18:14:49
裏e-hentaiってロリとかショタが見られるようになるだけで
それ以外は全て同じなの？
最近グラドル系の画像がほとんど消えてしまったので
もしかして裏に回ったのかなと思ってるのだが。。

208:名無しさん＠お腹いっぱい。
10/08/19 19:10:43
詳しくは分からんけど運営費用がかさんで
サーバーを縮小したかららしいよ
いくつかサーバがなくなってる
和訳してググレ

209:名無しさん＠お腹いっぱい。
10/08/19 20:53:33
exがいつまでザル仕様かもわからんしまた新たな規制が入るかも知れないし急ぐべきかもしれんな

210:名無しさん＠お腹いっぱい。
10/08/19 20:58:53
ver.2.1にアップしないの？

211:名無しさん＠お腹いっぱい。
10/08/20 15:59:03
連番でＨ画像をダウンロード出来るサイトを紹介するスレじゃないのかよ

212:名無しさん＠お腹いっぱい。
10/08/20 17:55:29
違います

213:名無しさん＠お腹いっぱい。
10/08/20 18:13:22
目的も設定せずに手段にだけ傾倒するなんて
実にオタクらしいやり方だ

214:名無しさん＠お腹いっぱい。
10/08/20 18:19:08
一日でどれだけDLできるかなーと1GB以上ダウンロードした後700MB分くらいはzipで見つかるんじゃないかと気付いた

215:名無しさん＠お腹いっぱい。
10/08/20 18:26:04
目的は個々人の中にあるんだよ。

216:名無しさん＠お腹いっぱい。
10/08/20 18:38:11
攻略するのが目的であって、画像DLは二の次だ。

217:名無しさん＠お腹いっぱい。
10/08/20 18:41:08
>>211
半角へどうぞ

218:名無しさん＠お腹いっぱい。
10/08/20 20:20:44
あたらしいな

219:名無しさん＠お腹いっぱい。
10/08/20 20:56:41
Perlの勉強の為に。
ファイル名を”連番.オリジナルファイル名"で保存、同名ファイルスキップ。

sub getImage
{
my $imageURL = shift or die $! ;
my $pageNow = shift or die $! ;
my $saveDir = shift or die $! ;
my $na = getImageName($imageURL);
my $name = sprintf ( "%03d.$na" , $pageNow ) ; # note: extension
print "OutPut FileName : $name \n";
chdir ("./$saveDir") ;
if( -f $name) {
print "exist $name \n";
} else {
my $mech = WWW::Mechanize->new() ;
$mech->get( $imageURL ) ;
open ( my $out , "> $name" ) or die $! ;
binmode $out ;
print $out $mech->content() ;
close ( $out ) ;
}
chdir ("..") ;
return 1 ;
}

220:219
10/08/20 20:57:33
sub getImageName
{
my $ImageUrl = shift or die $! ;
my $num = rindex($ImageUrl, '=');
my $ImageTemp = substr($ImageUrl,$num+1);
$num = rindex($ImageTemp, '/');
my $ImageName = substr($ImageTemp,$num+1);
return ($ImageName);
}
これ導入後、エラーが増えた気も…orz

221:名無しさん＠お腹いっぱい。
10/08/20 21:03:49
Ｐｅｒｌのファイルあるのは嬉しいけど、具体的な使い方の解説を頼む

222:名無しさん＠お腹いっぱい。
10/08/20 21:08:55
>>221
関数を差し替えるだけ
具体的には、その部分に上書きするようにコピペ

223:219
10/08/20 21:17:07
>219 のソースは上書き。
>220 のソースは219の下に挿入か、ソース末尾に追加。

オリジナルファイル名が時々ランダムファイル名になるのは何でかね。

224:名無しさん＠お腹いっぱい。
10/08/20 21:26:41
色々いじったら一つ飛ばしになった

225:名無しさん＠お腹いっぱい。
10/08/21 01:27:40
シェルスクリプトでよければクッソ汚い自作コード公開するけど需要ある？

226:名無しさん＠お腹いっぱい。
10/08/21 01:57:11
>>214
画像の方は、大体5～9GBくらいのデータが１日で上がるぞ。

227:名無しさん＠お腹いっぱい。
10/08/21 19:47:32
一部リンクがおかしいのか画像表示されないのがあるな。
ehg.plだとエラー出て終了しちゃう。
なんとかエラーでもスキップさせて継続できないかな。

228:名無しさん＠お腹いっぱい。
10/08/21 20:29:40
>>227
ページソース取り直してるとそのうち正しい画像リンク取れるよ。
一括でリンク集めるより、正しい画像を取得できてから次のページってした方がいいと思う。
なるべく人がデータを拾うようなフローにした方がいい。

フォーマット判定とか適当だけど、下で今のとこ平気だった（Windows cですんません）

unsigned char szFormatCheck[16];
unsigned char jpegID[2] = { 0xFF, 0xD8 };
unsigned char pngID[8] = { 0x89, 0x50, 0x4E, 0x47, 0x0D, 0x0A, 0x1A, 0x0A };// { '\211', 'P', 'N', 'G', '\r', '\n', '\032', '\n' };
unsigned char gifID[3] = { 0x47, 0x49, 0x46 };// { 'G', 'I', 'F' };

::ZeroMemory( szFormatCheck, 16 );

fpDownloadFile = _wfopen( szImageFilePath, L"rb" );
fread( szFormatCheck, 1, 8, fpDownloadFile );
fclose( fpDownloadFile );

if ( memcmp( szFormatCheck, jpegID, 2 ) != 0 )
{
　　if ( memcmp( szFormatCheck, pngID, 8 ) != 0 )
　　{
　　　　if ( memcmp( szFormatCheck, gifID, 3 ) != 0 )
　　　　{
　　　　　　result = enum_RECV_IMG_FILEFORMAT_ERROR; // Jpegでもpngでもgifでも無かった
　　　　}
　　}
}

229:228
10/08/21 20:36:36
>>227
ごめんなさい。ホントに画像リンクが消えてる場合あるね。
その時は、１枚の取得に１時間以上トライしてたら次ページ行くようにしてます。

230:名無しさん＠お腹いっぱい。
10/08/21 23:41:37
ルーターの再接続をDOSコマンドで実行できたら楽なのに。

231:名無しさん＠お腹いっぱい。
10/08/22 01:27:50
"C78"の検索結果がいい感じに増えてきたなぁ

232:名無しさん＠お腹いっぱい。
10/08/22 04:03:22
gで無い時は、lofiの/3/いけば意外とあるけど、exで画像リンク切れしてたら諦めてスキップしてます。

233:名無しさん＠お腹いっぱい。
10/08/22 08:13:44
ないというか、おそろしく反応がにぶい鯖があるよね。
そういうときはタイムアウトさせてlofiからとってるわ

234:名無しさん＠お腹いっぱい。
10/08/22 08:25:07
>>233
基本php規制が来るのは、ソースページの時だけだからプロキシはソースページ取得時だけで
画像取得は自分のIPでいいんだけど。
その状態の画像サーバーが現れる場合は、画像取得も海外の串経由で落とした方が早く落とせるよ。
重い画像サーバーのIPポートを記憶して(定期的に変わるので)、そのIPの時は串経由で落とすように実装した方がいい。

235:名無しさん＠お腹いっぱい。
10/08/22 11:32:50
>>230
だいたいブラウザから操作できるようになってんだろ。
hentaiにスクリプトでアクセスするのと変わらんと思うが？

236:名無しさん＠お腹いっぱい。
10/08/22 13:40:30
Perlの知識とかが無い俺には使い方が全く分からないです。
誰か解説を・・・(；´∀｀)

237:名無しさん＠お腹いっぱい。
10/08/22 13:46:43
>>236
ここUNIX板なんだけど、UNIX使ってるのにperl全く使ったことないの？

238:名無しさん＠お腹いっぱい。
10/08/22 13:48:10
よし、ポートを開いてIPアドレスと共にログイン名とパスワードを書いてくれたまえ。

239:名無しさん＠お腹いっぱい。
10/08/22 14:07:07
>>232
俺は通信がらみのエラーは２分置きに3回リトライし、それでだめなら &nl=1 で取る。

240:名無しさん＠お腹いっぱい。
10/08/22 14:11:17
?nl=1とかいつの間にできたんだろうな
これに気付いてから取得成功率100%になった

241:名無しさん＠お腹いっぱい。
10/08/22 14:23:41
>>240
ずいぶん過去。過去過ぎて過去ログ。

242:名無しさん＠お腹いっぱい。
10/08/22 14:35:39
>>241
俺が気づかなかっただけか…

>547 名前：名無しさん＠お腹いっぱい。 [sage]： 2010/03/22(月) 00:16:01
>?nl=1
>
>704 名前：名無しさん＠お腹いっぱい。 [sage]： 2010/03/28(日) 23:46:49
>?nl=1 は10枚程度で速攻規制かかるよね

画像URLを引き直すって言うよりはメイン鯖（gu.e-hentai.orgなど）の画像に明示的に繋げるURLだよね
串なら気にせず踏んでいいけど生IP派はできるだけ避けたほうがいい

243:名無しさん＠お腹いっぱい。
10/08/22 14:56:53
>235
ある程度落としたところで自動的にIP変更して規制回避出来るやん自宅警備員。

244:名無しさん＠お腹いっぱい。
10/08/22 15:29:52
週末パートの自宅近衛兵だがIP変更した位で規制回避できるならこんな板立たないだろ。

245:名無しさん＠お腹いっぱい。
10/08/22 17:21:16
>IP変更した位で規制回避できるならこんな板立たないだろ。
BATファイル+ehg.plでDL
509エラーでmenu_right.gifを落とし始める。
ルーター再接続でIP変更
DL続行

こんな感じで作業してるけど。
ページ途中からDLできるように改造中。

246:名無しさん＠お腹いっぱい。
10/08/22 19:17:23
>509エラーでmenu_right.gifを落とし始める。
これって画像URL取り出しの段階で防げないっけ

247:名無しさん＠お腹いっぱい。
10/08/22 20:06:53
ehg.plのgetImageURLで$imageURL調べて"menu_right.gif"だったら
IP変更促してpause＆再取得させれば楽になるかな？

248:名無しさん＠お腹いっぱい。
10/08/22 20:27:40
改善は根本的なところから始めるべき。庇の上に建て増しても良い事無いよ。

249:名無しさん＠お腹いっぱい。
10/08/22 20:41:33
>>248
根本的なところって例えばどういうの？

250:名無しさん＠お腹いっぱい。
10/08/22 20:41:54
ehg.pl使ってないから改善のアドバイス出来ないけど
そもそも画像のファイル名かjpg.jpgとかで抽出すればmenu_right.gifは絶対出てこないはず
あと確かにIP変更すれば一応その場は再DLできるけど何回もやってるとISPごと焼かれる

251:名無しさん＠お腹いっぱい。
10/08/22 20:47:57
>そもそも画像のファイル名かjpg.jpgとかで抽出すればmenu_right.gifは絶対出てこないはず
　　　　　　　　∧∧
　　　　　　ヽ(･ω･)/　　ｽﾞｺｰ
　　　　　＼(.＼ノ
　　　　､ﾊ,,､　

252:名無しさん＠お腹いっぱい。
10/08/22 20:58:10
>>251
>>13

253:名無しさん＠お腹いっぱい。
10/08/22 21:00:18
"menu_right.gif" などで比較しても向こうの胸先三寸でころころ変えられちゃったら面倒でしょ？
そもそも何で "menu_right.gif" を拾っちゃうのか、拾わねばならんのかその原因を突き止めて
その上で全体の問題点に気づかないと手に負えなくなっちゃうよって意味で根本的と言ったのよ。

はっきり言うが自分で設計して作らんとそこから先には進めん。

254:名無しさん＠お腹いっぱい。
10/08/22 21:25:45
*.gifでうｐしてる人もいるけどな。

255:名無しさん＠お腹いっぱい。
10/08/22 21:37:30
>>254
古いエロゲーのimage setで試してみたけど>>13の処理で普通に取れるけど

256:名無しさん＠お腹いっぱい。
10/08/22 21:51:09
>>248,253だが、DBの根幹部だろうからそうそう弄れまいと思って前スレで "[0-9a-f]{40}-" で見るべきと書いたのが私。
ちなみに"最上位のdivセクション"も私。あの後この組み合わせで引っかかってしまったのは"&"の時だけ。
固定の文字列比較は愚の骨頂だし"例外"を用意するのは美しくないと思う。

257:名無しさん＠お腹いっぱい。
10/08/22 22:00:52
509はどうしたら回避できるの？

258:名無しさん＠お腹いっぱい。
10/08/22 22:11:11
うん、根本的かつ哲学的な質問だね。
それに対する答えは現代医学ではまだ判らないんだ。

259:名無しさん＠お腹いっぱい。
10/08/22 22:17:37
プログラム講座はもういいからツールくれ。

260:名無しさん＠お腹いっぱい。
10/08/22 22:17:51
>>256
最上位のdivセクションにこだわる理由はよくわからんが抽出方法は参考にさせてもらうわ
ありがとう

261:名無しさん＠お腹いっぱい。
10/08/22 22:24:08
評価するのが高々1個の<a-/a>で済むのだ。

262:13,153
10/08/23 04:39:53
>>255
あれ？
lofiの仕様は変わらないけど・・・exとgは変わったよね？
今ソース見たらstyle属性見てjpg,jpeg,png,gifの拡張子チェックしてるだけな感じなんだけど。
jpg.jpgとか書いてない。
各自適当だろうから取れてるならいいけど。

263:255
10/08/23 05:11:12
>>262
今のgは"return sl("以降を見ればすぐ取れるから画像のURLを見る必要はないね

exの方はそれが用意されてないので文字列のマッチで画像のURLを適当に抽出してる
このやり方だとファイル名+(jpe*g.jpe*g|png.png|gif.gif)を使ったほうが楽
（大文字表記の拡張子や".jpeg"は一件も遭遇していないが念のため入れてる）
ちなみにもうexしか使ってない

264:255
10/08/23 05:19:35
書き込んでから間違いまくってることに気付いたので訂正

gの方のファイルはろくにメンテしてないので今更気付いたが"return sl("以降の画像URLだとメイン鯖叩くことになるからだめだ
画像URLの抽出もstyle="が含まれるタグ内で抽出かけた方が早いから確かに>>13の処理はもう必要ないわ…

265:名無しさん＠お腹いっぱい。
10/08/23 16:44:38
my $mech = WWW::Mechanize->new() ;
$mech->agent_alias( 'Windows Mozilla' ); #added

こうすると幸せになれるかも(´･ω･`)

266:名無しさん＠お腹いっぱい。
10/08/23 18:13:27
eh鯖落ち＞94.23.191.10

267:名無しさん＠お腹いっぱい。
10/08/24 19:41:32
俺ここ半年以上User-Agentには
Mozilla/5.0 (PET 2001; Commodore; U; en-US)
を送ってるな。

268:名無しさん＠お腹いっぱい。
10/08/25 01:29:06
再現性がわからないんだがあるページで4x4で102バイトのpngが落ちてくる状況が頻発したから再取得の条件に入れといた

269:名無しさん＠お腹いっぱい。
10/08/25 21:54:35
509エラー出たら15分休憩、それでも出たらさらに15分って処理いれて（2回程度で解除された）
DL止まらないようにしたけど、24時間かかって300Mぐらい。

やっぱIP更新させんとキツイか。

270:名無しさん＠お腹いっぱい。
10/08/26 00:07:46
ルータをネット経由で操作云々寄りは串でやった方が楽だと思うよ…

271:名無しさん＠お腹いっぱい。
10/08/26 01:03:59
ehg.plで串の刺し方教えてくださいませ

272:名無しさん＠お腹いっぱい。
10/08/26 01:38:55
>>271
>WWW::Mechanizeでプロキシは使えますか？

>使えます。
>あらかじめ環境変数「HTTP_PROXY」、「HTTPS_PROXY」などにプロキシを設定しておくと、これが利用されます。
>内部ではコンストラクタ（newメソッド）内で、$self->env_proxyが呼び出されています
>（これの働きはもちろん、親クラスであるLWP::UserAgentのenv_proxyメソッドと同じです）。
>最初にこれが確認されるだけで、リアルタイムで現在の環境変数を見ているわけではないことには注意してください。

273:名無しさん＠お腹いっぱい。
10/08/26 02:33:30
ありがとう
調べてみたけど、さっぱりわからない；
自分にはまだ早かったようです。。。

274:名無しさん＠お腹いっぱい。
10/08/26 10:35:36
バッチファイルに

set HTTP_PROXY=串１
ehg.pl URL1 Dir1

set HTTP_PROXY=串2
ehg.pl URL2 Dir2

って書いとけばいいんじゃないの？

１URLに100ファイル以上あると効果薄いだろうけど。

275:名無しさん＠お腹いっぱい。
10/08/26 14:27:29
ehg.plって初めて中身見たけど初代get.plと比べるとずいぶんコンパクトになったな

276:名無しさん＠お腹いっぱい。
10/08/26 14:43:08
正に裏ってカンジね

277:名無しさん＠お腹いっぱい。
10/08/26 23:47:59
バッチて...TOSBAC,HITAC,AOCS...懐かしい...

278:名無しさん＠お腹いっぱい。
10/08/27 17:54:50
なんかしらんが今日は落ちまくってるな

279:名無しさん＠お腹いっぱい。
10/08/28 00:19:29
マイナーチェンジきたっぽい
うざいなぁ

280:名無しさん＠お腹いっぱい。
10/08/28 07:58:57
SayMove!も自動で落とせそうだけど、ネタ動画の判定無理っぽいから
メールとかで必要なインデックスだけ投げて目視で判定するしかないのか

281:名無しさん＠お腹いっぱい。
10/08/28 12:20:18
難儀なことせんでも直接プロキシに接続して "GET URLﾘﾝｸ(exhentai.org) HTTP/1.1" すりゃ良いじゃん
と首をかしげるのは俺がphpだから？

282:名無しさん＠お腹いっぱい。
10/08/29 00:50:04
生でやってたらどれくらいでアク禁になるの？

283:名無しさん＠お腹いっぱい。
10/08/30 19:00:40
NEWの位置が変わったな

284:名無しさん＠お腹いっぱい。
10/09/01 21:12:18
ehg.plかってに改造

1.>219 >220 適応
2.URLを "URLﾘﾝｸ(g.e-hentai.org)"のタイプにも適応
3.hentaiverse.netと他のサーバーでスリープ時間変更
4.509エラー時に長期スリープ
5.DLエラー時にログファイルに記録し、次のページから続行

こんだけ改造したらソースがスパゲティーにorz
誰か要る？

285:名無しさん＠お腹いっぱい。
10/09/01 21:25:09
一日かけてどれくらい取れるの？
生だとスリープ変えても帯域制限に引っかかるから結局遅くなると思うんだけど

286:名無しさん＠お腹いっぱい。
10/09/01 21:27:55
>>284
欲しいです！

287:284
10/09/01 22:00:17
ehg.pl改造版
URLﾘﾝｸ(www1.axfc.net)
バグや改善点見つけたら報告お願いします。

>一日かけてどれくらい取れるの？
IP更新してスグで百数十ファイル落とすと509エラーになった。
その後は1時間に40～80ファイルとバラバラ。
画面見て509エラーになってたらIP変更やって（日中は仕事）1000ファイルで19時間かかってた。

288:284
10/09/01 22:19:21
追伸.
perl弄り始めて数週間なので改造部分のソースは汚いです。すいません。
スリープ時間やログファイル名等はソースのコメントを見ながら各自でいじって調整してください。

289:名無しさん＠お腹いっぱい。
10/09/01 23:32:28
あーびっくり。一瞬前スレ開いたのかと思った。

290:名無しさん＠お腹いっぱい。
10/09/04 03:25:21
>>288
とりあえず動作確認
これ-p使える？浦島なんだが以前のｐｌじゃプロクシ噛ませられたよな

291:名無しさん＠お腹いっぱい。
10/09/04 15:54:29
>290
使えない

>271-272

292:名無しさん＠お腹いっぱい。
10/09/04 19:52:47
そか
ミジンコだからワケワカメというか
一言でいうとメンドイ感じになってしまったんだな
プロクシtxt読むの便利だったのに

293:名無しさん＠お腹いっぱい。
10/09/04 20:59:23
何言ってるのかよく判んないけど「多分僕はやればできる子」でOK?

294:名無しさん＠お腹いっぱい。
10/09/04 22:06:01
前のehg.plではプロクシをテキストで保存したリストを読み込んで画像を落とせてたんだよ

295:名無しさん＠お腹いっぱい。
10/09/04 23:20:32
ソースあるなら自分で書き換えたらどうだ？

296:名無しさん＠お腹いっぱい。
10/09/04 23:32:15
いやいや自分では作らないからこそ自分の意思を明確に伝える努力が大切だよ。

297:名無しさん＠お腹いっぱい。
10/09/04 23:54:10
なら金払って買ってこい。

298:名無しさん＠お腹いっぱい。
10/09/04 23:56:35
ダウソ厨の考えは理解できません

URLﾘﾝｸ(sankei.jp.msn.com)

299:名無しさん＠お腹いっぱい。
10/09/05 00:01:31
まあ待て。

A)
そうでしたか。
私も自分で調べようと考えたのですが他愛のない技術しか持ち合わせておらず
一言で言うと調べるのが面倒臭くなったのですよ。
前のehg.plではプロクシの一覧をテキストで読む機能が便利でした。

B)
そうでしたか。
作者はまだ初心者なのでオリジナルのコードを深く理解することができず
一言で言うと機能を取り込むことが面倒臭くなったのでしょう。
前のehg.plではプロクシの一覧をテキストで読む機能が便利でした。

いずれにせよ遠回しに「対応して下さい」と言ってるに違いない。
大体日本人の多くは発注下手なんだよ。

300:名無しさん＠お腹いっぱい。
10/09/05 12:36:18
>>299
ちょっと違うな。

C）
作者はWWW:Mechanizeでもproxy使えると思ってた

301:名無しさん＠お腹いっぱい。
10/09/05 20:29:40
まとめると現状でも動作は大丈夫だったが希望としては将来的にそういった機能を盛り込んでもらえると楽
一気にダウンロードするスレ的に歓迎される

302:名無しさん＠お腹いっぱい。
10/09/05 21:00:51
そだな。
技術的に面倒なことはなんもないというか
この機会にsocketも覚えるんだな。
httpはrfcを読んでおくといい。

303:名無しさん＠お腹いっぱい。
10/09/05 21:18:35
みんながんばってね。

304:名無しさん＠お腹いっぱい。
10/09/05 22:00:45
画像のURLを収集する処理と実際に画像をダウンロードする処理を別プロセスにするんだ。
収集側はギャラリー毎にスレッドを分けて共有テーブルから応答時間を基準にしたラウンド
ロビンで選んだプロクシ経由で接続してURLをキューイングし、ダウンロード側はホストに
応じてスレッドを振り分けるんだ。
すげぇ効率良いぞ。
排他忘れんな。
歯磨けよ。

305:名無しさん＠お腹いっぱい。
10/09/05 22:08:01
>>304
windowsのperlでforkできんだっけ？

306:名無しさん＠お腹いっぱい。
10/09/05 22:42:10
後の移植を考えるとプロセス間通信絡みのI/Fは自分でライブラリを書くんだ。書けるよな。

307:名無しさん＠お腹いっぱい。
10/09/06 08:46:09
移植も何もPerlなんだしthreadsでいいじゃん。

次ページ