- 1 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/04/30(金) 02:13:12 ]
- 前スレ4年間のご愛顧ありがとうございました。
昨今はe-hentai、imagefap等の強敵が現れ、ひとりHのネタ集めには世知辛い世の中であります。
そこで皆様のノウハウを今一度ここに結集させていただきたく三度、スレを立てさせてもらいました。
前スレ 連番のＨ画像/動画を一気にダウンロードする2
pc12.2ch.net/test/read.cgi/unix/1135533382/
前々スレ 連番のH画像を一気にダウンロードする
pc8.2ch.net/test/read.cgi/unix/979106537/
- 281 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/08/28(土) 12:20:18 ]
- 難儀なことせんでも直接プロキシに接続して "GET exhentai.org/.... HTTP/1.1" すりゃ良いじゃん
と首をかしげるのは俺がphpだから？
- 282 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/08/29(日) 00:50:04 ]
- 生でやってたらどれくらいでアク禁になるの？
- 283 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/08/30(月) 19:00:40 ]
- NEWの位置が変わったな
- 284 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/01(水) 21:12:18 ]
- ehg.plかってに改造
1.>219 >220 適応
2.URLを "g.e-hentai.org/s/9cafc82564/81678-1"のタイプにも適応
3.hentaiverse.netと他のサーバーでスリープ時間変更
4.509エラー時に長期スリープ
5.DLエラー時にログファイルに記録し、次のページから続行
こんだけ改造したらソースがスパゲティーにorz
誰か要る？
- 285 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/01(水) 21:25:09 ]
- 一日かけてどれくらい取れるの？
生だとスリープ変えても帯域制限に引っかかるから結局遅くなると思うんだけど
- 286 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/01(水) 21:27:55 ]
- >>284
欲しいです！
- 287 名前：284 mailto:sage [2010/09/01(水) 22:00:17 ]
- ehg.pl改造版
ttp://www1.axfc.net/uploader/Sc/so/149212.zip
バグや改善点見つけたら報告お願いします。
>一日かけてどれくらい取れるの？
IP更新してスグで百数十ファイル落とすと509エラーになった。
その後は1時間に40〜80ファイルとバラバラ。
画面見て509エラーになってたらIP変更やって（日中は仕事）1000ファイルで19時間かかってた。
- 288 名前：284 mailto:sage [2010/09/01(水) 22:19:21 ]
- 追伸.
perl弄り始めて数週間なので改造部分のソースは汚いです。すいません。
スリープ時間やログファイル名等はソースのコメントを見ながら各自でいじって調整してください。
- 289 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/01(水) 23:32:28 ]
- あーびっくり。一瞬前スレ開いたのかと思った。
- 290 名前：名無しさん＠お腹いっぱい。 [2010/09/04(土) 03:25:21 ]
- >>288
とりあえず動作確認
これ-p使える？浦島なんだが以前のｐｌじゃプロクシ噛ませられたよな
- 291 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/04(土) 15:54:29 ]
- >290
使えない
>271-272
- 292 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/04(土) 19:52:47 ]
- そか
ミジンコだからワケワカメというか
一言でいうとメンドイ感じになってしまったんだな
プロクシtxt読むの便利だったのに
- 293 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/04(土) 20:59:23 ]
- 何言ってるのかよく判んないけど「多分僕はやればできる子」でOK?
- 294 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/04(土) 22:06:01 ]
- 前のehg.plではプロクシをテキストで保存したリストを読み込んで画像を落とせてたんだよ
- 295 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/04(土) 23:20:32 ]
- ソースあるなら自分で書き換えたらどうだ？
- 296 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/04(土) 23:32:15 ]
- いやいや自分では作らないからこそ自分の意思を明確に伝える努力が大切だよ。
- 297 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/04(土) 23:54:10 ]
- なら金払って買ってこい。
- 298 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/04(土) 23:56:35 ]
- ダウソ厨の考えは理解できません
ttp://sankei.jp.msn.com/affairs/crime/100831/crm1008311536016-n1.htm
- 299 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/05(日) 00:01:31 ]
- まあ待て。
A)
そうでしたか。
私も自分で調べようと考えたのですが他愛のない技術しか持ち合わせておらず
一言で言うと調べるのが面倒臭くなったのですよ。
前のehg.plではプロクシの一覧をテキストで読む機能が便利でした。
B)
そうでしたか。
作者はまだ初心者なのでオリジナルのコードを深く理解することができず
一言で言うと機能を取り込むことが面倒臭くなったのでしょう。
前のehg.plではプロクシの一覧をテキストで読む機能が便利でした。
いずれにせよ遠回しに「対応して下さい」と言ってるに違いない。
大体日本人の多くは発注下手なんだよ。
- 300 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/05(日) 12:36:18 ]
- >>299
ちょっと違うな。
C）
作者はWWW:Mechanizeでもproxy使えると思ってた
- 301 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/05(日) 20:29:40 ]
- まとめると現状でも動作は大丈夫だったが希望としては将来的にそういった機能を盛り込んでもらえると楽
一気にダウンロードするスレ的に歓迎される
- 302 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/05(日) 21:00:51 ]
- そだな。
技術的に面倒なことはなんもないというか
この機会にsocketも覚えるんだな。
httpはrfcを読んでおくといい。
- 303 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/05(日) 21:18:35 ]
- みんながんばってね。
- 304 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/05(日) 22:00:45 ]
- 画像のURLを収集する処理と実際に画像をダウンロードする処理を別プロセスにするんだ。
収集側はギャラリー毎にスレッドを分けて共有テーブルから応答時間を基準にしたラウンド
ロビンで選んだプロクシ経由で接続してURLをキューイングし、ダウンロード側はホストに
応じてスレッドを振り分けるんだ。
すげぇ効率良いぞ。
排他忘れんな。
歯磨けよ。
- 305 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/05(日) 22:08:01 ]
- >>304
windowsのperlでforkできんだっけ？
- 306 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/05(日) 22:42:10 ]
- 後の移植を考えるとプロセス間通信絡みのI/Fは自分でライブラリを書くんだ。書けるよな。
- 307 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 08:46:09 ]
- 移植も何もPerlなんだしthreadsでいいじゃん。
- 308 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 09:53:37 ]
- ithread ってまともに動くようになったの?
- 309 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 16:09:49 ]
- 厳密にスレッド制御するならともかく
ダウンロード用にスレッド分けるくらいならithreadsで問題ない
- 310 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 18:10:33 ]
- そもそもこの板の住人的にわざわざperlでやる必要あるのか？
curl+最初から入ってるコマンドの組み合わせで全部事足りるはずだけど
- 311 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 18:23:02 ]
- 目についたタイトル片っ端から放り込んで3時間で1Gとかやってみたけどぶっちゃけそこまでやると目を通せないんだよね
見終わったエロ漫画とか最初の数ページ見ていいと思った奴を取得リストに貯めといて寝てる間に取っとく程度でいい
- 312 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 19:02:23 ]
- >>310
perlの布教と達成感と自己満足
- 313 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 19:42:40 ]
- >>310
そう単純に行かないサイトがあるからやってんじゃん?
- 314 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 19:54:54 ]
- perl以外がおとなしいって言うかperlが我がもの顔をしたがるのか
いずれにせよ全力で兎を追うのが狩りの醍醐味。しかもエロバニーだ
- 315 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 19:57:44 ]
- 別にrubyとかpythonとかでもいいんじゃね
- 316 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 20:04:15 ]
- 文字操作に関してperlは、早々からライブラリが充実してたからな。
俺は他人のスクリプトルールで詰まったり調べるのめんどいからCでやってるけど。
- 317 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 20:31:35 ]
- 今のe-hentaiは登場した当初と違ってそれほど中身は凝ってない
単に画像のURLを取り出してアクセスするよりも規制をどう回避するかに注力した方がいい
- 318 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 20:51:42 ]
- >>317
そこはもう自分の中でクリアしちゃったからもんだから今暇なんだ。
- 319 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 21:12:06 ]
- 元のhtmlだけ串経由で取って画像は生で取る
hentaiverseが割り当てられてるか?nl=1で取得し直した画像は串で取得（バックグラウンド実行にしていい）
たったこれだけの話なのにperlで書くからややこしくなる
- 320 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 21:12:15 ]
- >>311,317
自動化すると見なくなるよな。
とりあえず、タグ配置変更きたらメール飛ばして知らせるような仕組みでも追加してれば。
- 321 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 21:28:54 ]
- >>319
それではややこしくない方法をご教授ください
- 322 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 21:31:49 ]
- >>319
思い込み。hentaiverseでも画像だけ取りにいく分には規制のカウント外。
心配せずに直に取りにいってOK。プロクシのオーバーヘッドだけ損してるぞ。
nl=1で取りに行くのは本文なのでプロクシ経由が吉。
だからといって全部nl=1で取りに行くなよ。メインサーバが重くなるので
嫌われる。
- 323 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 21:39:49 ]
- >>320はタグの配置が変わった程度でコケる可哀相な仕様なの?
- 324 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 21:42:40 ]
- >>323
神仕様おせーて
- 325 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 21:54:57 ]
- >>323 自分で考え出して悦に入るのも醍醐味じゃ、ほっほっほ。
- 326 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 22:11:42 ]
- 「醍醐」は牛や羊の乳を精製する五段階の最終過程を意味し、その汁は甘く濃厚という。
転じて「本来の愉悦」をさして「醍醐味」と呼ぶようになったのはおそらく豆であろう。
- 327 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 22:23:29 ]
- perl開発ユーザー以外は全く公開しないな。
- 328 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 22:25:40 ]
- >>327
んじゃ別の言語のを公開してみ。
- 329 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 22:36:51 ]
- 日本語ツール
ソース
「ウｐレカス」
- 330 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 22:40:26 ]
- ミジンコ的には何で開発しようが適当にﾘﾄﾞﾐ読んで理解できて楽に一気にダウンロードできりゃ問題ない
- 331 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 22:41:56 ]
- スレ的にはそういうスレだ
- 332 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 22:42:12 ]
- >>330
ミジンコどころか……
割れ神（ピラミッドの頂点＝神）
↑
放流厨←──┐
↑ │
┌→吸出し厨 ┐ウイルス厨
│ │
├→購入厨─┤
│ │
└─販売厨←┘
↓ ↑
卸し厨
↓ ↑
製造厨
↓ ↑
開発厨（食われるだけの存在＝ミジンコ）
- 333 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 22:53:31 ]
- 実はperl使い以外はperlは過去の産物、寄って集って拡張した挙句に
ぐちょぐちょになって言語と呼ぶには恥ずかしい化け物に成り果て
「perlを書いて一人前」と勘違いして泥沼に嵌り顎まで漬かってなお
あがいている奴が哀れでならないと思っている。
- 334 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/06(月) 22:59:12 ]
- perl使い叩きのスレはここですか？
- 335 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/07(火) 08:40:23 ]
- ほとんどのヒトはその時に一番使いやすい言語でやればいいだけと思っているので
言語にいちいち文句言ってるやつが哀れでならないと思っている。
- 336 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/07(火) 11:14:16 ]
- 生み出されれば使うだけ
叩かない、使って落とせりゃおk
いちいち言語とか気にしてるのは残念な人
- 337 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/07(火) 13:33:58 ]
- perlでやればパイプを一杯使わなくても文字の操作が一発でできる
しかしperlモジュールでダウンロードするよりcurlとかwgetでやった方がお手軽に各種設定ができる
今のehg.plの欠点は効率的な串の使い方が出来ないことなので後者が提案された
この辺が落とし所かと
- 338 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/07(火) 18:37:25 ]
- 公開されてるツールがperl版しかない。
スクリプト言語だから読めれば改造が楽。
一から作るより既存のツールいじったほうが楽。
故にperl版使用。
ただニワカperlユーザーだから大きくソース改変するほどの知識が…。
- 339 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/08(水) 09:49:43 ]
- 作者がwindowsだからperlだけで書いてるだけじゃね？
windowsでUNIX／LINUX環境整えるのはめどいし。
perlとかの言語だけならそのインタプリタ入れるだけで
間口がUNIX以外にも広がるじゃん
- 340 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/08(水) 10:39:37 ]
- 言語に優劣は無いがユーザーに優劣は存在する。
ダメ出ししかしないクズは氏ネ。
- 341 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/08(水) 12:39:40 ]
- そういや最初のget.plもUNIXで動かすとディレクトリのパーミッションでこけてたな
ここってWinユーザー多いのかもな
- 342 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/08(水) 17:30:00 ]
- そんなに串.txt読みに行かせるのって難しいの？
当時それができたplがあったけど、それうｐっても参考にはならんか
- 343 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/08(水) 18:32:57 ]
- 文句言うなら使わないか、自分で何とかしろ。
慈善事業じゃねえんだ。
- 344 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/08(水) 19:05:41 ]
- 自分で何とかしてるけどこうしたらいいんじゃないかと提案しただけ
- 345 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/08(水) 19:19:59 ]
- すれ違う想い
- 346 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/08(水) 21:23:30 ]
- >342
うｐ希望。
- 347 名前：名無しさん＠お腹いっぱい。 [2010/09/09(木) 22:19:49 ]
- このスレ怖い
- 348 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/09(木) 23:31:29 ]
- ははは何言ってんだい
スレが怖いんじゃねえ
板が怖いんだ
- 349 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/09(木) 23:33:05 ]
- 頭痛が痛い
- 350 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/09(木) 23:42:29 ]
- ま、まんじゅうなんて別に怖くなんかないんだからねっ！
だからさっさとまんじゅうもってきなさいよ！
- 351 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/10(金) 00:19:13 ]
- ここらでひとつ、おまえがイタい。
- 352 名前：名無しさん＠お腹いっぱい。 [2010/09/10(金) 09:44:26 ]
- >>342
＞そんなに串.txt読みに行かせるのって難しいの？
epiphanyで在れば読める可能性は在るかも知れ無いですね…
- 353 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/10(金) 11:01:53 ]
- ファイルアクセスは基本面倒。
既存ファイル？新規？追記？上書き？テキスト？バイナリー？
形式あってる？読み込みバッファのオーバーフロー大丈夫？
文字コードは？
難しいわけではないけど面倒。
- 354 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/10(金) 12:09:55 ]
- シェルでやりゃいいじゃねえか
この板に来たのも何かの縁だしcygwinなりcoLinuxなり入れろよ
- 355 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/10(金) 12:23:39 ]
- なにそれこわい
- 356 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/11(土) 21:04:32 ]
- 自分は今までスクリプト起動時にプロクシリストを読んで随時切り替えながら
処理結果からプロクシを採点して次に使う際の基準にしてたんだ。
でも複数を同時に起動したとき互いの採点が共有できないのが難点。
スクリプトも標準入力から複数のギャラリーを繰り返し入力できるものの
閉じたとき学習結果を保存せず毎回ゼロからスタートしちゃうのも難点。
んでここに触発されて今日'プロクシ選択サーバ'を書いたよ。スクリプトでね。
socket通信なのでサーバはどこにでも置ける。スクリプトは毎回サーバから
プロクシをチェックアウトし、htmlを読んだら結果と共にチェックイン。
サーバがチェック時間や処理結果から重み付けを更新して適宜ファイルに反映。
動的な追加削除もできるようにした。これで同じプロクシを頻繁に選んじゃう
こともないし状態も共有できる上に学習速度も速いだろうと期待。
リスト自体は前から別スクリプトでcybersyndromeを読み応答が良好でhentaiに
繋がって且つ弾かれないものを収集して作ってる。この収集だけで小一時間
かかるのが面倒で、作ったら一週間程継続使用してる。
ちなみに'chunked'なんてものがあるってのはそこで初めて知った。
だが断る。
- 357 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/11(土) 21:18:06 ]
- そこまでエロにこだわる執念の恐ろしさを知った…
俺も5年くらい前まではそうだったかも試練けど、最近は丸くなったな思うよ。
- 358 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/11(土) 21:31:06 ]
- うん、何かにつけて凄い凝り性なんだ。
極みまで達した日には飽きもするんだろうけど
少しも青二才から抜け出せた気がしないんだよね。
- 359 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/11(土) 22:25:03 ]
- httpdの勉強になって良いよな。
- 360 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/11(土) 22:33:25 ]
- んじゃあその熱意に応じて
普通のプロキシは良いものを選んでも気がつくと使えなくなっていることが多い
また速度との兼ね合いからある特定のプロキシに群がることが多い
その点、Torを使えば、ほぼ100%の確率で接続が有効で、潤沢にある中からランダムに割り当てられたプロキシが取得できる
規制されたり極度に遅い串に当たったら、その出口ノードを排除する設定にして再起動することでノードの引き直しができる
Torはデータディレクトリとポート割り当てさえ変えれば多重に起動できる
またTorポート一つにつきsocksからhttpに変換するためのソフトを一つ起動する必要がある
- 361 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/11(土) 22:50:28 ]
- だがその勉強で収入が上がるかといえばそんなことはない
- 362 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/11(土) 23:00:52 ]
- >>359
今回のサーバは別にhttpを使ってる訳ではないが、まあ画像をデータベース化して
ブラウザから検索閲覧できる自前のhttpサーバはhentaiとセットで使ってる。
さすがにスクリプトではないけど。
>>360
へぇ面白そうだね。P2Pってところは反射で気になるけど。
>>361
収入はさておき会議と納期と折衝とSPICEと金勘定でがんじがらめの仕事に比べたら
好き勝手できるここは天国だよ。明日への活力ってところか。
- 363 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/12(日) 13:47:30 ]
- なんか臭くなってきたな
- 364 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/12(日) 15:10:51 ]
- 今時は分析と設計だけ日本でやって下流の工程は中国に投げちゃうからね。
「俺も書きてぇ」っていう欲求不満はこんな所でしか晴らせないよな。
- 365 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/12(日) 15:42:11 ]
- 串リストの入手が面倒であきらめ。
ttp://www.multiproxy.org/all_proxy.htm
ここのリストからいくつか適当に選んで"LANの設定"のプロクシサーバーにセットしてみたけど無効なのばっかりだった。
- 366 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/12(日) 17:33:19 ]
- IEでOKボタンいっぱい押しながら試したりして大変だったね。
自分ならtelnetでHTTP送ってみるかな。
- 367 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/12(日) 21:57:54 ]
- >>365
笑えよ。"updated: 11-Feb-2009" だってさ。
- 368 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/12(日) 22:34:41 ]
- 串なんてツールで使えるS判定のコピペるだけ
それをtxtにして読みに行かせれば・・・出来たわけだし
- 369 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/13(月) 21:41:56 ]
- 1.プロクシリストから1行読み込み
2."http://"付けて $ENV{HTTP_PROXY} にセット
3.$mech = WWW::Mechanize->new()
4.$mech->get() 成功！
5.リストから次のプロクシ読み込み
6."http://"付けて $ENV{HTTP_PROXY} にセット
7.$mech->get() 失敗！
8.エラーコードは200
HTTPステータスコード
>200 OK
>OK。リクエストは成功し、レスポンスとともに要求に応じた情報が返される。
ブラウザでページが正しく表示された場合は、ほとんどがこのステータスコードを返している。
- 370 名前：369 mailto:sage [2010/09/13(月) 21:45:34 ]
- 途中で送っちゃったorz
6と7の間に$mech = WWW::Mechanize->new()入れ忘れてるし。
で、
9. 以後5〜8を繰り返し
なんか初期化処理必要なのか？
- 371 名前：369 mailto:sage [2010/09/13(月) 21:54:42 ]
- orz
$@ を$!と書き間違えてた・・・
なんとかなりそう。
ただ元のソースいじり過ぎてスパゲティ状態（URLリストファイル対応、自動題名取得、エラーファイル再取得バッチ出力）
何処に追記すればいいのやらorz
- 372 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/13(月) 22:46:22 ]
- いろいろ試行錯誤紆余曲折してるようだけど
proxyが a.b.c.d:p とするとポートpでa.b.c.dに接続して
GET exhentai.org/s/hoge/foo-bar HTTP/1.1<cr><lf>
Host: a.b.d.d:p<cr><lf>
User-Agent: Mozilla/5.0<cr><lf>
Accept: text/html,*/*<cr><lf>
Accept-Encoding: gzip<cr><lf>
Connection: Close<cr><lf>
Cookie: ipb_member_id=1<cr><lf>
<cr><lf>
なり送れば済むんじゃないかい? Mechanizeは強力なんだろうけど
袋とじを開けようとしてチェンソーに振り回されているみたいだよ。
と>>281は言いたかったと思う。
ついでに "RFC 2616" で検索したものを読んどいた方がいいと思う。
と>>302も言いたかったと思う。
- 373 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/14(火) 03:42:24 ]
- あまりにも大量すぎて画像の状態だと管理できなくなってきたのでtarで固めてcomixで読むことにした
- 374 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/14(火) 09:57:20 ]
- １日に３００以上あげられてるからなぁ
- 375 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/14(火) 18:39:37 ]
- 自分で固めたなら問題ないと思うけど、comixってパスワード付き書庫開くとX道連れにしない？
ctrl+alt+f1の画面でパスワード入力を受け付けるプロンプトが出てるみたいだけどパスワード入れてもだめ
- 376 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/14(火) 20:12:34 ]
- >>375
うわ マジか
同人誌はzip配布の場所では取ってないから試したことなかった。気を付ける
最初はtar.gzかzipで固めてたんだけどふとtarでいいじゃんって思って試したら使えたので全部tarにしてしまった
もともと中身全部圧縮済み画像だからファイルサイズも大して変わらんし（当然だが）tarの方が展開速度が明らかに速い
似たような理由でWindowsだと無圧縮zipが使われてるらしいな
今までcomixってイマイチなソフトだなぁと思ってたんだがアーカイブ対応ビューワとしては及第点かな…
- 377 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/16(木) 19:21:38 ]
- 保守
- 378 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/18(土) 20:23:34 ]
- Proxyテストプログラム
ttp://www1.axfc.net/uploader/File/so/51323.zip
g.e-hentai.orgにアクセス出来るかテストするツール。
- 379 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/20(月) 12:24:02 ]
- 物色したギャラリーやページを待ち行列に追加する手作業が面倒だったんだけど
ブラウザの「リンクのURLをメールで送信」で自前のプログラムに渡せば楽チンって気が付いた。
Firefoxの拡張を自分で書ければ一番いいんだけど。
- 380 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/21(火) 12:25:06 ]
- なかなかうまくスクレイピングできないなーと思ってぐぐったら
他の方々も苦労してらっしゃったのですね…
もう中身とかどうでもいいからいかに完璧にダウンロードできるかを極めたい。
今は普通にスクレイピングしながら509くらったら串きりかえしてるんだけど
すぐ串が足りなくなってしまう…
- 381 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/09/21(火) 12:47:07 ]
- 取得失敗対策もやって100%取れるようになったけど
一つだけハマったのはうpの段階で途切れたり壊れてるjpgがある
|
 |
