連番のＨ画像/動画を一気にダウンロードする2

連番のＨ画像/動画を一気にダウンロードする2 at UNIX

1:前スレ1
05/12/26 02:56:22
前スレ5年間のご愛顧ありがとうございました。PGFは無事コンプしましたが、これからも皆様の日々
実践されているノウハウを教えていただきたく再度、スレを立てさせてもらいました。
前スレ連番のH画像を一気にダウンロードする
ｽﾚﾘﾝｸ(unix板)

2:名無しさん＠お腹いっぱい。
05/12/26 03:35:40
最古スレ
ｽﾚﾘﾝｸ(unix板)

3:名無しさん＠お腹いっぱい。
05/12/26 04:52:56
mplayer の問題なのか、
% mplayer *
とやっても全部の動画が再生される前に落ちてしまうので
わざわざ for i in *.wmv とかやってる。5年間のノウハウで何とかならんかね。

4:名無しさん＠お腹いっぱい。
05/12/26 08:15:49
新スレおめ

カレント以下のjpgファイルとかをシーケンシャルな名前で
カレントディレクトリに持ってくる(リネームする) スクリプトを
書いたので採点お願いします.

使用例)　$Rname wmv idol
でカレントディレクトリ以下にあった*.wmvファイルが
カレントディレクトリにidol001.wmvからidol00x.wmvという
名前でリネームされます.

# 続く

5:4
05/12/26 08:18:29
$cat ./script/Rname
#!/bin/bash

# parameter analyze
SUF=$1
if [ -z $1 ] ; then
echo 'no suffix specified. default: *.jpg will be used';
SUF='jpg';
fi

PRE=$2
if [ -z $2 ] ; then
echo 'no prefix specified. default X will be used';
PRE='X'
fi

# fatal situation?
if [ $(find . -name "$PRE*.$SUF"| head -1) ] ; then
echo ' Fatal situation. Please think again the prefix. Exit.'
exit;
fi

# 続く

6:4
05/12/26 08:20:18
# create operation list
num=1
find . -name "*.$SUF" |
while read fpath
do
echo mv $fpath $PRE$(printf %03d $num).$SUF
let num=$num+1
done

# Is this OK?
echo -n 'Right?[y/n]'
read ans

# exec operation
if [ $ans = 'y' ] ; then
num=1
find . -name "*.$SUF" |
while read fpath
do
eval mv $fpath $PRE$(printf %03d $num).$SUF
let num=$num+1
done
fi

# 終わり

7:名無しさん＠お腹いっぱい。
05/12/26 14:45:11
yahooで一杯になってた。ｳﾜｧｧ-----｡ﾟ(ﾟ´Д｀ﾟ)ﾟ｡-----ﾝ!!!!

8:名無しさん＠お腹いっぱい。
06/01/07 23:56:59
URLﾘﾝｸ(blogfiles.naver.net)
の画像がブラウザで見れて、wgetでは落とすことができません。

wget --referer=URLﾘﾝｸ(blogfiles.naver.net) URLﾘﾝｸ(blogfiles.naver.net)

referer とかも設定しているつもりなんですけど、どうやればコマンドラインで落とすことができますか？
よろしくおねがいします。

9:名無しさん＠お腹いっぱい。
06/01/08 00:06:40
>>8
wget --referer=～の行をコピペして実行したらウチではいけたよ

10:名無しさん＠お腹いっぱい。
06/01/08 02:01:51
>>9
そうなんですか。うちでは
HTTP request sent, awaiting response... 404 Object Not Found
02:00:06 ERROR 404: Object Not Found.
とか言われてしまいます。なんでだろ

11:名無しさん＠お腹いっぱい。
06/01/08 06:58:51
464.jpの115番台位（comic115.464.jp）以降のサーバーから連番DLできたかたいますか？
古めの108番にあるものはリファーとUAだけですんなり行くんですが
新しめのだと403エラーになります。(IEにコピペ直飛びだとOK

URL同リファ→一段づつ削る、無し
UA各種
-r -npでディレクトリDL
001.jpgで単品DL

と思いつく限り試したのですがダメでした。
できたかたいましたらヒントだけでも結構ですので参考に教えて頂けませんか。

〆参考urlです p://comic118.464.jp/data/yosidaakimi/bananafissyu1/020.jpg

12:名無しさん＠お腹いっぱい。
06/01/08 14:41:27
>11
Forbidden
You don't have permission to access /data/yosidaakimi/bananafissyu1/020.jpg on this server.
Apache/2.0.54 (Fedora) Server at comic2.464.jp Port 80

13:名無しさん＠お腹いっぱい。
06/01/08 19:09:12
貼る前にチェックしたのですが今見たらエラーになりますね。
確認したところ464に一旦ログインしないとアドレス直貼りでも見れないようでした。
なのでWGETのhttpuser,passを設定したもののエラーになり
ブラウザでも464にログインしただけでは駄目で一度該当巻のページに行くことで
やっとIEコピペ飛びいけました。
難しい設定されてるようで連番は無理っぽい気がしてきました。。

もし同様にトライされてるかたいましたら気長に情報お待ちしております、ありがとうございました。

14:名無しさん＠お腹いっぱい。
06/01/08 21:02:56
>>13
勘だけど、そのページのクッキーを解析してみな。
偽装はそれからだ。

15:名無しさん＠お腹いっぱい。
06/01/08 22:08:43
キャシュ消して再確認したのですがクッキーは作成されておらず
javascriptがあるだけでした。
スクリプトもxxx.jpgを表示、虫メガネ機能だけを書いたものでクッキー記述はなかったです。
またちょこちょこ調べてみます。ありがとうございました。

16:名無しさん＠お腹いっぱい。
06/01/19 01:25:21
URLﾘﾝｸ(www.descargas.sectahentai.org)～180.jpg

の画像がWebMGetで落とせません。
また、DLHelperで上記のURLを表示させようとすると URLﾘﾝｸ(descargas.sectahentai.org) へ飛ばされます。
解決方法はありますか？
よろしくお願いします。

17:名無しさん＠お腹いっぱい。
06/01/19 02:24:29
refferer?

18:名無しさん＠お腹いっぱい。
06/01/19 04:39:48
リファラだけっぽいね。おいしくいただきました

19:名無しさん＠お腹いっぱい。
06/01/28 08:56:57
>>16
$zsh
%wget --referer=URLﾘﾝｸ(www.descargas.sectahentai.org) URLﾘﾝｸ(www.descargas.sectahentai.org)

20:名無しさん＠お腹いっぱい。
06/02/15 01:25:59
wgetを使ってURLﾘﾝｸ(wallstny.exblog.jp)のblogを丸ごと保存しようと思っています。
ブラウザで表示される文はきちんと取得できるのですが、
ページの一番下にある"次のページ"から先やカテゴリーといったリンクが取得できません。

エロ画像ではないと思いつつもダウンロードに関する適切なスレが分からないので
ここで質問してみました。教えて頂けると助かります

21:名無しさん＠お腹いっぱい。
06/02/15 07:17:57
464ﾀｲｰﾎage

22:名無しさん＠お腹いっぱい。
06/02/15 07:37:36
URLﾘﾝｸ(f30.aaa.livedoor.jp)

23:名無しさん＠お腹いっぱい。
06/03/19 18:10:30
>>20
$wget -r -np -l 20 URLﾘﾝｸ(hogehoge.jp)

24:名無しさん＠お腹いっぱい。
06/04/06 23:48:33
チャイニーズなHPの画像ってなんか色々ほどこしてて一気に落とせない希ガス。
例えば　URLﾘﾝｸ(zxz.jugem.jp)　のリンク先とか。
誰か支援お願いします。

25:名無しさん＠お腹いっぱい。
06/05/04 19:03:09
URLﾘﾝｸ(2.dtiblog.com)
数字は可変
根こそぎ落とすにはどうすればいいでしょうか。
今は仕方ないので、シェルスクリプトでアドレスを片っ端から書いた
リストを作ってそれをwgetで読み込ませていますが、もっとスマートな方法が
無いものか。

26:名無しさん＠お腹いっぱい。
06/05/04 20:37:08
>25
そうやって悩んでいろいろやっているうちに、
立派なUnix使いに成長していきますよ。

27:名無しさん＠お腹いっぱい。
06/05/04 23:24:50
>>25
神様はseqを与えられた。

28:名無しさん＠お腹いっぱい。
06/05/05 16:37:43
>>25俺にもurabonのアドレスを片っ端から書いていた時代がありました。

29:名無しさん＠お腹いっぱい。
06/05/05 17:21:54
>>25
Firefox+FlashGotが(･∀･)ｲｲ!!

30:名無しさん＠お腹いっぱい。
06/05/06 17:41:31
GW中にエログ巡回して画像保存してその日に新しくダウンロードした画像のスライドショーのHTMLを吐き出すスクリプト書こうと思ってたのに
もうGW終わっちゃうよう。いつでも書けるけどまとまった時間で書きたかったのに

31:名無しさん＠お腹いっぱい。
06/05/06 21:10:56
もはや画像自体はどうでもよくなってきてるが…

意外と手強いパターン
URLﾘﾝｸ(x.warnet.ws)

なかを見ると
URLﾘﾝｸ(img17.imagevenue.com)
みたいな連番対策付きのファイル名になってて
実際のデータはさらにハッシュつきdirの中。
URLﾘﾝｸ(img17.imagevenue.com)

2段階再帰かければ届きそうだけど

32:名無しさん＠お腹いっぱい。
06/05/06 23:23:27
>>31
そんなの俺ならあきらめて俺も再帰だな
wgetに-lオプションつけて

33:名無しさん＠お腹いっぱい。
06/05/07 01:15:17
まじな話、grepのようなコマンドをほかのサーバにログインしないで
かける方法ってないもんか

34:名無しさん＠お腹いっぱい。
06/05/08 19:00:10
まじな話
URLﾘﾝｸ(enum.ninpou.jp)
これ使えばいいじゃん(jpgのダウンで使用)

35:名無しさん＠お腹いっぱい。
06/05/08 19:51:42
>>34
宣伝乙

36:名無しさん＠お腹いっぱい。
06/05/09 02:38:02
>>34イラネ

37:名無しさん＠お腹いっぱい。
06/05/13 03:44:48
ブラウザ(w3m含む)では見れる
URLﾘﾝｸ(theblind.liveadulthost.com)

wget 出来ない(--referer は試した)

ナジェ?

38:名無しさん＠お腹いっぱい。
06/05/13 09:35:49
>>37
User-Agent

39:名無しさん＠お腹いっぱい。
06/05/18 13:02:55
>>38
そうみたいだね。

>>37
%wget -U='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0; .NET CLR 1.0.3705)' URLﾘﾝｸ(theblind.liveadulthost.com)

40:39
06/05/18 13:24:58
画像120まであった。
100を120に訂正してね。

41:名無しさん＠お腹いっぱい。
06/05/19 01:33:55
>>39
001.jpgじゃなくて1.jpgにされてしまってだめだったぞ。
俺はこれ
seq -f URLﾘﾝｸ(theblind.liveadulthost.com) 1 120|wget -U ' ' -i -

42:名無しさん＠お腹いっぱい。
06/05/19 20:38:43
毎回UAのオプション付けるの面倒だから、
俺は~/.wgetrcに以下を追加してる
user_agent=Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)

43:名無しさん＠お腹いっぱい。
06/05/27 09:17:13
URLﾘﾝｸ(hp34.0zero.jp)

44:名無しさん＠お腹いっぱい。
06/05/27 21:32:36
ダウンロードじゃないけど linux 版(wine版)の picasa が出たってさ

45:名無しさん＠お腹いっぱい。
06/06/12 13:04:46
トラジ復活age

46:名無しさん＠お腹いっぱい。
06/06/15 12:23:05
ようつべオワタ＼(^o^)／

47:名無しさん＠お腹いっぱい。
06/06/30 10:03:32
この辺は結構強敵
URLﾘﾝｸ(www.imagefap.com)

htmlパースして thumb => full 置換すればいいんだけど
順序が失われるんでカウンタ用意してリネーム...

そろそろ手軽にの領域じゃねーな

48:名無しさん＠お腹いっぱい。
06/06/30 20:05:05
自作のしょぼいダウンローダうｐ
URLﾘﾝｸ(file300kb.run.buttobi.net)

例えば>>47なら
$ ./exwgetr -a -o -d "/thumb/.*.jpg$" "URLﾘﾝｸ(www.imagefap.com) " | sed "s/thumb/full/" | wget -i -

49:名無しさん＠お腹いっぱい。
06/07/03 12:22:33
>>48
なかなか使えますね～
ありがたく使わさせて頂きますです。（謝謝！

50:名無しさん@Vim%Chalice
06/07/03 23:02:34
>>48
オイラも便利に使わしてもらってます。

今まで泥臭くやってたけど
一発でhtmlパースしてgrepまでこなしちゃうスクリプト素敵。
perl使いカコイイなぁ...素敵なスクリプトありが豚です。

51:名無しさん＠お腹いっぱい。
06/07/04 00:22:47
ちょっと恥ずかしいバグ修正版です
URLﾘﾝｸ(file300kb.run.buttobi.net)
503とか通信エラーにめっぽう弱い（なんとリトライ機能がついてない！）のでご注意を……

52:名無しさん＠お腹いっぱい。
06/07/04 03:26:51
wget を使っているのですが、ファイルスタンプが、そのファイルが出来た日付たとえば、
2004/05/12見たいな感じで取り込まれてしまいます。
そうではなく、取り込んだ日付ex 2006/07/04に変更するwgetのオプションってありますか？
wget -N かと思ったのですが、どうも違うみたいです。

53:名無しさん＠お腹いっぱい。
06/07/04 08:04:31
touch しちゃうのはだめ？

54:52
06/07/05 10:48:01
>>53
touchで行けました。ありがとうございました。
touchでは、空のファイル(0バイト)に強制的になるのかと思ってました。
時刻だけ変更できるのですね。

55:名無しさん＠お腹いっぱい。
06/07/15 11:40:15
さっきコミックをダウンロードして
早速DVDーRに落とそうとしたのですが容量が大きいんです。
それで圧縮したまま落としたんですが今度は
コミックの画像をめくろうとしてもめくれなくなりました。
(すべて展開したときはめくれました)
そこでDVD-Rにコミックを上手に落とすやり方を教えてください。

56:名無しさん＠お腹いっぱい。
06/07/15 11:51:46
DVD-Rはポリカーボネート樹脂でできているから、
コミック程度の重さならどんな落しかたでも問題ないと思うよ。

57:名無しさん＠お腹いっぱい。
06/07/15 17:22:21
>>55
マジレスすると、ウインドウズ系の圧縮フォルダ機能は全て展開しないとページめくりは出来ない

結論
コミックくらい買え

58:名無しさん＠お腹いっぱい。
06/07/15 18:09:21
unix系にはﾐｰﾔみたいなソフト無いの？

59:名無しさん＠お腹いっぱい。
06/07/15 20:03:05
>>58
探せばあると思うよ
ｽﾚﾘﾝｸ(linux板)l50

60:名無しさん＠お腹いっぱい。
06/07/16 00:17:49
wineじゃだめか

61:名無しさん＠お腹いっぱい。
06/07/17 14:11:33
>58
xv -vsmap が結局便利なんだよな

いいソフトあれば紹介よろしゅう

62:名無しさん＠お腹いっぱい。
06/07/17 22:18:09
>>48
再うpお願い出来ますでしょうか？

63:名無しさん＠お腹いっぱい。
06/07/17 22:56:05
refuse to dance

64:名無しさん＠お腹いっぱい。
06/07/17 22:58:32
>>61
個人的にはgimv使ってる。以前はxzgvが軽かったので使ってたのだけど、
ZIPファイルに入った同人誌をそのまま読めるので乗り換えた。

65:名無しさん＠お腹いっぱい。
06/07/17 23:22:04
俺もgimageview使ってる。
サムネイル表示出来て、画像表示も見やすくて、スケーリングが高品質な所が気に入ってる。

66:名無しさん＠お腹いっぱい。
06/07/17 23:29:31
> スケーリングが高品質
ミーヤ(Intel)のイメージライブラリとどっちが上?

67:名無しさん＠お腹いっぱい。
06/07/18 00:00:37
gimvではbilinear補間を使ってるけど、hyperbolicなんか使ったこともないし、
コミック類はnearestのほうがいいかなと思うけど、
いちいち切り替えるのがめんどうだからそのまんま。

で、どの方法と比較したいの?

68:名無しさん＠お腹いっぱい。
06/07/24 06:17:28
ハイビジョン映画などのコンテンツ
PCで見れるサイト見つけた！
無料で見れるものを凄く集まってる。
ハードディスクの容量足りない。(>_<)
URLﾘﾝｸ(piggy2doggy.googlepages.com)

69:名無しさん＠お腹いっぱい。
06/07/24 11:21:12
最近現れたのは拡張子が.shtmlでContent-type: text/plainな奴。
中身はHTMLで、画像へのリンクには乱数が入ってる。
つまりIEのContent-typeを無視するバグを利用しないと見れない。
とても嫌らしい。

70:名無しさん＠お腹いっぱい。
06/07/26 04:48:40
>>69
HTMLのソースからリンク抜きだしてwgetなりに渡すんじゃダメ？

71:名無しさん＠お腹いっぱい。
06/07/29 15:12:17
連番は URLﾘﾝｸ(service.ifdef.jp) のソースを保存して改良して
お気に入りでok

72:名無しさん＠お腹いっぱい。
06/07/29 16:42:00
宣伝?

73:名無しさん＠お腹いっぱい。
06/07/29 16:48:08
>>71
>>34

宣伝乙

74:71
06/08/01 15:19:52
>>34 にあったのね
すまん

宣伝じゃないよw

75:名無しさん＠お腹いっぱい。
06/08/06 14:23:15
過疎スレだな

76:名無しさん＠お腹いっぱい。
06/08/06 22:55:24
This is the thread in UNIX board.

77:名無しさん＠お腹いっぱい。
06/09/10 13:07:12
hosyu

78:名無しさん＠お腹いっぱい。
06/09/13 16:44:20
pthread_join( >>76, NULL );

79:名無しさん＠お腹いっぱい。
06/09/22 12:27:18
連番のＨ画像/動画を一気にアップロードする
いい方法はない？
yahooとかlivedoor みたいなとこで。

80:名無しさん＠お腹いっぱい。
06/09/22 12:35:56
>>79
URIの実例プリーズ

81:名無しさん＠お腹いっぱい。
06/09/22 13:02:34
>>79
zip

82:名無しさん＠お腹いっぱい。
06/09/22 18:59:58
>>80
例えばこんなところで↓
URLﾘﾝｸ(geocities.yahoo.co.jp)
URLﾘﾝｸ(photos.yahoo.co.jp)
URLﾘﾝｸ(briefcase.yahoo.co.jp)
>>81
それを昔していましたがzip以外でしたいです。

83:名無しさん＠お腹いっぱい。
06/09/23 08:49:55
>>82
lha

84:名無しさん＠お腹いっぱい。
06/11/15 13:15:50
JavaScript で window.navigator.appName 見てるとこって
どうすればいいの？

85:名無しさん＠お腹いっぱい。
06/11/15 23:46:36
どうしたいの？

86:名無しさん＠お腹いっぱい。
06/12/24 18:16:39
今までcurlのお世話になってきたけど、今日LWP::UserAgent使って書き直した。
ステータスが200でtext/html返してきた時にリトライするようにしたかった。

87:名無しさん＠お腹いっぱい。
06/12/25 01:56:18
完璧だ。対artemisweb最終兵器かもしれない。

88:名無しさん＠お腹いっぱい。
06/12/25 02:02:00
次はHTML::Parser使ってwget相当のも作るか。夢が広がりんぐw

89:名無しさん＠お腹いっぱい。
06/12/25 02:21:00
ヒント：今日はクリスマス

90:名無しさん＠お腹いっぱい。
06/12/25 02:38:41
plagger のプラグインをきぼん。

91:!dama
07/01/02 04:02:34
てすてす

92:名無しさん＠お腹いっぱい。
07/01/04 01:35:38
HTML::Parser使ったwget相当のも出来た。

93:名無しさん＠お腹いっぱい。
07/01/04 01:43:48
それ Plagger でできるお

94:名無しさん＠お腹いっぱい。
07/01/04 02:40:27
主目的はアルテミス対策の姑息なリトライ判定の導入ですから
それとHTML::*やHTTP::*やLWP::*のお勉強

95:名無しさん＠お腹いっぱい。
07/01/20 03:39:43
test

96:名無しさん＠お腹いっぱい。
07/04/02 19:34:19
連番ではないんですが、
imepita.jpなんかにうｐされた画像を自動巡回して拾い集めたいなと思っています。
例えばこんなのとか URLﾘﾝｸ(imepita.jp)
このurlをブラウザーで開くと普通にみれるのですが。
curlやwgetでこのURLを開くと404になってしまい、
htmlが取得できず困っています。
うｐされた画像のアドレスと表示用のURLに相関関係がないのでhtmlを調べないと画像が取得できません。

どなたか偉い方よろしくおねがいします

97:名無しさん＠お腹いっぱい。
07/04/02 20:05:08
>>96
お約束の User-Agent: とか Referer: あたりはどうよ。

98:名無しさん＠お腹いっぱい。
07/04/02 20:39:36
ブラウザーで直接開いてみれたので、Refererは試していませんでした。
User-Agent:は試したのですが変わらず・・・。
ちょっとRefererもやってみます。

99:名無しさん＠お腹いっぱい。
07/04/02 20:44:05
refererいれても変わりませんでした

100:名無しさん＠お腹いっぱい。
07/04/02 23:23:17
>>96
Accept-Language: ja
とかは?

101:96
07/04/03 08:31:48
>100
神！
ありがとうございました

102:名無しさん＠お腹いっぱい。
07/04/10 23:16:28
みなさんが、
連番のＨ画像/動画を一気にダウンロードしたものを僕に下さい(>_<)(>_<)

103:名無しさん＠お腹いっぱい。
07/04/21 16:02:05
>>96とはべつの人なのですが、imepitaの画像をダウンロードできません。
ブラウザでは保存可能でした。

wget --referer='URLﾘﾝｸ(imepita.jp)' -U='Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)' --header='Accept-Language: ja' 'URLﾘﾝｸ(imepita.jp)'

としています。
指摘よろしくおねがいします。

104:名無しさん＠お腹いっぱい。
07/05/01 13:54:45
imageFAPの画像を　wgetでおとすのは難しい？　落としかた教えてください

105:名無しさん＠お腹いっぱい。
07/05/01 19:01:17
>>104
とりあえずURLを書きなさいよ

106:名無しさん＠お腹いっぱい。
07/05/05 09:35:29
結構難題(というか出来なかった)

URLﾘﾝｸ(infostore.org)
→ URLﾘﾝｸ(img44.imagevenue.com)

107:名無しさん＠お腹いっぱい。
07/05/05 10:51:18
lynx -dump 'URLﾘﾝｸ(infostore.org)' |
grep -o 'URLﾘﾝｸ([^#]*)<)' |
grep '/loc[0-9][0-9]*/'
done

108:名無しさん＠お腹いっぱい。
07/05/05 11:08:02
ああ、ここUNIX板だから grep -o はまずいか。perl -ne 'print $& if m{pattern}' とかで。
あとは sleep もいれたほうがいいかも

109:名無しさん＠お腹いっぱい。
07/05/05 12:23:56
俺んとこlynx入ってなかったのでsedとcurlで

$ cat hoge.sh
#!/bin/sh

curl -s "$1" |
grep imagevenue |
sed -n -e "s/href='\$[^']*\$'/\\
HREF=\\1\\
/gp" |
sed -n -e "/HREF=/s/HREF=//p" |
while read URL
do
dir="`dirname \"$URL\"`"
file=`curl -s "$URL" | sed -n -e '/thepic/ {N; s/.*SRC="$[^"]*$".*/\1/p;}'`
curl -s --referer "$URL" -O "$dir/$file"
done

$ ./hoge.sh 'URLﾘﾝｸ(infostore.org)'

110:名無しさん＠お腹いっぱい。
07/05/05 15:07:32
勉強になるなぁ(何の???)

111:名無しさん＠お腹いっぱい。
07/05/05 19:36:37
URLﾘﾝｸ(www.imagefap.com)
>>105

112:名無しさん＠お腹いっぱい。
07/05/05 23:32:55
>>111
imagefapは
(1) ギャラリーページから全てのギャラリーページのURLを抽出
(2) 各ギャラリーページから画像ページのURLを抽出
(3) 画像ページから画像ファイルのURLを抽出

という手順になると思う。(3) のURLはJavaScriptでブラウザに生成させてるのでwgetとかでは無理っぽい。

113:名無しさん＠お腹いっぱい。
07/05/06 09:10:45
ギャラリーページサムネイルのURLを置換してやればいいんでないの?
URLﾘﾝｸ(images.imagefap.com)
URLﾘﾝｸ(images.imagefap.com)

114:名無しさん＠お腹いっぱい。
07/05/06 21:18:14
get_links_from_url() { lynx -dump -image_links "$1" | grep -o 'URLﾘﾝｸ([^#]*)<)' 0 8`; do
echo get: $URL >&2
get_links_from_url $URL | sed -n '/thumb/s/thumb/full/p'
done

115:名無しさん＠お腹いっぱい。
07/10/23 21:46:50
最近ぐっと来るネタがないっすねぇ

116:名無しさん＠お腹いっぱい。
07/10/27 02:27:20
最近のエロ画像はZIPで固めてrapidshareだからなあ

117:名無しさん＠お腹いっぱい。
07/12/30 00:22:46
こういうアドレスが長く、不規則なのってどうやればいいでしょうか

URLﾘﾝｸ(g.e-hentai.org)

118:名無しさん＠お腹いっぱい。
08/01/02 21:10:52
こういう別サイトの画像ディレクトリを参照している場合って、うまい方法ありますか？

URLﾘﾝｸ(exgirlfriendmarket.com)

119:名無しさん＠お腹いっぱい。
08/01/02 22:24:46
curl -O --referer 'URLﾘﾝｸ(exgirlfriendmarket.com)' 'URLﾘﾝｸ(content1.nudeparadisehotel.com)'

120:118
08/01/03 01:46:07
>>119

さっそくの助言、ありがとうございます。
とりあえず curl をインストールして試してみました。拝見したところ、外部リンクになっているのを直接指定していますね。

これを Unix のコマンドの組み合わせで
　・画像一覧ページから
　・個別の画像、もしくは画像表示ページへのリンクを辿り
　・自動で巡回して、一定サイズ以上の JPG はダウンロードする
ということはできませんでしょうか？　趣味と実益を兼ねて、こんな感じの Blog を巡回することが多いのです。

だめだったら Win のダウンローダーでも探しますが、やはり Unix で覚えたいので。
お手数ですが、よろしかったらお知恵を拝借させてください。m(_ _)m

121:名無しさん＠お腹いっぱい。
08/01/03 09:38:02
wget -r -l 2 とかで。あとは wget --help の↓に気をつける:
再帰ダウンロード時のフィルタ:
-A, --accept=LIST ダウンロードする拡張子をコンマ区切りで指定する
-R, --reject=LIST ダウンロードしない拡張子をコンマ区切りで指定する
-D, --domains=LIST ダウンロードするドメインをコンマ区切りで指定する
--exclude-domains=LIST ダウンロードしないドメインをコンマ区切りで指定する
--follow-ftp HTML 文書中の FTP リンクも取得対象にする
--follow-tags=LIST 取得対象にするタグ名をコンマ区切りで指定する
--ignore-tags=LIST 取得対象にしないタグ名をコンマ区切りで指定する
-H, --span-hosts 再帰中に別のホストもダウンロード対象にする
-L, --relative 相対リンクだけ取得対象にする
-I, --include-directories=LIST 取得対象にするディレクトリを指定する
-X, --exclude-directories=LIST 取得対象にしないディレクトリを指定する
-np, --no-parent 親ディレクトリを取得対象にしない

122:名無しさん＠お腹いっぱい。
08/02/27 14:12:00
以前に別スレで質問を投げたことがあるのですが、うまい解決方法に行き当たらなかったのと、
今やそのスレが消えてしまったため、もう一度ここで質問させてください。

例えばここに置いてある松金洋子のデスクトップ用壁紙画像をターゲットとします。
URLﾘﾝｸ(www.sexydesktop.co.uk)
ここには全部で4ページ分48種類の松金洋子の画像があります。

このサイトの画像はすべてデスクトップ用の壁紙を目的としているので、
一つの画像に関して数種類の解像度・縦横比の画像が用意されており、
アクセスしてきた人の使っているディスプレイ解像度を検出しては、
最適な解像度のものを優先的にプッシュするようになっています。

また、画像ファイルの命名ルールは非常に単純かつ形式的で、
たとえば例に挙げた松金洋子の画像の場合、
まず画像の名前を表す youko1 から youko48 までの48種類の画像が用意されています。

さらにそれぞれの解像度を表す 1280x800 や 800x600 の文字列が続き、最後に拡張子 .jpg が付いています。
注意する点は、例えば youko48 に対して youko01 だとか、1280x1024 に対して 0800x0600 といった、
命名上の「桁数合わせ」が一切行われていないという点です。

123:122-123
08/02/27 14:12:23
ここから先が質問です。やりたいことは、

1). サイトがプッシュしてくるこちらのディスプレイ解像度に関係なく、
すべての画像に関して、より解像度の大きい物を、
番号の一番若いものから古いものまで全種類取って来たい。

2). その際、取って来た画像のファイル名を修正して、
youko48 に対しては youko01 、1280x1024 に対して 0800x0600 など、命名上の「桁数合わせ」をしたい。

3). さらに、ファイル名の中の画像名を表す文字列と、解像度を表す文字列とを _ で結ぶようにしたい。
具体的には、youko11600x1200.jpg と名付けられた youko1 という画像の 1600x1200 版のファイル名を、youko01_1600x1200.jpg としたい。同様に、youko481280x1024.jpg と名付けられた youko48 という画像の
1280x1024 版のファイル名を youko48_1280x1024.jpg としたい。

以上をまとめると、参考例の松金洋子の画像で言えば、
youko11600x1200.jpg から youko481280x1024.jpg までの画像を、
youko01_1600x1200.jpg から youko48_1280x1024.jpg として保存したい。

これを実現するスクリプトをどう書けばいいでしょうか？

なお、好みのタレントの画像が何種類用意されているか（松金洋子の場合は48種類）については、
ダウンロードを開始する前に手作業で調べることとします。

124:名無しさん＠お腹いっぱい。
08/02/27 14:31:38
>>123
コントンジョノイコ

スレタイを読んでからスクリプトスレに行け

125:名無しさん＠お腹いっぱい。
08/02/27 14:43:56
>>122
>これを実現するスクリプトをどう書けばいいでしょうか？
変な書きかたをせずに普通に書けばいいと思うよ

126:名無しさん＠お腹いっぱい。
08/02/27 18:52:00
>ダウンロードを開始する前に手作業で調べることとします。

むしろここをやりたいのかと思った… :-P

127:名無しさん＠お腹いっぱい。
08/03/01 03:23:35
とりあえず自分で書いたとこまでうpすればみんなが添削してくれる
まず自分で書くんだ

128:名無しさん＠お腹いっぱい。
08/03/03 14:00:03
wgetでダウンロードすると同名のファイルだと.1, .2とsuffixがついてしまいますが
これを-1.拡張子とすることはできないでしょうか?

通常は hoge.html, hoge.html.1, hoge.html.2 とファイルが出来て行くものを
hoge.html, hoge-1.html, hoge-2.html と名付けられて欲しいのです。

129:名無しさん＠お腹いっぱい。
08/03/03 14:45:41
zsh 記法なら

for i in *.1 *.2
do
j=${i:r}
mv -i ${i} ${j:r}-${i:e}.${j:e}
done

130:名無しさん＠お腹いっぱい。
08/03/03 19:01:42
ありがとうございます。ダウンロードした後でリネームするのがいい方法ということですね。

なるほど、-iをつけて重複したものに上書きするのを防ぐというわけですか。
自動でユニークなファイル名をつけるにはもうちょっとシェルスクリプト書けば良さそうですね。

wgetでダウンロードする時点ではでないんでしょうか。

for i in *.1 *.2
は *.整数なもの全てに対応するには *.[0-9]* でいいのだろうか。
でもこれだと .3g2 もひっかかるか。

131:名無しさん＠お腹いっぱい。
08/03/03 19:04:22
ああ*.222.htmlなんかも引っかかってしまうから全くだめですね。

132:名無しさん＠お腹いっぱい。
08/03/22 13:38:18
#!/usr/bin/perl
@tmp=("Alina-G", "Anastasia-S", "Anna-T", "Anna-Z", "Iryna-M", "Kateryna-V", "Larisa-H", "Oksana", "Olga-S",
"Olha-D", "Sasha-D", "Sasha-L", "Svetlana-T", "Ulyana-A", "Ulyana-M", "Valeriya-L", "Victoria-D", "Victoria-S", "Yuliya-S", "Yuliya-Z");
$baseurl = "URLﾘﾝｸ(www.candydoll.tv)";
foreach $f(@tmp){
for ($i=1 ;$i < 7;$i++){
$imgname = sprintf"%s-images%02d", $f, $i
$url = sprintf "%s/%s.jpg",$baseurl,$imgname; system "wget " . $url;
$cnvcmd = sprintf "jpegtopnm %s.jpg > %s.pnm",$imgname,$imgname; system $cnvcmd;

}

$a = "pnmcat -lr ". sprintf "%s-images01.pnm ",$f; $a .= sprintf "%s-images02.pnm ", $f; $a .= sprintf "> %s-images_a.pnm", $f;
system $a;
$a = "pnmcat -lr ". sprintf "%s-images03.pnm ",$f; $a .= sprintf "%s-images04.pnm ", $f; $a .= sprintf "> %s-images_b.pnm", $f;
system $a;
$a = "pnmcat -lr " . sprintf "%s-images05.pnm ",$f; $a .= sprintf "%s-images06.pnm ", $f; $a .= sprintf "> %s-images_c.pnm", $f;
system $a;
$a = "pnmcat -tb ". sprintf "%s-images_[abc].pnm |pnmtojpeg > %s-image.jpg",$f,$f; system $a;
}
system "rm *.pnm";

133:名無しさん＠お腹いっぱい。
08/03/23 09:03:53
なんでpnm介してるの?

134:名無しさん＠お腹いっぱい。
08/03/23 20:41:11
Webには
12
34
56
といった形で分割されてあげられてるんだけど、
これをうまく結合する方法を思いつかなかったんで一旦pnmに変換したんですよ。

なにかいい方法はないもんでしょうか。

135:名無しさん＠お腹いっぱい。
08/03/23 21:13:20
よくわからんが、ImageMagick で
convert -append / +append かな?

136:132
08/03/24 02:21:15
>>132の8行目の末尾にセミコロンがないのを今更見つけたのもありますが、
>>135さんの助言のおかげで無駄な変換をしないように修正したものをあげておきます。

#!/usr/bin/perl
@tmp=("Alina-G", "Anastasia-S", "Anna-T", "Anna-Z", "Iryna-M", "Kateryna-V", "Larisa-H", "Oksana", "Olga-S",
"Olha-D", "Sasha-D", "Sasha-L", "Svetlana-T", "Ulyana-A", "Ulyana-M", "Valeriya-L", "Victoria-D", "Victoria-S", "Yuliya-S", "Yuliya-Z");
$baseurl = "URLﾘﾝｸ(www.candydoll.tv)";
foreach $f(@tmp){
for ($i=1 ;$i < 7;$i++){
$imgname = sprintf "%s-images%02d", $f, $i;
$url = sprintf "%s/%s.jpg", $baseurl, $imgname; system "wget " . $url;
}

$a = sprintf "convert +append %s-images01.jpg %s-images02.jpg %s-images_a.ppm", $f, $f, $f;
system $a;
$a = sprintf "convert +append %s-images03.jpg %s-images04.jpg %s-images_b.ppm", $f, $f, $f;
system $a;
$a = sprintf "convert +append %s-images05.jpg %s-images06.jpg %s-images_c.ppm", $f, $f, $f;
system $a;
$a = sprintf "convert -append %s-images_[abc].ppm %s-image.jpg", $f, $f;
system $a;
}
system "rm *.ppm";

137:名無しさん＠お腹いっぱい。
08/03/24 06:00:07
10才とか12才とかって部分には誰もつっこまないのね

138:単なるスクリプト練習道場
08/03/24 09:38:42
必ずしも皆サイトの方を見ているとは限らないって

139:名無しさん＠お腹いっぱい。
08/04/20 01:18:07
双葉ちゃんねるの画像をまとめてＤＬ出来るローダーってありますか？
僕の使ってるやつだとサムネイル画像しか落とせないんですが。

140:名無しさん＠お腹いっぱい。
08/04/20 02:24:42
双葉ちゃんねるってものすごく見にくいんだけど
2chブラウザみたいなやつでもあるの？
流れにまかせて適当に見るのが筋なのかな。

141:名無しさん＠お腹いっぱい。
08/05/06 23:35:44
すんませんＨ画像じゃないんだけど、NHKニュースの動画の落とし方分かる人いませんか
URLﾘﾝｸ(www3.nhk.or.jp)
最近リニューアルしてから、ダウンロード出来なくなりました。
ブラウザのキャッシュにも残りません。swfを間にかましてるみたいです。
宜しくお願いします。

142:名無しさん＠お腹いっぱい。
08/05/07 17:28:51
ちょいと面倒だけど
まず見てるページのソースコードを見ると
wmvHigh = "URLﾘﾝｸ(cgi2.nhk.or.jp)
てなことが書いてある。次に
view-source:URLﾘﾝｸ(cgi2.nhk.or.jp)
でさらに見ると
<REF HREF="mms://a669.v90561.c9056.g.vm.akamaistream.net/5/669/9056/48216095/1a1a1ad74ec5f82d5bc9319cca39abd943b3e250b52c9f/K10044234611_0805071619_0805071653_mh.wmv"/>
とか書いてある。こいつを録画すればおｋ

143:名無しさん＠お腹いっぱい。
08/05/10 21:01:38
>>142
うまくいきました。丁寧に教えてもらって感謝です。

144:名無しさん＠お腹いっぱい。
08/05/31 18:03:17
URLﾘﾝｸ(jp.youtube.com)
URLﾘﾝｸ(jp.youtube.com)
URLﾘﾝｸ(jp.youtube.com)
URLﾘﾝｸ(jp.youtube.com)
URLﾘﾝｸ(jp.youtube.com)
URLﾘﾝｸ(jp.youtube.com)
URLﾘﾝｸ(jp.youtube.com)
URLﾘﾝｸ(jp.youtube.com)
URLﾘﾝｸ(jp.youtube.com)
URLﾘﾝｸ(jp.youtube.com)
URLﾘﾝｸ(jp.youtube.com)
URLﾘﾝｸ(jp.youtube.com)
URLﾘﾝｸ(jp.youtube.com)
URLﾘﾝｸ(jp.youtube.com)

鉄道をこよなく愛する人たち

145:名無しさん＠お腹いっぱい。
08/05/31 20:16:44
なんだこりゃ。ひどいな。

146:名無しさん＠お腹いっぱい。
08/07/05 00:14:43
今の最新のダウンロードスクリプトは何ですか？

147:名無しさん＠お腹いっぱい。
08/07/05 05:41:53
やっぱzshのスクリプトじゃね？

148:名無しさん＠お腹いっぱい。
08/07/05 23:27:08
グロ画像対策ってどうしてます？

149:名無しさん＠お腹いっぱい。
08/07/06 00:20:47
グロ画像好きになればいいんじゃないかな？

150:名無しさん＠お腹いっぱい。
08/09/21 11:29:13
ウイルスにじゃから内容にね

151:名無しさん＠お腹いっぱい。
08/09/27 21:48:19
Ｈな動画ならここURLﾘﾝｸ(click-bb.com)人気サイトです

152:名無しさん＠お腹いっぱい。
08/11/13 19:08:26
梶谷秀

153:名無しさん＠お腹いっぱい。
09/01/06 01:43:12
双葉がjavascript有効じゃないと落とせなくなった。
なんかいいツールはない？

154:名無しさん＠お腹いっぱい。
09/01/10 17:41:50
Firefoxと赤福使ってる。スクリプトでの取得はあきらめた。

155:名無しさん＠お腹いっぱい。
09/01/23 02:38:56
URLﾘﾝｸ(jp.youtube.com)
URLﾘﾝｸ(www.nicovideo.jp)

156:名無しさん＠お腹いっぱい。
09/03/26 19:55:23
>>151
コラア！いてまうど！

157:名無しさん＠お腹いっぱい。
09/04/17 11:58:35
g.e-hentai.org スクリプト

(knoppix 5.1.3)
original file name : getimgs.pl.txt
約5354.4日間保存

URLﾘﾝｸ(www1.axfc.net)
pass : vip

158:名無しさん＠お腹いっぱい。
09/06/04 14:58:19
>>157
222行目と223行目逆じゃない？

159:名無しさん＠お腹いっぱい。
09/06/05 01:47:51
>>158
うん、逆だな。
その他にも、幾つかバグがあるようだ。
でも、転送制限があるサイトなので、あんまり使う気しない。
※だいたい160枚前後で、転送休止ってどうなのよ？

160:名無しさん＠お腹いっぱい。
09/07/21 01:34:07
壁紙の配布サイトがあるのだが、1枚1MB程度の壁紙が2000枚近くある。
これを一気にダウンロードすると、相当な負荷をかけると思うので数秒おきにダウンロードするようにしたいのだけど、そんなことできる？

161:160
09/07/21 01:35:29
追加情報で、サムネイル画像はthumbという文字列がファイル名に入ってるのでそれも除外することで、ちょっとは負荷をへらせると思う。

162:名無しさん＠お腹いっぱい。
09/07/21 01:59:57
>>160
よくわからんが
＞数秒おきにダウンロードするようにしたい
っていうのが要件であるのならsleepでもかませればいいんでないの。
固定時間で、ダウンローダ使っているのを推測されるのが嫌なら
（そういうサイトがあるかはしらないけど）
sleepの引数を範囲絞って乱数にすりゃいいし。難しくはないだろ

163:157
09/08/18 23:34:32
g.e-hentai.org スクリプト

get.pl
readme.txt
をzipにて同梱。

URLﾘﾝｸ(www1.axfc.net)

164:名無しさん＠お腹いっぱい。
09/08/20 00:41:03
>>163
解凍してみたが、readme.txt　ehg.txt
しか見当たらない。
get.plはいづこに？

165:名無しさん＠お腹いっぱい。
09/08/20 10:00:11
現在特許申請中です

166:157
09/08/20 15:44:14
非常に失礼しました。
g.e-hentai.org スクリプト

get.pl
readme.txt
require_url.png

をzipにて同梱。

URLﾘﾝｸ(www1.axfc.net)

167:名無しさん＠お腹いっぱい。
09/08/20 22:14:50
>>166
おお、サンキュー
早速、ゲット開始。
なんか色々新しくなってるね。きちんとエラー処理してあって
便利になってる。
スクリプトいぢって遊んでみるわ。ありがとう。

168:187
09/08/20 22:41:18
355行目の　mkdir ("$dirname", 777) or die $! ;
のmaskを、0777に変更しないとうまく動作しなかった。
デレクトリィは、できるけど書込み出来ない。

perl, v5.8.6 built for darwinでの動作報告

169:167
09/08/20 22:42:18
未来へ、小パス

170:157
09/08/21 09:25:11
>>168
報告ありがとうございます

直すかreadmeに入れておきます

171:157
09/08/25 22:42:42
imageFap スクリプト

fap.pl
readme.txt
require_url.png
を同梱。

使い方は、>>166のスクリプトと全く同じです。

URLﾘﾝｸ(www1.axfc.net)

172:名無しさん＠お腹いっぱい。
09/08/29 20:29:53
>>171
動いたずら。
fap.plの改行コードがCR+LFだった。

173:名無しさん＠お腹いっぱい。
09/09/12 12:14:31
>>166 >>171
ありがてぇありがてぇ

174:名無しさん＠お腹いっぱい。
09/10/04 23:34:23
つーるのつかいかたがわかんないです＞＜

175:名無しさん＠お腹いっぱい。
09/10/09 19:12:20
>>174
readme.txt 嫁

176:名無しさん＠お腹いっぱい。
09/10/09 20:50:01
>>166
ありがたいです

しかし、１００枚超えると普通にはじかれますね・・・
串どうやって刺そうかな

177:名無しさん＠お腹いっぱい。
09/10/09 22:49:02
携帯専用ですが
無料のおかず画像サイト集めてみました
URLﾘﾝｸ(s12.smhp%2ejp)

178:157
09/10/10 17:32:40
>>176
待つ時間を長くすればするほど
単位時間のダウンロードの大きさが減るので、
730行目あたりの関数 waitp を

sub waitp {
# wait process and random sleep.
# process sleeps while ??? seconds, not "msec".
#
# if you want to use "msec" unit, use "select".
# same effect of 'sleep' while 250 msec is,
# "select(undef, undef, undef, 0.25) ;".
# but, can't use progress bar.
my $base = 10000 ; # random sleep from 1 sec to $base/1000 sec.
my $t = int ( rand ($base) / 1000 ) ;
progbar (++$t) ;
return 1 ;
}

などと書き換えてみてください。
帯域制限がかかりにくくなります。

179:名無しさん＠お腹いっぱい。
09/10/12 10:05:00
>>178
やるじゃん

180:名無しさん＠お腹いっぱい。
09/10/13 02:45:36
>>178
thx！
ここへは検索でたどり着いた他所者で申し訳ないが助かるわ
昔入社直後にならったプロンプト程度の知識でもいけるもんだな・・・使う分には

181:名無しさん＠お腹いっぱい。
09/10/13 05:57:36
g.e-hentai.orgのスクリプトの使い方がよくわからなくて困っています
付属のReadmeを読んでみて自分なりに試してみたのですがうまくいかず
本体を起動すると黒い窓と文字が一瞬表示されるのですが
すぐに消えてしまうためなんとかプリントスクリーンで撮影して
そこに書いてあったリストの作成などもしてみたのですけどダメでしたorz
プログラムなどの知識皆無なのでそもそも場違いとも思うのですが、
どなたか教えていただけないでしょうか？

182:名無しさん＠お腹いっぱい。
09/10/13 06:47:37
>>181
g.e-hentai.orgからアクセス制限がかかってる現在の状況下で
さらに自分で調べもしない人間達にでも使えるように説明しろと？

正気ですか？

お前の目の前にある箱はなんだよ？飾りか？

>自分なりに試してみたのですが
もっとやれ
もっともっとやれ
救いな事に>>157氏のファイルはインチキじゃない
自分で勉強すれば必ず結果が伴う

183:名無しさん＠お腹いっぱい。
09/10/14 12:55:49
黒い窓とか釣りだろ。
>>181 Linux勉強してLinuxで実行するといいよ

184:名無しさん＠お腹いっぱい。
09/10/20 09:36:45
e-hentaiの制限が2日ほど続いているのですが、
皆さんはどれくらいの期間、制限かかってます？

初めのころは１・２時間程度だったのになあ。

185:名無しさん＠お腹いっぱい。
09/10/21 21:16:44
URLﾘﾝｸ(blogwatcher.pi.titech.ac.jp)

186:名無しさん＠お腹いっぱい。
09/10/23 04:59:37
>>157氏のe-hentaiのダウンロードスクリプトに串を噛ませようと思ってるんだけど
串の設定項目が無いのでDL専用の仮想マシンを作ってシステム全体に串を噛まそうと思う

yumとかで実践されてるこの方法が一番かな
URLﾘﾝｸ(blog.livedoor.jp)

187:名無しさん＠お腹いっぱい。
09/10/23 05:29:17
と思ったらTor串焼かれまくってて笑った
これだけ神経質だとISPごとアク禁とか何のためらいもなくやりそうで怖いなw

188:名無しさん＠お腹いっぱい。
09/11/16 09:44:27
ちくしょーーーー！実行してもスクリプト弾かれちまう…なんとかならないかなぁ

189:名無しさん＠お腹いっぱい。
09/11/17 02:10:06
He_252405.zip
ぱす chinko

E-Hentaiからダウンするなら最近これ使ってるけどな。
転送制限もなぜかかかりにくい。600枚位連続で落としたが、まだいけそうだ。
どやって回避してんのかな。
Win用だからスレチかもしれんが。

190:名無しさん＠お腹いっぱい。
09/11/17 21:28:52
帯域制限かかってからはや3日が過ぎた
いつ解除されんのかな

191:名無しさん＠お腹いっぱい。
09/11/17 22:46:25
>>189
ちょっと、試してみた。
結局おれんトコでは、150枚くらいで転送制限になった。
転送制限中ですよ画像も、ダウンロードしちゃうよ。w

>>190
もう、そろそろじゃない？
五日くらい制限喰らった時も有ったような。

次ページ