- 1 名前：たのも〜 [2001/01/10(水) 15:02]
- 最近、PGFをコレクション始めたのだが、httpで連番のファイルを一気にダウンロードする
ソフトやスクリプトがあれば教えてけれ。
- 959 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/16(水) 22:48:44 ]
- >>957
Voice of America です。英語のニュース・サイトの過去ログがターゲットです。
mp3とスクリプトが揃っているので、これをローカル教材として加工しようと思いました。
で、一応落とせたんですが……
www.voanews.com/specialenglish/2005-11-15-voa3.cfm
こんな吐き気がするHTMLをどう加工しろと……orz
- 960 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/18(金) 19:49:09 ]
- edなり perlなりで、ばっと<span class="articleheadline"〜</P></span>あたり抜き出して、html2txtみたいな処理かけて、余計なの削るとか。
そういうことではない？
- 961 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/18(金) 22:10:42 ]
- >>960
perl で $html =~ s!!!sig; を何度も繰り返すスクリプト書いて、なんとか読めるHTMLに加工しました。
今は mp3 を wget してます。
このサイト、mp3 は mp3 で命名規則皆無という腐りっぷりです。うへぇ。
ところで質問です。
ちょっと確認してみたところ GNU Wget 1.10.1 のデフォルトのリクエストは
GET /index.htm HTTP/1.0
User-Agent: Wget/1.10.1
Accept: */*
Host: localhost
Connection: Keep-Alive
という内容でした。で、プロトコルを HTTP/1.1 に切り替えるか、
または強制的に HTTP/1.1 と申請してリクエストすることはできますか？
- 962 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/18(金) 23:45:53 ]
- curl使ってみるとか
- 963 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/19(土) 05:30:52 ]
- >>961
どーせPerl使うんならHTML::TokeParserとかその辺のライブラリ使えばいいのに。
高速ではないけどそれなりに便利だよ。
- 964 名前：名無しさん＠お腹いっぱい。 [2005/11/28(月) 22:50:25 ]
- 次スレどうしますか？
- 965 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/29(火) 09:40:42 ]
- 次
ス
レ
頼
ま
な
い
- 966 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/29(火) 16:31:03 ]
- 頼みcom
- 967 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/29(火) 18:27:16 ]
- >>977までは粘れると思われ。
- 968 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/29(火) 22:52:17 ]
- >>980が立ててくれるってさ
- 969 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/30(水) 15:53:56 ]
- >>980
今度のスレタイは↓こうしてくれ
「連番のＨ画像/動画を一気にダウンロードする」
- 970 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/30(水) 17:39:06 ]
- これは言わない約束なのかもしれんが
「H」は外さないうわなにするやめろqあwせdrftgyふじこlp:[
- 971 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/30(水) 18:26:42 ]
- じゃあ
連番のURIから一気にダウンロードする /2
でよろしかったでしょうか？
- 972 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/01(木) 21:44:37 ]
- てか連番ている？
- 973 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/01(木) 21:50:49 ]
- ネタ出つくしたみたいだし、
次スレなしでもいいかと。
- 974 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/03(土) 16:03:25 ]
- 最近動画落とすのにパスワードが必要だったりするので
自動化は無理そうだと思ったり思わなかったり
- 975 名前：名無しさん＠お腹いっぱい。 [2005/12/07(水) 08:43:36 ]
-
>>955詳 し く
- 976 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/13(火) 14:55:32 ]
- 次スレ
pc8.2ch.net/test/read.cgi/unix/1063129265/
- 977 名前：FM [2005/12/18(日) 21:28:53 ]
- >>975
opera使えば右クリックが効くからURLがわかりますよ。
それで、
464.jpってttp://comic110.464.jp/data/...
以降がwgetですんなりDLできないのですがなんでかわかりますか？
ttp://comic104....などは普通にできるけど、ドラゴンボールが取れない。
operaで直接url書けばみれるのですが,なんででしょうか?
あれ、この板ってもう別にうつってる？
- 978 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/19(月) 01:02:57 ]
- >>952
ここまでスレが進んでるのにまとめにcurlが載ってないのは信じられない
- 979 名前：名無しさん＠お腹いっぱい。 [2005/12/21(水) 03:21:09 ]
- >>977
レスありがとうございます
私はlunascapeというタブブラウザを使っていてそれで画像のurlを抜き取り
連続ダウンローダで連番のを落としてみたのですが見てみると画像情報がなくすべて見れないファイルでしたorz
jpegファイルなのに見れないんですよね。。
ちなみに私が試したのはドラ●もんでttp://comic104でしたができませんでした。。
噂によるとダウンロードできないようにしてるサーバーとかあるようです.....(´･ω･｀)
- 980 名前：名無しさん＠お腹いっぱい。 [2005/12/21(水) 09:33:01 ]
- どざ氏ね
- 981 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/21(水) 15:31:35 ]
- >>979
やってみたけど、問題なくダインロード&表示できるよ。
>>979のスキルの問題
- 982 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/21(水) 15:52:11 ]
- ダインロードってなんかかっこええな
- 983 名前：名無しさん＠お腹いっぱい。 mailto:男塾 [2005/12/22(木) 01:54:40 ]
- スキルでなく、クンフーの問題
- 984 名前：名無しさん＠お腹いっぱい。 [2005/12/22(木) 03:59:39 ]
- >>981
ホントですか･･･(ﾟДﾟ)一体何が原因なんでしょうか････
私もダウンロード自体はできてるのですがフォルダにダウンロードされた
画像ファイルを見てみると表示されませんorz ソフトやURLなどいろいろ確認しましたが。。orz
今は結局freemacroでダウソしてるんですが時間かかりまくりんぐ･･･orz
- 985 名前：名無しさん＠お腹いっぱい。 [2005/12/24(土) 10:06:45 ]
- >>984
ヒント：連番ダウンローダはrefereを使ってくれない。
- 986 名前：nyanko mailto:sage [2005/12/24(土) 12:10:46 ]
- >>985
wget でも普通に指定できるYO!
- 987 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/24(土) 15:55:24 ]
- >>986
TU○ にもしかしている方？
>>984
なんか、ほんとにクンフーたりないねきみ。。。
- 988 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/24(土) 16:45:08 ]
- ここがunix板だと気づいていないんじゃないのか。
- 989 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/24(土) 17:20:08 ]
- 来年の１月１０日で５周年だな
- 990 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/24(土) 19:12:34 ]
- 今まで誰も出していないが，emacs 上でウェブブラウザ(w3m とか)を走らせて，
画像をダウソロードする手順をキーボードマクロで登録しておけば，
特に何も考えなくてもほとんどのサイトでダウソロードできます．
- 991 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/25(日) 03:14:29 ]
- >>990
具体的に書かないのは宗教上の問題かなんか？
- 992 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/25(日) 07:30:18 ]
- キーボードマクロの手順を具体的に書くの?w
- 993 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/25(日) 13:32:48 ]
- インタラクティブってアホじゃありません？
- 994 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/26(月) 03:13:07 ]
- おい、次スレが立ってるぞ
pc8.2ch.net/test/read.cgi/unix/1135533382/
- 995 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/26(月) 10:26:56 ]
- (ﾟдﾟ)ｳﾒｰ
- 996 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/26(月) 10:28:39 ]
- (ﾟдﾟ)ｳﾒｰ
- 997 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/26(月) 10:30:27 ]
- (ﾟдﾟ)ｳﾒｰ
- 998 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/26(月) 11:00:26 ]
- まんこ
- 999 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/26(月) 11:01:29 ]
- (ﾟдﾟ)ｳﾒｰ
- 1000 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/12/26(月) 11:02:34 ]
- (ﾟдﾟ)ｳﾒｰ
- 1001 名前：１００１ [Over 1000 Thread]
- このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
|
 |
