連番のＨ画像を一気にダウンロードする

連番のＨ画像を一気に ..

570:名無しさん＠お腹いっぱい。
03/04/23 22:53
偽装の仕様は公開してくれないの?
あれば自分で作りたいんだけど。

571:名無しさん＠お腹いっぱい。
03/04/23 23:26
>>570
「偽装」の目的を考えれば、公開する訳がない気がする…

572:名無しさん＠お腹いっぱい。
03/04/23 23:33
偽装の目的ってなんなのかな。
jpg ファイルに埋め込めればいいとかじゃなくて?
結合ツールが出回ってるのに公開しない理由とわ?

573:名無しさん＠お腹いっぱい。
03/04/24 00:23
>>572
安全保障上の理由とおもわれ。

574:名無しさん＠お腹いっぱい。
03/04/24 12:14
>>563
これじゃだめなのか?
#!/bin/sh
len=2
fmt="%s%0${len}d%s\\n"
IFS='[]-
'
cat list | while read base beg end sfx; do
i=$beg
while [ $i -le $end ]; do
printf $fmt $base $i $sfx
i=`expr $i + 1`
done
done >newlist

575:名無しさん＠お腹いっぱい。
03/04/24 18:47
>>570
ハックという言葉は知っているかね?

576:名無しさん＠お腹いっぱい。
03/04/24 19:43
ハックの大事なものを知ってるよ
友達どうしの約束と涙の止まるおまじない

577:名無しさん＠お腹いっぱい。
03/04/25 01:38
>>575
ロリ.hackﾊｧﾊｧ

578:名無しさん＠お腹いっぱい。
03/04/25 20:09
日替わりに動画を更新するエロサイトでは、URL はほぼ固定で日付に相当する
部分だけを変えるところも多い。

で、そういうサイトの動画を楽にまとめて落とすスクリプトを書いてみた。date の書式を
利用しているので手抜きができる。使う種類は限られていると思うが、例えば %m は月に
%d は日にそれぞれ置換される。

以下のような感じで、データの追加も簡単だし、一時的にチェックから外したければ、
END 以下に移動させてコメントアウトしておけばいい。単純な割にはめちゃ便利かも

#!/bin/sh

cat <<END | while read i; do wget $(date "+$i"); done
URLﾘﾝｸ(www.nantoka)
URLﾘﾝｸ(www.kantoka)
URLﾘﾝｸ(www.doko)
URLﾘﾝｸ(www.kasiko)
END

579:名無しさん＠お腹いっぱい。
03/04/26 06:19
このスレは素晴らしいですね！
ところで、上の方でもつぶやいていた方がいましたが、
yahoo groops（eGroup）の記事や画像を自動ダウンすることは可能なのでしょうか？

winのオートパイロットソフトなども試したのですが、認証が越えられずダメでした・・。
wgetでもダメならば、cygwinのlynxならば認証を受けることができるので、
lynxをスクリプトで自動で操作してダウンする、などということは可能なのでしょうか？

wgetはwinのIEのクッキーではダメなんですよね？

580:あぼーん
あぼーん
あぼーん

581:名無しさん＠お腹いっぱい。
03/04/26 06:45
$ wget --help|grep cookie
--cookies=off don't use cookies.
--load-cookies=FILE load cookies from FILE before session.
--save-cookies=FILE save cookies to FILE after session.

582:名無しさん＠お腹いっぱい。
03/04/28 01:37
>552
このスレのちょっと前に出てた、ディレクトリ以下のインデックス一覧表示を
追加して使わせて貰ってます。
ディレクトリの中に.jpgがない場合のエラー処理が要るような気もするけど
まぁいいや。

＃ソースの折り返しとかについては勘弁ね。

#!/bin/sh
DIR=`pwd`
FN=`basename $PWD`
URL_HEAD='URLﾘﾝｸ(www.)漏れのティンコ.co.jp'
echo "<html><head><title>$FN</title><head><body>" > index.html
echo "<div align=center><font size=4>$FN</font></div>" >> index.html
for i in `ls`
do
if [ -d $i ] ; then
cd $i
ls |grep "[jJ][pP][gG]"| sed 's%$.*$%<a href="\1" alt="\1"><im
g src="\1" height=120 width=80></a>%' > index.html
n=`ls | grep "[jJ][pP][gG]" | head -1`
cd $DIR
echo "<IMG SRC=\"$URL_HEAD/$i/$n\" HEIGHT=\"120\" WIDTH=\"80\"><
a href=\"$URL_HEAD/$i/\" target=\"_blank\"><font size=1>$i</font></a>" >> index.
html
fi
done
echo "</body></html>" >> index.html

583:名無しさん＠お腹いっぱい。
03/04/28 03:14
うーむ。

index.html あたりからリストを生成して、wget を 10 個くらいで一気に
fetch してくる perl スクリプトってない？

584:名無しさん＠お腹いっぱい。
03/04/28 03:51
何を取ってきたいのか判らんのにどうしろと

585:583
03/04/28 03:58
HTML::LinkExtor URI::URL LWP::UserAgent HTTP::Request

でリスト作って、2chJpgGetter の wget_down を回してやればいいことに
気がついて、ほぼ実装完了。

586:名無しさん＠お腹いっぱい。
03/04/28 04:33
>>582
grep -i .jpg を使わない理由があるんだろうか

587:583
03/04/28 05:28
ヘタレな index 作るより、thumbnail_index を回せば
何も苦労しなくていいわけだが。

588:名無しさん＠お腹いっぱい。
03/04/29 02:20
Yahoo! Groupsにコマンドラインからログインする方法を試行錯誤してたら
ログイン失敗しすぎてアカウント一時停止された…半日おあずけ。

もしかしてhttpsでコマンドラインからLynxとかでpostするときは
コマンドラインに渡す文字列の時点で暗号化されてないとダメだったんだろうか…
いや、そんなことしなくてもいちどLynxでSSLログインして
そのクッキーをwgetに流用すればよかったんではないだろーか…

とか(w

589:名無しさん＠お腹いっぱい。
03/04/29 16:32
Yahoo! groupsのメーリングリストアーカイブからファイルを持ってくるPerlScriptならあった。
URLﾘﾝｸ(www.lpthe.jussieu.fr)
ログインと年齢チェックのとこを借りればfilesやalbumsは問題なさげ。
つーかLynxやw3mでのpostとwgetを組み合わせようとするのは漏れには難しいよママン…

590:579
03/04/30 02:01
ヤフーグループのことを質問したものです。
おぉ！いろいろ試してくださったんですね!!情報をくださった方まで！
超感謝です！

アルバムはgethttpというプロクシサーバーを立てて、
スライドショーにすると、そんなに手間がかからず保存できます。
ファイルはなぜかダウンロードマネージャーでダウンできることも多いんですよ。
それなんで、一番大きな問題はメッセージだったのです。
紹介していただいたスクリプトを使ってみます。

591:579
03/04/30 02:49
うーん・・。なぜかダウンロードが始まらない・・。
0kbのファイルができるだけで・・。

592:582
03/05/03 00:28
>586
>grep -i .jpg を使わない理由があるんだろうか

いや、grep -i の方が正しいと思いやす。

593:名無しさん＠お腹いっぱい。
03/05/06 04:06
>>589のやつ、うまくいった人いますか？

594:あぼーん
あぼーん
あぼーん

595:あぼーん
あぼーん
あぼーん

596:名無しさん＠お腹いっぱい。
03/05/22 08:43
自分にとっては、今までのスクリプトのなかで>>578が実用度が一番高い。
単純な割にいいね

597:名無しさん＠お腹いっぱい。
03/06/02 18:44
質問があります。javaなどのScriptがアクセスするページの画像をダウンロードできるソフトって
ありますか？
できれば連番で・・・

598:名無しさん＠お腹いっぱい。
03/06/02 18:46
>>597
具体的にどこよ。

599:名無しさん＠お腹いっぱい。
03/06/02 21:14
>>598
「みてみて」っていうサイトです

600:名無しさん＠お腹いっぱい。
03/06/02 21:31
↑
URLﾘﾝｸ(www.mitemite.ne.jp)

601:名無しさん＠お腹いっぱい。
03/06/03 17:52
↑無理？

602:名無しさん＠お腹いっぱい。
03/06/03 17:55
>>589
市販のオートパイロットではエラーがでちゃうんです

603:名無しさん＠お腹いっぱい。
03/06/14 22:39
ごぶさたあげ

604:名無しさん＠お腹いっぱい。
03/06/17 20:47
外出かもしれんが、ワードのマクロで連番のアドレス書いているのは俺だけだろうか？
www.xxxx.001.jpg
なら←×4・BS・数を入力を繰り返して・・・・で、100位までつくってあるんだが
そしてIriaにはりつけ

605:ななす
03/06/17 21:20
>>604
言ってる意味が理解できないが
ワードのマグロ？なんか青いオサカナ泳ぐういんどーずのﾔｼか
イチリアとか言うﾔｼは張り付けのクリップボードなのか
この板の香具師は概ねwgetのjpg狩りで
最悪連番必要でもwgetと好みのシェルの機能で[0-9]連番指示をだすわけで
wget -c URLﾘﾝｸ(www.eroero.uhiuhi.com)

606:名無しさん＠お腹いっぱい。
03/06/26 09:43
連番生成・・・cygwin上でシェルスクリプト
ダウンロード・・・Irvine
POSTを喋らしたりcookie食わせるなら、perlでUAつかって書く

やっぱWindows上じゃないとねこーいうのは。

607:名無しさん＠お腹いっぱい。
03/06/26 09:55
連番生成 : jot
ダウンロード : wget
POST や Cookie : Perl でも Ruby でも Python でも何でも

なんで Windows？

608:名無しさん＠お腹いっぱい。
03/06/26 18:31
>>606
>>607
>>605 の方法が漏れには一番簡単に見えるんだが。
というか，プログラムを書く必要ってあるのか？
Cookie を食べる必要があるなら w3m でやればいいし。

609:名無しさん＠お腹いっぱい。
03/06/26 20:58
>>607 は >>606 に突っ込んでみたかっただけだよん

610:名無しさん＠お腹いっぱい。
03/06/30 19:18
unlov が Google から消えた…誰か詳細きぼんぬ。

611:名無しさん＠お腹いっぱい。
03/07/02 00:01
Googleから消えた理由は知らんが、サイトはまだあるよ。

612:名無しさん＠お腹いっぱい。
03/07/02 00:48
jot って BSD 用なの?

613:610
03/07/02 08:32
>>611
URL きぼんぬ。

614:名無しさん＠お腹いっぱい。
03/07/07 07:47
takehost が Accept-Language: も見るようになったような気配を感じる。

615:名無しさん＠お腹いっぱい。
03/07/07 08:14
>614
拙者の記憶によると日本時間で4日の昼間からでござる。
入れ替わりにcookieを見なくなったように思わるれ。

616:あぼーん
あぼーん
あぼーん

617:名無しさん＠お腹いっぱい。
03/07/22 06:57
.

618:610
03/07/22 10:30
誰か教えてくれぇ～(´Д`)

619:名無しさん＠お腹いっぱい。
03/07/22 11:43
>>618
作れ。

620:名無しさん＠お腹いっぱい。
03/07/22 18:36
>>610
まず誠意をみせろ。おれが自宅に戻れる22:00以降に。
話はそれからだ。

621:610
03/07/23 19:58
誠意っヽ(｀Д´)ノ
URLﾘﾝｸ(houston.ddo.jp)
URLﾘﾝｸ(houston.ddo.jp)
URLﾘﾝｸ(houston.ddo.jp)
URLﾘﾝｸ(houston.ddo.jp)
URLﾘﾝｸ(houston.ddo.jp)
URLﾘﾝｸ(www.hh.iij4u.or.jp)
URLﾘﾝｸ(www.pp.iij4u.or.jp)
URLﾘﾝｸ(houston.ddo.jp)
URLﾘﾝｸ(houston.ddo.jp)
URLﾘﾝｸ(houston.ddo.jp)
URLﾘﾝｸ(houston.ddo.jp)
URLﾘﾝｸ(www.hh.iij4u.or.jp)
URLﾘﾝｸ(www.hh.iij4u.or.jp)
URLﾘﾝｸ(homepage2.nifty.com)
URLﾘﾝｸ(homepage2.nifty.com)
URLﾘﾝｸ(homepage2.nifty.com)
URLﾘﾝｸ(www.kk.iij4u.or.jp)
URLﾘﾝｸ(www.pp.iij4u.or.jp)
URLﾘﾝｸ(www.nn.iij4u.or.jp)
URLﾘﾝｸ(www.ff.iij4u.or.jp)
URLﾘﾝｸ(www.ff.iij4u.or.jp)
URLﾘﾝｸ(www.hh.iij4u.or.jp)
URLﾘﾝｸ(www.kk.iij4u.or.jp)
URLﾘﾝｸ(www.hh.iij4u.or.jp)
URLﾘﾝｸ(www.nn.iij4u.or.jp)

622:きっと騙されているに一票
03/07/24 03:00
>>621
ゴチ

623:名無しさん＠お腹いっぱい。
03/07/27 23:48
>>621
落ちてこないよ～

624:名無しさん＠お腹いっぱい。
03/07/28 00:31
こんなん動ナビとか動画普及委員会チェックしてれば毎日ゲットできるぞ。

625:名無しさん＠お腹いっぱい。
03/07/28 17:52
>>620 に騙された哀れな >>610 がいるスッドレはここですか？

626:名無しさん＠お腹いっぱい。
03/07/28 23:40
動ナビ死んでませんか

627:名無しさん＠お腹いっぱい。
03/07/29 05:38
動ナビは死んでないが、iij を使った結構な数のエロサイトから
ファイルが落とせなくなっているな

628:名無しさん＠お腹いっぱい。
03/07/29 14:45
>>626-627
ほかでやれ

629:ぼるじょあ ◆yBEncckFOU
03/08/02 05:03
　　　　∧＿∧　 ∧＿∧
ﾋﾟｭ.ｰ　（　・３・） (　　＾＾）＜これからも僕たちを応援して下さいね（＾＾）。
　　＝〔~∪￣￣￣∪￣￣〕
　　＝ ◎―――◎ 　　　　　　　　　　　　　　　　　　　　　山崎渉&ぼるじょあ

630:名無しさん＠お腹いっぱい。
03/08/04 13:20
wget の --timeout って、
相手がファイアウォールでパケットを捨ててるときには機能しないような気がする。
というか、そもそもそういう目的で使うオプションではないのか？
まあ、squidを経由すれば問題ないんだけど。

631:620
03/08/04 13:38
>>610
遅くなって正直スマンかった。

望みのモノだよ。
URLﾘﾝｸ(saeto.deep-ice.com)

632:名無しさん＠お腹いっぱい。
03/08/04 14:13
>>610
おめ

633:名無しさん＠お腹いっぱい。
03/08/04 14:58
動ナビURLはこっちに
URLﾘﾝｸ(www.i-like-movie.com)

634:名無しさん＠お腹いっぱい。
03/08/13 12:19
２ちゃんで話題になった「みーほ」女子○学生 B86 W57 H88（○5歳）
がこのHP内のギャラリーで何を考えているんだか、衝撃的なセルフのヌードを晒してます！！
削除される前に早めに見ておいた方がいいとおもいます！マジでやば過ぎ！！

URLﾘﾝｸ(neeez.com)

635:名無しさん＠お腹いっぱい。
03/08/13 16:58
不覚にもﾜﾛﾀ

636:あぼーん
あぼーん
あぼーん

637:あぼーん
あぼーん
あぼーん

638:名無しさん＠お腹いっぱい。
03/08/27 02:13
{from..to}

639:名無しさん＠お腹いっぱい。
03/08/27 02:15
{10..20,30..40}
みたいにはできないの？

640:名無しさん＠お腹いっぱい。
03/08/27 03:38
>639
zsh: {{10..20},{30..40}}

641:名無しさん＠お腹いっぱい。
03/08/27 08:40
(　･∀･)つ〃∩ ﾍｪｰﾍｪｰﾍｪｰ

642:639
03/08/27 19:15
>>640
ありが㌧ごぜいます

643:名無しさん＠お腹いっぱい。
03/10/26 18:10
そろそろ２ヶ月もカキコがない…。

おまえら満足してますか？

644:名無しさん＠お腹いっぱい。
03/10/26 22:21
>おまえら満足してますか？

してねぇっす・・・。

ダウンロード成果物をいかにユニークに保存するかってトコロで
頭痛めてたりする。
とりあえず、ファイルのMD5をpostgres上のテーブルにinsertしといて、
ダウンロード成果物をそいつとチェックして適宜ハネるって運用してるん
だけど、どうしても明らかに重複する奴が出てくる。

理由はいくつかあるんだけど、この辺が泥臭くかつ難しいね・・・。

最終的には画像の類似性をうんぬんって世界にしないと仕方ないのか？
誰か「漏れはコレだ！」って奴を教えてくれぃ。

645:名無しさん＠お腹いっぱい。
03/10/27 02:18
>>644
> 最終的には画像の類似性をうんぬんって世界にしないと仕方ないのか？
> 誰か「漏れはコレだ！」って奴を教えてくれぃ。
今まで何を試したか書いてくれ。
例示した後で「それはもう使ってみた」って言われるのはやだ。

646:名無しさん＠お腹いっぱい。
03/10/27 04:18
おれは単純に時間とディレクトリで分類してる。
ファイルのタイムスタンプとユニークなID,簡単なメモを
名前に付けてリネームするスクリプト書いて、
適当なディレクトリにとりあえず放り込む。ここまではほぼ自動。

あとは実際に見てる時に必要なら分類し直す。
おれ的にはファイル名がユニークであれば、それで足りてる。
全ての画像に等しい価値がある訳でないので、
必要な時の手作業の分類で間に合う。

647:名無しさん＠お腹いっぱい。
03/10/27 04:30
俺はディレクトリと連番だな。もちろんスクリプトで。

648:login:Penguin
03/10/27 14:31
>>610
再うpきぼん

649:名無しさん＠お腹いっぱい。
03/10/27 20:36
>>644
wget -x で URL のまま保存してる。

650:名無しさん＠お腹いっぱい。
03/10/28 00:30
>>648
> >>610
> 再うpきぼん

>>631
> >>610
> 遅くなって正直スマンかった。
>
> 望みのモノだよ。
> URLﾘﾝｸ(saeto.deep-ice.com)

651:644
03/10/28 12:03
>今まで何を試したか書いてくれ。
少しずつ積み重ねてるから、そんないろいろな方法試してるわけでも
ないんだわ。
で、今のところこんな仕組み。

前提：ファイルはすべて.jpg。
対象は、ディレクトリごとにファイルがまとまっていると想定。
(ディレクトリひとつに1ファイルは無視)

-- 日々。
(1) wget -x でディレクトリごとdownload
(2) jpeginfoで壊れたファイルを削除

-- 月次。
(3) ディレクトリ階層をn階層 -> 2階層へ変換
(4) 指定バイト数以下のファイルやディレクトリを削除
(サムネイル対策)
(5) 過去にダウンロードしたファイルのmd5と比較し、新規ファイルが
含まれているディレクトリは保存用ディレクトリへ移動。
(6) 保存用ディレクトリへ移動したものは、md5をpostgres上のテーブルへ
insertする。
(次からのダウンロード重複チェック用)

--適当なタイミングで。
(6) そこそこたまってきたら、CD-Rを使ってお掃除。

上記(6)以外はすべて自動実行。
で、こうやってて素朴に思うのが、「ここまでやらないかんのか？」てところ。
これという方法も無いような気がするんだけどね。

652:644
03/10/28 22:21
続き。

重複する理由ってのが、だいたい
(a) jpgファイルが壊れてて、md5が違ってる。
(b) 見た目おんなじ画像で壊れてもいないjpgファイルだけど、何故かmd5が違う。
(c) 素材はおんなじだけど、画像ファイル化したヒトが違うヒト
といったところかなと。
んで、(a)はjpeginfoでどうにかなるとして(といっても再度ダウンロードで補うことが
できればだけどね)、(b),(c)はどうしたものかなと。

完全自動化を目指してるんで、この辺クリアできないかなと考えてます。

653:名無しさん＠お腹いっぱい。
03/10/29 00:51
そこまでしてローカルにあらゆる画像を保存したいの?

画像の類似性を判別するソフトがあったような気もするけど。

654:名無しさん＠お腹いっぱい。
03/10/29 02:28
GQview とか

655:名無しさん＠お腹いっぱい。
03/10/29 02:29
>>653
よく web 上から消えるじゃん。

656:うひひ
03/10/29 09:36
>>644
素人考えなんだが
同じエロ画像でも大きさっていうか画質とかが違ってたりすんじゃん
例えばイメージマジックとかで同じ様な仕様になるように
小さくサムネイルのように同じファイルサイズとかにフィルタしてから
binary diffみたいのを使って差分をとって差分比率を読みとりながら
画像を比較できないのかなぁ？

657:名無しさん＠お腹いっぱい。
03/10/29 14:12
昔は連番ファイル落とすためにwgetやshを駆使して頑張ってた時期もあった。
たとえばこことか。
URLﾘﾝｸ(www.taiwankiss.com)
（白石ひより、藻無し、556MB + 567MB、ラブマ分割、パス未発表）

今は各種P2Pがあるから手間いらずで外付け120GBもエロで満杯だよ。

658:名無しさん＠お腹いっぱい。
03/10/29 22:59
>>658
どのP2P使ってるか教えれ

659:644
03/10/31 23:42
レスありがとさんです。

>GQview とか
フリーでこのテのツールがあるとは知りませんでした。
別のツールでは、作者が「コマンド実行で類推するようにしたいな」って
書いてたんで、もう少し様子見かなと。
もしくは、これらツールから該当コードをぶっこぬいて、コマンドラインで
実行できるようデッチ上げるのも手かなと。

>binary diffみたいのを使って差分をとって差分比率を読みとりながら
>画像を比較できないのかなぁ？
＃漏れも画像関係まったくの素人なんですが・・・。
jpegを一度bitmapか何かに展開してからゴリゴリ比較って動きかな？
暇を見てちょっと試してみます。

時間を見つけて、いずれかの方法をちょっとやってみます。
ありがとうございやした。

660:名無しさん＠お腹いっぱい。
03/11/13 05:03
俺は半角板を自動巡回して URI 拾って wget のリクエスト作る Ruby スクリプト書いた
落ちてきた画像は一通り見てお気に入りの奴はお気に入りディレクトリに入れて
それ以外は全部ファイル名を MD5 にリネームするスクリプトで変換してから
画像置き場ディレクトリに放り込んでる

画像的には同一なんだけどデータとしては違うというケースはうちでも発生してるな
ちゃんと判定する方法なんて無いような気がしてたから諦めてたけど
ここらへん研究してみると面白いかもな

>>652
(b)(c)のケースなんだけど、もし画像サイズが同じなら、
jpeg のエンコード時の特性の違いがあるのかもな
もしそうなら jpeg のエンコードに特化した画像判別があればいいのかも

661:名無しさん＠お腹いっぱい。
03/11/14 22:06
>>660
JPEGは符号化時のクオリティ設定で出力がまったく違います。
また、どこかのwebで拾った同じJPEGファイルに端を発した画像でも
デコード・エンコードを繰り返して劣化したもの、コメントが変わった
・取り除かれたもの、huffmanコードを最適化したものなどいくらでも
バリエーションがありますので、結局デコード後の画像として比較する
しかないのではないかと。

662:名無しさん＠お腹いっぱい。
03/11/22 23:24
エロ画像とかよか普通の女の子画像をダウンロードしたくなりました。
で、
URLﾘﾝｸ(avbuzz.com)
を見つけたわけですが。
ここのを大きい画像だけ上手にダウンロードしたいんだけど、難しいです。
良い方法、なんか思いつきませんか？

663:名無しさん＠お腹いっぱい。
03/11/23 00:16
うーむ。
% w3m -dump_source 'URLﾘﾝｸ(avbuzz.com)' | sed -n 's@ *<img src=$.*$ vspace=10><br>@\1@;s@^u@URLﾘﾝｸ(avbuzz.com)'

664:名無しさん＠お腹いっぱい。
03/11/23 03:04
>>663
出きたよー。
ありがと。

665:名無しさん＠お腹いっぱい。
03/11/25 15:58
wgetを使ってあるディレクトリ以下にある(cgiソース含)ファイルを無差別にDLする方法ありませんかね。

666:名無しさん＠お腹いっぱい。
03/11/25 16:00
man wget

667:名無しさん＠お腹いっぱい。
03/11/25 16:08
>>666
やったけど詳しく書いてないみたいだけど、、、

wget -r --ignore-length <URL/>

で良いかな?

668:名無しさん＠お腹いっぱい。
03/11/25 16:16
info wget

669:名無しさん＠お腹いっぱい。
03/11/25 17:19
cgiファイルらしきもんはダウンロードできたけれど、やっぱソースが見れないです。
ソースの形でまるごとやりたいんですけど。

670:名無しさん＠お腹いっぱい。
03/11/25 17:25
ソースが見れないように設定してあるHTTP鯖から、
ソースを落とすことはできませんヨ。当たり前だろ。

671:名無しさん＠お腹いっぱい。
03/11/25 17:31
やっぱ、そうだったか。
たまたま、ソースもまるごと落せたこともあったけど、それはそこの管理者が
物凄くアホだったってわけね。

俺もな、、、涙;

672:名無しさん＠お腹いっぱい。
03/11/25 17:35
そもそも、読み出し権限無いかもしれないし。

673:名無しさん＠お腹いっぱい。
03/11/25 22:14
>>671
というかCGIとして実行されるように設定されてるファイルは、絶対にGETできんよ。
そのファイルを指定したリクエストが来たらCGIとして実行するようになってる
訳だから、(そのWebサーバ経由では)ファイルを取りようが無い。
ソースを落とせたことがあるんなら、多分それは、CGI実行設定されてない
ディレクトリに物置のように置いて有ったのだろう。逆に言うとそれは
「動いていない」プログラムだから、正しいという保証はどこにも無い。

674:名無しさん＠お腹いっぱい。
03/11/26 00:38
jpeginfo でこわれているjpegファイルの判定を十分にできますか？
なんか、xv で表示できないファイルがだいぶ残るのですが。

675:名無しさん＠お腹いっぱい。
03/11/26 01:21
XVの設定が古いせいではないかと…

ImageMagickとかなら表示できたりしない？

676:名無しさん＠お腹いっぱい。
03/11/26 01:53
そうですか。もうすこしいろいろためしてみます。

677:名無しさん＠お腹いっぱい。
03/11/26 14:35
% perl slodziutka.erospace.pl

ﾄﾞｿﾞｰ

678:名無しさん＠お腹いっぱい。
03/12/17 20:51
最新のwgetって~を%7Eに変換しないのか…

679:名無しさん＠お腹いっぱい。
04/01/02 16:41
「げっとぴっく」ってやつ使ってるんだが
「指定のＵＲＬには画像が存在しません」とかいうエラーが出てきてdlできん

680:名無しさん＠お腹いっぱい。
04/01/02 16:44
>>679
板違い。

681:名無しさん＠お腹いっぱい。
04/01/05 09:57
URLﾘﾝｸ(gallery3.pure-angel.net)

なんだけど、wget が使用不能です（downloaderとして弾かれる）。
猛者の皆様、お助け下さい。

682:名無しさん＠お腹いっぱい。
04/01/05 10:22
>>681
あんま好きなおなごじゃないな

wget --user-agent=Mozilla --referer URLﾘﾝｸ(gallery3.pure-angel.net) URLﾘﾝｸ(gallery3.pure-angel.net)

683:名無しさん＠お腹いっぱい。
04/01/05 14:01
> wget --user-agent=Mozilla --referer URLﾘﾝｸ(gallery3.pure-angel.net) URLﾘﾝｸ(gallery3.pure-angel.net)

ありがとうございます！！
--refererの使用まで思い至りませんでした。

684:名無しさん＠お腹いっぱい。
04/01/08 07:39
>>578の方法につての質問です。
ディレクトリが同じでその中のファイルの例が
img20031113192714.jpg 13 Nov 03 19:27 6.2Kb
img20031113210116.jpg 13 Nov 03 21:01 7.4Kb
img20031113210157.jpg 13 Nov 03 21:01 22.1Kb
･･･
こんな感じになってます。これを一気に落としたいのですが
いかんせん時分秒まで回してたらやばいことになりそうなので
wget URLﾘﾝｸ(~)<)
2003xxxxxxxx.jpg
...
END

の足りない部分を埋めていただきたく思います。
Solaris9でインストールしたときのsh使ってます。

それ以前にwgetでディレクトリサービスONの
アドレスから.jpg .png .gifの絶対パス取って
まとめてゲット~なんて出来ればなお良いんですけど
私にはさっぱりひらめきがないのでもし良かったら
ご教示願います

685:684
04/01/08 07:53
あーん最悪。wget -r URLﾘﾝｸ(www.nantara)
だけでぜーんぶおとせた。ディレクトリサービスオンだとこんなことになるのね。
って書き込んでる間に396filesオチター

686:名無しさん＠お腹いっぱい。
04/01/08 09:52
何が最悪なんだ？

687:名無しさん＠お腹いっぱい。
04/01/08 13:32
684がhelpもinfoも読まずにカキコしちゃった自身の
ソコツさ加減を最悪と称しているのでせう

688:名無しさん＠お腹いっぱい。
04/01/09 02:37
echo "wget URLﾘﾝｸ(www.hoge.he.jp)" | zsh -s

689:名無しさん＠お腹いっぱい。
04/01/09 13:54
>>685
URL希望

690:名無しさん＠お腹いっぱい。
04/01/17 18:58
あの、awkでしかも汚いですが一応動きます。
baseurl と files 変えたら他の女の子のもいけます。
よければ添削してやってください。

BEGIN{
baseurl="URLﾘﾝｸ(www.tokyo-247.net)"
files = 55

split(baseurl,url,"1/")
url[2] = substr(url[2],1,index(url[2],"0"))

for(i=1; i<=files; i++){
path = url[1] int((i-1)/15)+1 "/"
if(i<10){ number = "0" i }else{ number = i}
file = url[2] number ".jpg"
print file
wgetcmd = "wget -nc " path file
system(wgetcmd)
}
}

691:名無しさん＠お腹いっぱい。
04/01/18 00:35
wgetのオプションでquotaを指定すると取得するファイルの上限をきめられるそうですが
逆に下限を決める事はできないのでしょうか？
HDDがすげー遅いので、ディスクアクセスをできるだけ減らしたいっす

692:名無しさん＠お腹いっぱい。
04/01/18 00:39
>>690
わざわざ変なスクリプトかいて暇ですな。

693:名無しさん＠お腹いっぱい。
04/01/18 00:45
>>690
ファイルごとに wget を起動するんでなく
URL を一括で wget に食わせてやる方がよいと思う。
あとせっかく wget 使うなら便利なオプションがいろいろあるので調べるが吉。

694:690
04/01/18 08:09
ご意見ありが㌧。
>692
九段のサイトでは画像を小出しにしてまして
定期的に巡回して、うｐ分を一括ダウソする必要があり
まぁ暇だったこともあってこうなりまつた。
>693
その向きでまたチャレンジしまつ。

695:名無しさん＠お腹いっぱい。
04/01/18 11:26
>　ご意見ありが??。
まともなunixerならまず使おうとは思わん記号だな

696:名無しさん＠お腹いっぱい。
04/01/18 11:53
>>695
というか、入力方法がわからんよ
emacsでctrl-q hoge fuga とかするの?

697:名無しさん＠お腹いっぱい。
04/01/18 11:55
そういえば、どこかのｽﾚに
「(･∀･)ｲﾗﾈ」って書いてあったのを見たことあるよ

698:名無しさん＠お腹いっぱい。
04/01/18 15:40
>695
わざわざ使おうとは思わんけど、
unixでは読めないのがあたりまえみたいな
書きかたをされると( ´ﾟдﾟ｀)

699:名無しさん＠お腹いっぱい。
04/02/08 02:27
連番のH画像じゃないんですが、
URLﾘﾝｸ(celeb.goldengate.hu)
ここの MPEG全部落したいんですが、あれこれやっても
うまくできないのです。お知恵を貸していただければ、
嬉しいのですが。

700:名無しさん＠お腹いっぱい。
04/02/08 03:24
"あれこれ"やったことを書け。

701:名無しさん＠お腹いっぱい。
04/02/08 14:32
リンクを解析して辿り、目的の拡張子だけをダウソするPerlスクリプトを書いたんですが・・・再発明ですか？
個人的には十分楽しんだからｳﾏｰだけど。

702:あぼーん
あぼーん
あぼーん

703:名無しさん＠お腹いっぱい。
04/02/08 15:29
先生！！>>702の頭の悪さが直っていません！

704:名無しさん＠お腹いっぱい。
04/02/08 15:50
HTML::LinkExtor とか使えばいいのに。
出力は、fork しまくって wget を同時に走らすスクリプトに渡すと。

まあ、手元にあるんだが、希望者がいれば公開してあげます。

705:名無しさん＠お腹いっぱい。
04/02/08 17:50
>>704
公開希望

706:名無しさん＠お腹いっぱい。
04/02/08 18:24
今痔が出来て痛くてたまらないからAA貼り付けようかな

707:名無しさん＠お腹いっぱい。
04/02/08 22:22
僕もがんばってみた。「はじめてのC言語」とそれから「関数の使いかた」少しよんだ。

#include <stdio.h>
#include <string.h>
#include <math.h>
#define MAXSTRING 255

struct address{
char preaddr[MAXSTRING];
char scope[MAXSTRING];
char aftaddr[MAXSTRING];

int statnum;
int endnum;
int digit;
};

/* 続く */

708:名無しさん＠お腹いっぱい。
04/02/08 22:23
void numaddr( struct address *p )
{
char cset[] = "-";
p->digit = strcspn( p->scope, cset );
p->statnum = atoi( strtok( p->scope, cset ));
p->endnum = atoi( strtok( NULL, cset ));
}

void printaddr( struct address *p )
{
int i, n, t;
for ( n = p->statnum; n <= p->endnum; n++ )
{
fprintf( stdout, "%s", p->preaddr );
if ( n == 0 ) i = 0;
else i = log10(n);
for ( t = i; t < p->digit - 1; t++ )
fprintf( stdout, "0");
fprintf( stdout, "%d%s\n", n, p->aftaddr );
}
}

/* 続く */

709:名無しさん＠お腹いっぱい。
04/02/08 22:24
int main( int argc, char *argv[] )
{
int i;
char cset[] = "[]";
struct address multiaddr[argc];

if ( argc <= 1 ) fprintf( stdout, "%s [word]...\n", argv[0] );
else
{
for ( i = 1; i < argc; i++ )
{
strcpy ( multiaddr[i].preaddr, strtok( argv[i], cset ));
strcpy ( multiaddr[i].scope, strtok( NULL, cset ));
strcpy ( multiaddr[i].aftaddr, strtok( NULL, cset ));

numaddr(&multiaddr[i]);
printaddr(&multiaddr[i]);
}
}

return 0;
}

/* おしまい */

710:707
04/02/08 22:28
math.h をつかうと
#gcc -o getopai getopai.c -lm
と -lm つけるのなんでだろ?

711:707
04/02/08 22:35
>>709 やっぱこう↓しとく
"s/\[word\]/opai\[001-100\].jpg/"

712:699
04/02/08 23:49
700さん
ここむずかしいですね。どういう仕組みなんだろう、このHP。
画像もたくさんあるみたいなんだけど、すぺてPHPで開いてきます。
wget -r --user-agent=Mozilla --referer URLﾘﾝｸ(celeb.goldengate.hu)<)
当然これでは無理ですね
だめぽ…

713:名無しさん＠お腹いっぱい。
04/02/09 12:51
難しくはない。ただ、ファイル名が結構適当なので面倒臭い。
wget URLﾘﾝｸ(celeb.goldengate.hu)

714:名無しさん＠お腹いっぱい。
04/02/09 13:03
>>712
動画ウィンドウの表示にはJavaScriptを利用してるみたいなので
wgetだけでは無理かと

715:699
04/02/09 23:45
うんどうやってするのがスマートな解決なんでしょうか。
僕には皆目検討もつきません。
やっぱ一つ一つ落すしかないのかな。

716:名無しさん＠お腹いっぱい。
04/02/10 03:47
--user-agentの指定ってどういうとき必要になるの？

717:名無しさん＠お腹いっぱい。
04/02/10 03:56
偽装したい時

718:名無しさん＠お腹いっぱい。
04/02/10 08:30
>>716
指定しないと落とせないとき。

719:名無しさん＠お腹いっぱい。
04/02/10 10:44
アクセスログ読んでる奴に嫌がらせしたいとき。

720:名無しさん＠お腹いっぱい。
04/02/11 12:14
>>718
--user-agentを指定しアクセス制限を回避することは
不正アクセス禁止法の第3条2項2号に違反するため、
一年以下の懲役又は五十万円以下の罰金に処されます。

721:名無しさん＠お腹いっぱい。
04/02/11 13:22
>>720
user agentは不正アクセス禁止法の識別符号には該当しない。

722:名無しさん＠お腹いっぱい。
04/02/11 15:23
詳しい人100人集めたら90人くらいまではそう言うと思うけど、裁判所的にはどうだろね。
URLと一緒で意図絡んでるからトチ狂った判断出される可能性はなきにしもあらずげ。

723:名無しさん＠お腹いっぱい。
04/02/11 20:32
>>721
MS的にはおもしろくないだろうよ？

724:720
04/02/11 23:11
>720はネタなんで無視してくれて構いません。
ただ、一応補足しておくと…

>>721
識別符号を使用した不正アクセス行為を規定しているのは第3条2項1号。
第3条2項2号は識別符号以外の情報を使用した不正アクセスについて
規定しています。
URLﾘﾝｸ(www.ipa.go.jp)

725:名無しさん＠お腹いっぱい。
04/02/12 00:07
もしかして、厳密にいうと違反なわけ？

726:名無しさん＠お腹いっぱい。
04/02/12 01:51
>>725
誰かがUA偽装のみで訴えられて裁判所が何らかの判断下すまで違反だとは誰も断言できない。

条文にアクセス方法についてもうちょい具体的に書いておいてくれりゃよかったんだけどね。

727:名無しさん＠お腹いっぱい。
04/02/12 05:09
telnetしたり自分でUA組んだ時、
打ち間違えたりリテラル書き間違えてたらタイーフォか。ありえねー。
標準で偽装可能な Opera はタイーフォだな。(w
大体、クライアント側が偽装してるかどうかを立証する方法がないわな。

ただ裁判官はこの手の知識は絶無だし、腐った弁護士は少なくないからなぁ。
やな世の中だ。

728:名無しさん＠お腹いっぱい。
04/02/12 15:31
なんか変な人が。

>>727
UserAgentを普段書き換えることや書き換え機能がついてること自体は問題ない。
* UserAgentでアクセスの制限をしているサイト * へ、UserAgentを書き換えて
アクセスしたことが問題（になるかもしれないのはやだなあ）という話。

729:名無しさん＠お腹いっぱい。
04/02/12 19:11
なる可能性はあるな。国内の法律では不正アクセス行為の禁止等に関する法律の
第3条3項に以下の記述がある

>三　電気通信回線を介して接続された他の特定電子計算機が有するアクセス制御機能に
>よりその特定利用を制限されている特定電子計算機に電気通信回線を通じてその
>制限を免れることができる情報又は指令を入力して当該特定電子計算機を作動させ、
>その制限されている特定利用をし得る状態にさせる行為

ここの「制限を免れることが出来る情報」にuseragentが含まれるかどうかが争点だろう。

俺としてはUAはそもそも信憑性にないものだし，UAによるアクセス制御自体が
無効だと思ってる。ケータイのサイトなんかでよくあるけど，CDMAなんかopenwave.com
からブラウザ拾ってきて使えばPCでMobile Browserのagentが出せる。
この場合は有罪?無罪?

アクセス制御にはIPアドレスなどを使うべきだろう。

俺の結論　合法と解釈する。

730:名無しさん＠お腹いっぱい。
04/02/12 22:13
アクセス制限とは認証のことであり、UAのチェックは認証としての要件を満たさない

以上終了

731:名無しさん＠お腹いっぱい。
04/02/13 00:28
>>730
前提を示す必要があるな。

732:名無しさん＠お腹いっぱい。
04/02/13 02:39
もまえら暇だなぁ。

733:名無しさん＠お腹いっぱい。
04/02/13 03:27
そんなことより違法なエロ画像の URL 下さい。

734:名無しさん＠お腹いっぱい。
04/02/13 04:16
「うらぼん」でぐぐればいいのでは？

735:名無しさん＠お腹いっぱい。
04/02/13 07:56
これですか？？
URLﾘﾝｸ(www.chuouji.or.jp)
ありがとうございます！

736:名無しさん＠お腹いっぱい。
04/02/13 08:48
おお、これは本当にありがたい。ありがたやありがたや　(一人一)　ﾅﾑｰ

737:名無しさん＠お腹いっぱい。
04/02/13 12:12
これどうやっておとすのでしょう
wget --referer では落とせません
URLリストをテキストに出力して別のGUIダウンローダにコピペすれば落とせるのですが。
ちなみにwget -iでは無理でした
URLﾘﾝｸ(www.free-adult-hosting.net)
の真ん中右Sampleってやつです01～41
お願いします

738:名無しさん＠お腹いっぱい。
04/02/13 12:25
user-agentだろどうせ

739:名無しさん＠お腹いっぱい。
04/02/13 12:34
cookie利用の可能性も

740:名無しさん＠お腹いっぱい。
04/02/13 12:40
% wget --user-agent=Mozilla URLﾘﾝｸ(www.free-adult-hosting.net)

741:名無しさん＠お腹いっぱい。
04/02/13 14:27
連番の蓮画像を一気にダウンロードする
スレに見えた。

742:名無しさん＠お腹いっぱい。
04/02/13 14:34
>>741
3年前から同じスレタイですが。

743:741
04/02/13 15:02
ようするに見る側の問題ってこった。

744:名無しさん＠お腹いっぱい。
04/02/13 15:11
>740
ありがとぉ

745:名無しさん＠お腹いっぱい。
04/02/14 00:51
URLﾘﾝｸ(kawaii.clawz.com)
ここってどうやって巡回すればいい?
ヘッダがないからwgetじゃエラーになるんだけど

746:名無しさん＠お腹いっぱい。
04/02/14 03:58
よ～するに、M$IEもMozillaを騙っているので偽装であると...φ(.. )

747:名無しさん＠お腹いっぱい。
04/02/14 04:25
　　　　　　　　 ,.　-‐-
　　　　　　　　「｀Ｙ´|　　　ヽ～
　　　　　　　　 Y⌒ｿノﾉﾘ）) ）〉
　　　　　　　　　 i　(ll (〔ｉ　,i〕{ﾉ
　　　　　__　　　ﾘ从ゝ~ (ﾌ／
　　　　 {{ﾞｧ‐　､　　'⌒　T
　　　　 `ーへ　ヽィ　　 !
　　　　　　　　　ｰ' ,ﾉ　　,
　　　　　　　　 , ´ 　 '/
.　　　　 ,.､　　 ! 　ヽ'
　　　　/　　ヽ. /ヽ. 　ヽ
　　　ｰ'´＼　'　 /ヽ　　ヽ
　　　　　　　　　ｰ'　　＼　ヽ　　 _
　　　　　　　　　　　　　　ヽ.　ヽ'´ /
　　　　　　　　　　　　　　＼　_/

【小学6年】山手線（渋谷駅）で全裸の少女が補導 part12【昼間から(画像有り)】
ｽﾚﾘﾝｸ(pcnews板)l50

748:名無しさん＠お腹いっぱい。
04/02/14 04:28
urlがpcnewsでは開いて見る気もせんが、
AAは良い出来だから今回だけは許してやろう。

749:名無しさん＠お腹いっぱい。
04/02/14 12:30
pcnewsに飛ばすならせめて
ネットで公開して本人補導とかそういうのにしてくれないとな。

750:名無しさん＠お腹いっぱい。
04/02/15 04:28
>>735
功徳は生きてるうちに

751:名無しさん＠お腹いっぱい。
04/02/17 17:54
URLﾘﾝｸ(smmonkey.pwp.blueyonder.co.uk)
H画像ではない (連番ではある) けどこれはむっ、と思った。
この手で対処されたらお手上げっぽくね？

# ちなみに違法ページではないよ。Amstrad社のケツの穴はデカいなあ

752:名無しさん＠お腹いっぱい。
04/02/18 23:10
URLﾘﾝｸ(www.macromedia.com)
一応仕様は公開はされてるけどな。

753:名無しさん＠お腹いっぱい。
04/02/20 04:08
あんまりサーバに負荷かけちゃ駄目だよ。

#!/bin/bash

if [ ! -d ./OUT ]; then
mkdir OUT
fi

URL="URLﾘﾝｸ(thebbs.jp)<)"
done

でもここから選別するのが大変な罠。

754:753
04/02/20 04:40
あ、そうそう。
急に変なアクセス増えて何かの対策とられたりしないように次の事くらいは守って使って。
UAは絶対変える。
GETNUMは増やさない。
-w は減らさない。
--random-waitは外さない。

管理者に迷惑かからないようにしてな。まじで。
一晩くらいかけてマターリ落して細く長く楽しむのが吉だべよ。
つっても楽しめる画像があんまり無いんだけど。

755:名無しさん＠お腹いっぱい。
04/02/21 01:23
自分で生HDDをつけるということは、少なくてもパーティションの作成から
ファイルシステムやswapの作成というところから始めなきゃいけない訳だし
unix未経験者にはハードル高いんじゃないかな、少なくてもvi使えないと話にならんし。
でもこれから勉強したい人には良いかもね。

756:名無しさん＠お腹いっぱい。
04/02/21 01:38
↑なかなか上品なレスだけど、頭の中ではエロエロなことばかり考えているんですね。

757:名無しさん＠お腹いっぱい。
04/02/21 16:20
誤爆かと思った罠

758:名無しさん＠お腹いっぱい。
04/02/22 07:14
エロは*習熟の源です

759:名無しさん＠お腹いっぱい。
04/03/12 00:34

760:名無しさん＠お腹いっぱい。
04/03/15 03:48
ほしゅ

761:名無しさん＠お腹いっぱい。
04/04/16 21:19
ほしゅほしゅ

762:名無しさん＠お腹いっぱい。
04/04/22 20:59
hosyu

763:名無しさん＠お腹いっぱい。
04/05/07 11:36

764:名無しさん＠お腹いっぱい。
04/05/07 23:19
hosyu

765:名無しさん＠お腹いっぱい。
04/05/08 00:26
なんかネタ無いの？
wgetで複数ファイルの同時ダウンロードするシェルスクリプト書いてたまに使ってるけど、
curlを使うperl,ruby,python等のスクリプトの方がよくない？
shは遅いし、wgetは終了時のエラーコードとか細かい部分がダメぽい。

766:名無しさん＠お腹いっぱい。
04/05/08 05:48
エロには飽きた。

767:名無しさん＠お腹いっぱい。
04/05/08 06:19
画像に飽きた奴が小説に流れるパターンだな

768:名無しさん＠お腹いっぱい。
04/05/23 11:48
もう一度、ｴﾛのﾊﾟﾜｰを！！！

769:名無しさん＠お腹いっぱい。
04/05/28 13:14
保守

770:sage
04/06/21 21:23
誰か俺が使ってるスクリプト見たい人いる？汚いけど。

771:名無しさん＠お腹いっぱい。
04/06/21 21:30
参考にしてみたいな

772:770
04/06/21 22:09
こんなかんじ。
urlをテキストに並べておいて、ファイル名を引き数に指定して使ってます。
urlにリンクされているjpgを勝手にフォルダ掘ってそこにdlしていきます。
フォルダ名はurlから拾ってます。

#!/usr/bin/perl

use LWP::UserAgent;
use HTML::LinkExtor;
use URI::URL;
use strict;
use POSIX ":sys_wait_h";

$| = 1;#OUTPUT_AUTOFLUSH

my $iframe_ref='';
my $base_tag = '';

773:770
04/06/21 22:09
while(!eof()) {
my $url = <>;
$iframe_ref = '';
my %downloads = ();
chomp $url;
next unless $url;
print "Checking $url¥n";
if ( map{ $downloads{$_} = 0 } getlinks($url) )
{
$url = $iframe_ref if $iframe_ref;
dl2( $url,[sort keys %downloads] );
print "¥n";
} else {
print "there are no JPG¥n";
}
}

774:770
04/06/21 22:10
my @imgs = ();
my $iframe = '';
sub callback {
my($tag, %attr) = @_;
$iframe = $attr{"src"} if $tag eq 'iframe';
$base_tag = $attr{"href"} if $tag eq 'base';
return if $tag ne 'a';
push(@imgs, $attr{"href"});
}

775:770
04/06/21 22:10
sub getlinks
{
$base_tag = '';
@imgs = ();
$iframe = '';
my $url = $_[0];
my $ua = LWP::UserAgent->new( Agent => "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;)");
my $p = HTML::LinkExtor->new(¥&callback);
my $res = $ua->request(HTTP::Request->new(GET => $url),
sub {$p->parse($_[0])});
my $base = $base_tag || $res->base;
if ($iframe and !@imgs) {
print "Found iframe. recheck >> $iframe¥n";
$_ = url($iframe,$base)->abs;
$iframe_ref = $_;
$iframe = '';
return getlinks($_);
}
@imgs = map { $_ = url($_, $base)->abs; } @imgs;
@imgs = grep{/.[jJ][pP][gG]$/} @imgs;
return @imgs;
}

次ページ