連番のH画像を一気に ..
620:名無しさん@お腹いっぱい。
03/07/22 18:36
>>610
まず誠意をみせろ。おれが自宅に戻れる22:00以降に。
話はそれからだ。
621:610
03/07/23 19:58
誠意っヽ(`Д´)ノ
URLリンク(houston.ddo.jp)
URLリンク(houston.ddo.jp)
URLリンク(houston.ddo.jp)
URLリンク(houston.ddo.jp)
URLリンク(houston.ddo.jp)
URLリンク(www.hh.iij4u.or.jp)
URLリンク(www.pp.iij4u.or.jp)
URLリンク(houston.ddo.jp)
URLリンク(houston.ddo.jp)
URLリンク(houston.ddo.jp)
URLリンク(houston.ddo.jp)
URLリンク(www.hh.iij4u.or.jp)
URLリンク(www.hh.iij4u.or.jp)
URLリンク(homepage2.nifty.com)
URLリンク(homepage2.nifty.com)
URLリンク(homepage2.nifty.com)
URLリンク(www.kk.iij4u.or.jp)
URLリンク(www.pp.iij4u.or.jp)
URLリンク(www.nn.iij4u.or.jp)
URLリンク(www.ff.iij4u.or.jp)
URLリンク(www.ff.iij4u.or.jp)
URLリンク(www.hh.iij4u.or.jp)
URLリンク(www.kk.iij4u.or.jp)
URLリンク(www.hh.iij4u.or.jp)
URLリンク(www.nn.iij4u.or.jp)
622:きっと騙されているに一票
03/07/24 03:00
>>621
ゴチ
623:名無しさん@お腹いっぱい。
03/07/27 23:48
>>621
落ちてこないよ〜
624:名無しさん@お腹いっぱい。
03/07/28 00:31
こんなん動ナビとか動画普及委員会チェックしてれば毎日ゲットできるぞ。
625:名無しさん@お腹いっぱい。
03/07/28 17:52
>>620 に騙された哀れな >>610 がいるスッドレはここですか?
626:名無しさん@お腹いっぱい。
03/07/28 23:40
動ナビ死んでませんか
627:名無しさん@お腹いっぱい。
03/07/29 05:38
動ナビは死んでないが、iij を使った結構な数のエロサイトから
ファイルが落とせなくなっているな
628:名無しさん@お腹いっぱい。
03/07/29 14:45
>>626-627
ほかでやれ
629:ぼるじょあ ◆yBEncckFOU
03/08/02 05:03
∧_∧ ∧_∧
ピュ.ー ( ・3・) ( ^^ ) <これからも僕たちを応援して下さいね(^^)。
=〔~∪ ̄ ̄ ̄∪ ̄ ̄〕
= ◎―――◎ 山崎渉&ぼるじょあ
630:名無しさん@お腹いっぱい。
03/08/04 13:20
wget の --timeout って、
相手がファイアウォールでパケットを捨ててるときには機能しないような気がする。
というか、そもそもそういう目的で使うオプションではないのか?
まあ、squidを経由すれば問題ないんだけど。
631:620
03/08/04 13:38
>>610
遅くなって正直スマンかった。
望みのモノだよ。
URLリンク(saeto.deep-ice.com)
632:名無しさん@お腹いっぱい。
03/08/04 14:13
>>610
おめ
633:名無しさん@お腹いっぱい。
03/08/04 14:58
動ナビURLはこっちに
URLリンク(www.i-like-movie.com)
634:名無しさん@お腹いっぱい。
03/08/13 12:19
2ちゃんで話題になった「みーほ」女子○学生 B86 W57 H88(○5歳)
がこのHP内のギャラリーで何を考えているんだか、衝撃的なセルフのヌードを晒してます!!
削除される前に早めに見ておいた方がいいとおもいます!マジでやば過ぎ!!
URLリンク(neeez.com)
635:名無しさん@お腹いっぱい。
03/08/13 16:58
不覚にもワロタ
636:あぼーん
あぼーん
あぼーん
637:あぼーん
あぼーん
あぼーん
638:名無しさん@お腹いっぱい。
03/08/27 02:13
{from..to}
639:名無しさん@お腹いっぱい。
03/08/27 02:15
{10..20,30..40}
みたいにはできないの?
640:名無しさん@お腹いっぱい。
03/08/27 03:38
>639
zsh: {{10..20},{30..40}}
641:名無しさん@お腹いっぱい。
03/08/27 08:40
( ・∀・)つ〃∩ ヘェーヘェーヘェー
642:639
03/08/27 19:15
>>640
ありがdごぜいます
643:名無しさん@お腹いっぱい。
03/10/26 18:10
そろそろ2ヶ月もカキコがない…。
おまえら満足してますか?
644:名無しさん@お腹いっぱい。
03/10/26 22:21
>おまえら満足してますか?
してねぇっす・・・。
ダウンロード成果物をいかにユニークに保存するかってトコロで
頭痛めてたりする。
とりあえず、ファイルのMD5をpostgres上のテーブルにinsertしといて、
ダウンロード成果物をそいつとチェックして適宜ハネるって運用してるん
だけど、どうしても明らかに重複する奴が出てくる。
理由はいくつかあるんだけど、この辺が泥臭くかつ難しいね・・・。
最終的には画像の類似性をうんぬんって世界にしないと仕方ないのか?
誰か「漏れはコレだ!」って奴を教えてくれぃ。
645:名無しさん@お腹いっぱい。
03/10/27 02:18
>>644
> 最終的には画像の類似性をうんぬんって世界にしないと仕方ないのか?
> 誰か「漏れはコレだ!」って奴を教えてくれぃ。
今まで何を試したか書いてくれ。
例示した後で「それはもう使ってみた」って言われるのはやだ。
646:名無しさん@お腹いっぱい。
03/10/27 04:18
おれは単純に時間とディレクトリで分類してる。
ファイルのタイムスタンプとユニークなID,簡単なメモを
名前に付けてリネームするスクリプト書いて、
適当なディレクトリにとりあえず放り込む。ここまではほぼ自動。
あとは実際に見てる時に必要なら分類し直す。
おれ的にはファイル名がユニークであれば、それで足りてる。
全ての画像に等しい価値がある訳でないので、
必要な時の手作業の分類で間に合う。
647:名無しさん@お腹いっぱい。
03/10/27 04:30
俺はディレクトリと連番だな。もちろんスクリプトで。
648:login:Penguin
03/10/27 14:31
>>610
再うpきぼん
649:名無しさん@お腹いっぱい。
03/10/27 20:36
>>644
wget -x で URL のまま保存してる。
650:名無しさん@お腹いっぱい。
03/10/28 00:30
>>648
> >>610
> 再うpきぼん
>>631
> >>610
> 遅くなって正直スマンかった。
>
> 望みのモノだよ。
> URLリンク(saeto.deep-ice.com)
651:644
03/10/28 12:03
>今まで何を試したか書いてくれ。
少しずつ積み重ねてるから、そんないろいろな方法試してるわけでも
ないんだわ。
で、今のところこんな仕組み。
前提:ファイルはすべて.jpg。
対象は、ディレクトリごとにファイルがまとまっていると想定。
(ディレクトリひとつに1ファイルは無視)
-- 日々。
(1) wget -x でディレクトリごとdownload
(2) jpeginfoで壊れたファイルを削除
-- 月次。
(3) ディレクトリ階層をn階層 -> 2階層へ変換
(4) 指定バイト数以下のファイルやディレクトリを削除
(サムネイル対策)
(5) 過去にダウンロードしたファイルのmd5と比較し、新規ファイルが
含まれているディレクトリは保存用ディレクトリへ移動。
(6) 保存用ディレクトリへ移動したものは、md5をpostgres上のテーブルへ
insertする。
(次からのダウンロード重複チェック用)
--適当なタイミングで。
(6) そこそこたまってきたら、CD-Rを使ってお掃除。
上記(6)以外はすべて自動実行。
で、こうやってて素朴に思うのが、「ここまでやらないかんのか?」てところ。
これという方法も無いような気がするんだけどね。
652:644
03/10/28 22:21
続き。
重複する理由ってのが、だいたい
(a) jpgファイルが壊れてて、md5が違ってる。
(b) 見た目おんなじ画像で壊れてもいないjpgファイルだけど、何故かmd5が違う。
(c) 素材はおんなじだけど、画像ファイル化したヒトが違うヒト
といったところかなと。
んで、(a)はjpeginfoでどうにかなるとして(といっても再度ダウンロードで補うことが
できればだけどね)、(b),(c)はどうしたものかなと。
完全自動化を目指してるんで、この辺クリアできないかなと考えてます。
653:名無しさん@お腹いっぱい。
03/10/29 00:51
そこまでしてローカルにあらゆる画像を保存したいの?
画像の類似性を判別するソフトがあったような気もするけど。
654:名無しさん@お腹いっぱい。
03/10/29 02:28
GQview とか
655:名無しさん@お腹いっぱい。
03/10/29 02:29
>>653
よく web 上から消えるじゃん。
656:うひひ
03/10/29 09:36
>>644
素人考えなんだが
同じエロ画像でも大きさっていうか画質とかが違ってたりすんじゃん
例えばイメージマジックとかで同じ様な仕様になるように
小さくサムネイルのように同じファイルサイズとかにフィルタしてから
binary diffみたいのを使って差分をとって差分比率を読みとりながら
画像を比較できないのかなぁ?
657:名無しさん@お腹いっぱい。
03/10/29 14:12
昔は連番ファイル落とすためにwgetやshを駆使して頑張ってた時期もあった。
たとえばこことか。
URLリンク(www.taiwankiss.com)
(白石ひより、藻無し、556MB + 567MB、ラブマ分割、パス未発表)
今は各種P2Pがあるから手間いらずで外付け120GBもエロで満杯だよ。
658:名無しさん@お腹いっぱい。
03/10/29 22:59
>>658
どのP2P使ってるか教えれ
659:644
03/10/31 23:42
レスありがとさんです。
>GQview とか
フリーでこのテのツールがあるとは知りませんでした。
別のツールでは、作者が「コマンド実行で類推するようにしたいな」って
書いてたんで、もう少し様子見かなと。
もしくは、これらツールから該当コードをぶっこぬいて、コマンドラインで
実行できるようデッチ上げるのも手かなと。
>binary diffみたいのを使って差分をとって差分比率を読みとりながら
>画像を比較できないのかなぁ?
#漏れも画像関係まったくの素人なんですが・・・。
jpegを一度bitmapか何かに展開してからゴリゴリ比較って動きかな?
暇を見てちょっと試してみます。
時間を見つけて、いずれかの方法をちょっとやってみます。
ありがとうございやした。
660:名無しさん@お腹いっぱい。
03/11/13 05:03
俺は半角板を自動巡回して URI 拾って wget のリクエスト作る Ruby スクリプト書いた
落ちてきた画像は一通り見てお気に入りの奴はお気に入りディレクトリに入れて
それ以外は全部ファイル名を MD5 にリネームするスクリプトで変換してから
画像置き場ディレクトリに放り込んでる
画像的には同一なんだけどデータとしては違うというケースはうちでも発生してるな
ちゃんと判定する方法なんて無いような気がしてたから諦めてたけど
ここらへん研究してみると面白いかもな
>>652
(b)(c)のケースなんだけど、もし画像サイズが同じなら、
jpeg のエンコード時の特性の違いがあるのかもな
もしそうなら jpeg のエンコードに特化した画像判別があればいいのかも
661:名無しさん@お腹いっぱい。
03/11/14 22:06
>>660
JPEGは符号化時のクオリティ設定で出力がまったく違います。
また、どこかのwebで拾った同じJPEGファイルに端を発した画像でも
デコード・エンコードを繰り返して劣化したもの、コメントが変わった
・取り除かれたもの、huffmanコードを最適化したものなどいくらでも
バリエーションがありますので、結局デコード後の画像として比較する
しかないのではないかと。
662:名無しさん@お腹いっぱい。
03/11/22 23:24
エロ画像とかよか普通の女の子画像をダウンロードしたくなりました。
で、
URLリンク(avbuzz.com)
を見つけたわけですが。
ここのを大きい画像だけ上手にダウンロードしたいんだけど、難しいです。
良い方法、なんか思いつきませんか?
663:名無しさん@お腹いっぱい。
03/11/23 00:16
うーむ。
% w3m -dump_source 'URLリンク(avbuzz.com)' | sed -n 's@ *<img src=\(.*\) vspace=10><br>@\1@;s@^u@URLリンク(avbuzz.com)'
664:名無しさん@お腹いっぱい。
03/11/23 03:04
>>663
出きたよー。
ありがと。
665:名無しさん@お腹いっぱい。
03/11/25 15:58
wgetを使ってあるディレクトリ以下にある(cgiソース含)ファイルを無差別にDLする方法ありませんかね。
666:名無しさん@お腹いっぱい。
03/11/25 16:00
man wget
667:名無しさん@お腹いっぱい。
03/11/25 16:08
>>666
やったけど詳しく書いてないみたいだけど、、、
wget -r --ignore-length <URL/>
で良いかな?
668:名無しさん@お腹いっぱい。
03/11/25 16:16
info wget
669:名無しさん@お腹いっぱい。
03/11/25 17:19
cgiファイルらしきもんはダウンロードできたけれど、やっぱソースが見れないです。
ソースの形でまるごとやりたいんですけど。
670:名無しさん@お腹いっぱい。
03/11/25 17:25
ソースが見れないように設定してあるHTTP鯖から、
ソースを落とすことはできませんヨ。当たり前だろ。
671:名無しさん@お腹いっぱい。
03/11/25 17:31
やっぱ、そうだったか。
たまたま、ソースもまるごと落せたこともあったけど、それはそこの管理者が
物凄くアホだったってわけね。
俺もな、、、涙;
672:名無しさん@お腹いっぱい。
03/11/25 17:35
そもそも、読み出し権限無いかもしれないし。
673:名無しさん@お腹いっぱい。
03/11/25 22:14
>>671
というかCGIとして実行されるように設定されてるファイルは、絶対にGETできんよ。
そのファイルを指定したリクエストが来たらCGIとして実行するようになってる
訳だから、(そのWebサーバ経由では)ファイルを取りようが無い。
ソースを落とせたことがあるんなら、多分それは、CGI実行設定されてない
ディレクトリに物置のように置いて有ったのだろう。逆に言うとそれは
「動いていない」プログラムだから、正しいという保証はどこにも無い。
674:名無しさん@お腹いっぱい。
03/11/26 00:38
jpeginfo でこわれているjpegファイルの判定を十分にできますか?
なんか、xv で表示できないファイルがだいぶ残るのですが。
675:名無しさん@お腹いっぱい。
03/11/26 01:21
XVの設定が古いせいではないかと…
ImageMagickとかなら表示できたりしない?
676:名無しさん@お腹いっぱい。
03/11/26 01:53
そうですか。もうすこしいろいろためしてみます。
677:名無しさん@お腹いっぱい。
03/11/26 14:35
% perl slodziutka.erospace.pl
ドゾー
678:名無しさん@お腹いっぱい。
03/12/17 20:51
最新のwgetって~を%7Eに変換しないのか…
679:名無しさん@お腹いっぱい。
04/01/02 16:41
「げっとぴっく」ってやつ使ってるんだが
「指定のURLには画像が存在しません」とかいうエラーが出てきてdlできん
680:名無しさん@お腹いっぱい。
04/01/02 16:44
>>679
板違い。
681:名無しさん@お腹いっぱい。
04/01/05 09:57
URLリンク(gallery3.pure-angel.net)
なんだけど、wget が使用不能です(downloaderとして弾かれる)。
猛者の皆様、お助け下さい。
682:名無しさん@お腹いっぱい。
04/01/05 10:22
>>681
あんま好きなおなごじゃないな
wget --user-agent=Mozilla --referer URLリンク(gallery3.pure-angel.net) URLリンク(gallery3.pure-angel.net)
683:名無しさん@お腹いっぱい。
04/01/05 14:01
> wget --user-agent=Mozilla --referer URLリンク(gallery3.pure-angel.net) URLリンク(gallery3.pure-angel.net)
ありがとうございます!!
--refererの使用まで思い至りませんでした。
684:名無しさん@お腹いっぱい。
04/01/08 07:39
>>578の方法につての質問です。
ディレクトリが同じでその中のファイルの例が
img20031113192714.jpg 13 Nov 03 19:27 6.2Kb
img20031113210116.jpg 13 Nov 03 21:01 7.4Kb
img20031113210157.jpg 13 Nov 03 21:01 22.1Kb
・・・
こんな感じになってます。これを一気に落としたいのですが
いかんせん時分秒まで回してたらやばいことになりそうなので
wget URLリンク(~)<)
2003xxxxxxxx.jpg
...
END
の足りない部分を埋めていただきたく思います。
Solaris9でインストールしたときのsh使ってます。
それ以前にwgetでディレクトリサービスONの
アドレスから.jpg .png .gifの絶対パス取って
まとめてゲット~なんて出来ればなお良いんですけど
私にはさっぱりひらめきがないのでもし良かったら
ご教示願います
685:684
04/01/08 07:53
あーん最悪。wget -r URLリンク(www.nantara)
だけでぜーんぶおとせた。ディレクトリサービスオンだとこんなことになるのね。
って書き込んでる間に396filesオチター
686:名無しさん@お腹いっぱい。
04/01/08 09:52
何が最悪なんだ?
687:名無しさん@お腹いっぱい。
04/01/08 13:32
684がhelpもinfoも読まずにカキコしちゃった自身の
ソコツさ加減を最悪と称しているのでせう
688:名無しさん@お腹いっぱい。
04/01/09 02:37
echo "wget URLリンク(www.hoge.he.jp)" | zsh -s
689:名無しさん@お腹いっぱい。
04/01/09 13:54
>>685
URL希望
690:名無しさん@お腹いっぱい。
04/01/17 18:58
あの、awkでしかも汚いですが一応動きます。
baseurl と files 変えたら他の女の子のもいけます。
よければ添削してやってください。
BEGIN{
baseurl="URLリンク(www.tokyo-247.net)"
files = 55
split(baseurl,url,"1/")
url[2] = substr(url[2],1,index(url[2],"0"))
for(i=1; i<=files; i++){
path = url[1] int((i-1)/15)+1 "/"
if(i<10){ number = "0" i }else{ number = i}
file = url[2] number ".jpg"
print file
wgetcmd = "wget -nc " path file
system(wgetcmd)
}
}
691:名無しさん@お腹いっぱい。
04/01/18 00:35
wgetのオプションでquotaを指定すると取得するファイルの上限をきめられるそうですが
逆に下限を決める事はできないのでしょうか?
HDDがすげー遅いので、ディスクアクセスをできるだけ減らしたいっす
692:名無しさん@お腹いっぱい。
04/01/18 00:39
>>690
わざわざ変なスクリプトかいて暇ですな。
693:名無しさん@お腹いっぱい。
04/01/18 00:45
>>690
ファイルごとに wget を起動するんでなく
URL を一括で wget に食わせてやる方がよいと思う。
あとせっかく wget 使うなら便利なオプションがいろいろあるので調べるが吉。
694:690
04/01/18 08:09
ご意見ありがd。
>692
九段のサイトでは画像を小出しにしてまして
定期的に巡回して、うp分を一括ダウソする必要があり
まぁ暇だったこともあってこうなりまつた。
>693
その向きでまたチャレンジしまつ。
695:名無しさん@お腹いっぱい。
04/01/18 11:26
> ご意見ありが??。
まともなunixerならまず使おうとは思わん記号だな
696:名無しさん@お腹いっぱい。
04/01/18 11:53
>>695
というか、入力方法がわからんよ
emacsでctrl-q hoge fuga とかするの?
697:名無しさん@お腹いっぱい。
04/01/18 11:55
そういえば、どこかのスレに
「(・∀・)イラネ」って書いてあったのを見たことあるよ
698:名無しさん@お腹いっぱい。
04/01/18 15:40
>695
わざわざ使おうとは思わんけど、
unixでは読めないのがあたりまえみたいな
書きかたをされると( ´゚д゚`)
699:名無しさん@お腹いっぱい。
04/02/08 02:27
連番のH画像じゃないんですが、
URLリンク(celeb.goldengate.hu)
ここの MPEG全部落したいんですが、あれこれやっても
うまくできないのです。お知恵を貸していただければ、
嬉しいのですが。
700:名無しさん@お腹いっぱい。
04/02/08 03:24
"あれこれ"やったことを書け。
701:名無しさん@お腹いっぱい。
04/02/08 14:32
リンクを解析して辿り、目的の拡張子だけをダウソするPerlスクリプトを書いたんですが・・・再発明ですか?
個人的には十分楽しんだからウマーだけど。
702:あぼーん
あぼーん
あぼーん
703:名無しさん@お腹いっぱい。
04/02/08 15:29
先生!!>>702の頭の悪さが直っていません!
704:名無しさん@お腹いっぱい。
04/02/08 15:50
HTML::LinkExtor とか使えばいいのに。
出力は、fork しまくって wget を同時に走らすスクリプトに渡すと。
まあ、手元にあるんだが、希望者がいれば公開してあげます。
705:名無しさん@お腹いっぱい。
04/02/08 17:50
>>704
公開希望
706:名無しさん@お腹いっぱい。
04/02/08 18:24
今痔が出来て痛くてたまらないからAA貼り付けようかな
707:名無しさん@お腹いっぱい。
04/02/08 22:22
僕もがんばってみた。「はじめてのC言語」とそれから「関数の使いかた」少しよんだ。
#include <stdio.h>
#include <string.h>
#include <math.h>
#define MAXSTRING 255
struct address{
char preaddr[MAXSTRING];
char scope[MAXSTRING];
char aftaddr[MAXSTRING];
int statnum;
int endnum;
int digit;
};
/* 続く */
708:名無しさん@お腹いっぱい。
04/02/08 22:23
void numaddr( struct address *p )
{
char cset[] = "-";
p->digit = strcspn( p->scope, cset );
p->statnum = atoi( strtok( p->scope, cset ));
p->endnum = atoi( strtok( NULL, cset ));
}
void printaddr( struct address *p )
{
int i, n, t;
for ( n = p->statnum; n <= p->endnum; n++ )
{
fprintf( stdout, "%s", p->preaddr );
if ( n == 0 ) i = 0;
else i = log10(n);
for ( t = i; t < p->digit - 1; t++ )
fprintf( stdout, "0");
fprintf( stdout, "%d%s\n", n, p->aftaddr );
}
}
/* 続く */
709:名無しさん@お腹いっぱい。
04/02/08 22:24
int main( int argc, char *argv[] )
{
int i;
char cset[] = "[]";
struct address multiaddr[argc];
if ( argc <= 1 ) fprintf( stdout, "%s [word]...\n", argv[0] );
else
{
for ( i = 1; i < argc; i++ )
{
strcpy ( multiaddr[i].preaddr, strtok( argv[i], cset ));
strcpy ( multiaddr[i].scope, strtok( NULL, cset ));
strcpy ( multiaddr[i].aftaddr, strtok( NULL, cset ));
numaddr(&multiaddr[i]);
printaddr(&multiaddr[i]);
}
}
return 0;
}
/* おしまい */
710:707
04/02/08 22:28
math.h をつかうと
#gcc -o getopai getopai.c -lm
と -lm つけるのなんでだろ?
711:707
04/02/08 22:35
>>709 やっぱこう↓しとく
"s/\[word\]/opai\[001-100\].jpg/"
712:699
04/02/08 23:49
700さん
ここむずかしいですね。どういう仕組みなんだろう、このHP。
画像もたくさんあるみたいなんだけど、すぺてPHPで開いてきます。
wget -r --user-agent=Mozilla --referer URLリンク(celeb.goldengate.hu)<)
当然 これでは無理ですね
だめぽ…
713:名無しさん@お腹いっぱい。
04/02/09 12:51
難しくはない。ただ、ファイル名が結構適当なので面倒臭い。
wget URLリンク(celeb.goldengate.hu)
714:名無しさん@お腹いっぱい。
04/02/09 13:03
>>712
動画ウィンドウの表示にはJavaScriptを利用してるみたいなので
wgetだけでは無理かと
715:699
04/02/09 23:45
うん どうやってするのがスマートな解決なんでしょうか。
僕には皆目検討もつきません。
やっぱ 一つ一つ落すしかないのかな。
716:名無しさん@お腹いっぱい。
04/02/10 03:47
--user-agentの指定ってどういうとき必要になるの?
717:名無しさん@お腹いっぱい。
04/02/10 03:56
偽装したい時
718:名無しさん@お腹いっぱい。
04/02/10 08:30
>>716
指定しないと落とせないとき。
719:名無しさん@お腹いっぱい。
04/02/10 10:44
アクセスログ読んでる奴に嫌がらせしたいとき。
720:名無しさん@お腹いっぱい。
04/02/11 12:14
>>718
--user-agentを指定しアクセス制限を回避することは
不正アクセス禁止法の第3条2項2号に違反するため、
一年以下の懲役又は五十万円以下の罰金に処されます。
721:名無しさん@お腹いっぱい。
04/02/11 13:22
>>720
user agentは不正アクセス禁止法の識別符号には該当しない。
722:名無しさん@お腹いっぱい。
04/02/11 15:23
詳しい人100人集めたら90人くらいまではそう言うと思うけど、裁判所的にはどうだろね。
URLと一緒で意図絡んでるからトチ狂った判断出される可能性はなきにしもあらずげ。
723:名無しさん@お腹いっぱい。
04/02/11 20:32
>>721
MS的にはおもしろくないだろうよ?
724:720
04/02/11 23:11
>720はネタなんで無視してくれて構いません。
ただ、一応補足しておくと…
>>721
識別符号を使用した不正アクセス行為を規定しているのは第3条2項1号。
第3条2項2号は識別符号以外の情報を使用した不正アクセスについて
規定しています。
URLリンク(www.ipa.go.jp)
725:名無しさん@お腹いっぱい。
04/02/12 00:07
もしかして、厳密にいうと違反なわけ?
726:名無しさん@お腹いっぱい。
04/02/12 01:51
>>725
誰かがUA偽装のみで訴えられて裁判所が何らかの判断下すまで違反だとは誰も断言できない。
条文にアクセス方法についてもうちょい具体的に書いておいてくれりゃよかったんだけどね。
727:名無しさん@お腹いっぱい。
04/02/12 05:09
telnetしたり自分でUA組んだ時、
打ち間違えたりリテラル書き間違えてたらタイーフォか。ありえねー。
標準で偽装可能な Opera はタイーフォだな。(w
大体、クライアント側が偽装してるかどうかを立証する方法がないわな。
ただ裁判官はこの手の知識は絶無だし、腐った弁護士は少なくないからなぁ。
やな世の中だ。
728:名無しさん@お腹いっぱい。
04/02/12 15:31
なんか変な人が。
>>727
UserAgentを普段書き換えることや書き換え機能がついてること自体は問題ない。
* UserAgentでアクセスの制限をしているサイト * へ、UserAgentを書き換えて
アクセスしたことが問題(になるかもしれないのはやだなあ)という話。
729:名無しさん@お腹いっぱい。
04/02/12 19:11
なる可能性はあるな。国内の法律では不正アクセス行為の禁止等に関する法律の
第3条3項に以下の記述がある
>三 電気通信回線を介して接続された他の特定電子計算機が有するアクセス制御機能に
>よりその特定利用を制限されている特定電子計算機に電気通信回線を通じてその
>制限を免れることができる情報又は指令を入力して当該特定電子計算機を作動させ、
>その制限されている特定利用をし得る状態にさせる行為
ここの「制限を免れることが出来る情報」にuseragentが含まれるかどうかが争点だろう。
俺としてはUAはそもそも信憑性にないものだし,UAによるアクセス制御自体が
無効だと思ってる。ケータイのサイトなんかでよくあるけど,CDMAなんかopenwave.com
からブラウザ拾ってきて使えばPCでMobile Browserのagentが出せる。
この場合は有罪?無罪?
アクセス制御にはIPアドレスなどを使うべきだろう。
俺の結論 合法と解釈する。
730:名無しさん@お腹いっぱい。
04/02/12 22:13
アクセス制限とは認証のことであり、UAのチェックは認証としての要件を満たさない
以上終了
731:名無しさん@お腹いっぱい。
04/02/13 00:28
>>730
前提を示す必要があるな。
732:名無しさん@お腹いっぱい。
04/02/13 02:39
もまえら暇だなぁ。
733:名無しさん@お腹いっぱい。
04/02/13 03:27
そんなことより違法なエロ画像の URL 下さい。
734:名無しさん@お腹いっぱい。
04/02/13 04:16
「うらぼん」でぐぐればいいのでは?
735:名無しさん@お腹いっぱい。
04/02/13 07:56
これですか??
URLリンク(www.chuouji.or.jp)
ありがとうございます!
736:名無しさん@お腹いっぱい。
04/02/13 08:48
おお、これは本当にありがたい。ありがたやありがたや (一人一) ナムー
737:名無しさん@お腹いっぱい。
04/02/13 12:12
これどうやっておとすのでしょう
wget --referer では落とせません
URLリストをテキストに出力して別のGUIダウンローダにコピペすれば落とせるのですが。
ちなみにwget -iでは無理でした
URLリンク(www.free-adult-hosting.net)
の真ん中右Sampleってやつです01〜41
お願いします
738:名無しさん@お腹いっぱい。
04/02/13 12:25
user-agentだろどうせ
739:名無しさん@お腹いっぱい。
04/02/13 12:34
cookie利用の可能性も
740:名無しさん@お腹いっぱい。
04/02/13 12:40
% wget --user-agent=Mozilla URLリンク(www.free-adult-hosting.net)
741:名無しさん@お腹いっぱい。
04/02/13 14:27
連番の蓮画像を一気にダウンロードする
スレに見えた。
742:名無しさん@お腹いっぱい。
04/02/13 14:34
>>741
3年前から同じスレタイですが。
743:741
04/02/13 15:02
ようするに見る側の問題ってこった。
744:名無しさん@お腹いっぱい。
04/02/13 15:11
>740
ありがとぉ
745:名無しさん@お腹いっぱい。
04/02/14 00:51
URLリンク(kawaii.clawz.com)
ここってどうやって巡回すればいい?
ヘッダがないからwgetじゃエラーになるんだけど
746:名無しさん@お腹いっぱい。
04/02/14 03:58
よ〜するに、M$IEもMozillaを騙っているので偽装であると...φ(.. )
747:名無しさん@お腹いっぱい。
04/02/14 04:25
,. -‐-
「`Y´| ヽ 〜
Y⌒ソノノリ)) )〉
i (ll (〔i ,i〕{ノ
__ リ从ゝ~ (フ/
{{゙ァ‐ 、 '⌒ T
`ーへ ヽ ィ !
ー' ,ノ ,
, ´ '/
. ,.、 ! ヽ'
/ ヽ. /ヽ. ヽ
ー'´\ ' /ヽ ヽ
ー' \ ヽ _
ヽ. ヽ'´ /
\ _/
【小学6年】山手線(渋谷駅)で全裸の少女が補導 part12【昼間から(画像有り)】
スレリンク(pcnews板)l50
748:名無しさん@お腹いっぱい。
04/02/14 04:28
urlがpcnewsでは開いて見る気もせんが、
AAは良い出来だから今回だけは許してやろう。
749:名無しさん@お腹いっぱい。
04/02/14 12:30
pcnewsに飛ばすならせめて
ネットで公開して本人補導とかそういうのにしてくれないとな。
750:名無しさん@お腹いっぱい。
04/02/15 04:28
>>735
功徳は生きてるうちに
751:名無しさん@お腹いっぱい。
04/02/17 17:54
URLリンク(smmonkey.pwp.blueyonder.co.uk)
H画像ではない (連番ではある) けどこれはむっ、と思った。
この手で対処されたらお手上げっぽくね?
# ちなみに違法ページではないよ。Amstrad社のケツの穴はデカいなあ
752:名無しさん@お腹いっぱい。
04/02/18 23:10
URLリンク(www.macromedia.com)
一応仕様は公開はされてるけどな。
753:名無しさん@お腹いっぱい。
04/02/20 04:08
あんまりサーバに負荷かけちゃ駄目だよ。
#!/bin/bash
if [ ! -d ./OUT ]; then
mkdir OUT
fi
URL="URLリンク(thebbs.jp)<)"
done
でもここから選別するのが大変な罠。
754:753
04/02/20 04:40
あ、そうそう。
急に変なアクセス増えて何かの対策とられたりしないように次の事くらいは守って使って。
UAは絶対変える。
GETNUMは増やさない。
-w は減らさない。
--random-waitは外さない。
管理者に迷惑かからないようにしてな。まじで。
一晩くらいかけてマターリ落して細く長く楽しむのが吉だべよ。
つっても楽しめる画像があんまり無いんだけど。
755:名無しさん@お腹いっぱい。
04/02/21 01:23
自分で生HDDをつけるということは、少なくてもパーティションの作成から
ファイルシステムやswapの作成というところから始めなきゃいけない訳だし
unix未経験者にはハードル高いんじゃないかな、少なくてもvi使えないと話にならんし。
でもこれから勉強したい人には良いかもね。
756:名無しさん@お腹いっぱい。
04/02/21 01:38
↑なかなか上品なレスだけど、頭の中ではエロエロなことばかり考えているんですね。
757:名無しさん@お腹いっぱい。
04/02/21 16:20
誤爆かと思った罠
758:名無しさん@お腹いっぱい。
04/02/22 07:14
エロは*習熟の源です
759:名無しさん@お腹いっぱい。
04/03/12 00:34
760:名無しさん@お腹いっぱい。
04/03/15 03:48
ほしゅ
761:名無しさん@お腹いっぱい。
04/04/16 21:19
ほしゅほしゅ
762:名無しさん@お腹いっぱい。
04/04/22 20:59
hosyu
763:名無しさん@お腹いっぱい。
04/05/07 11:36
764:名無しさん@お腹いっぱい。
04/05/07 23:19
hosyu
765:名無しさん@お腹いっぱい。
04/05/08 00:26
なんかネタ無いの?
wgetで複数ファイルの同時ダウンロードするシェルスクリプト書いてたまに使ってるけど、
curlを使うperl,ruby,python等のスクリプトの方がよくない?
shは遅いし、wgetは終了時のエラーコードとか細かい部分がダメぽい。
766:名無しさん@お腹いっぱい。
04/05/08 05:48
エロには飽きた。
767:名無しさん@お腹いっぱい。
04/05/08 06:19
画像に飽きた奴が小説に流れるパターンだな
768:名無しさん@お腹いっぱい。
04/05/23 11:48
もう一度、エロのパワーを!!!
769:名無しさん@お腹いっぱい。
04/05/28 13:14
保守
770:sage
04/06/21 21:23
誰か俺が使ってるスクリプト見たい人いる?汚いけど。
771:名無しさん@お腹いっぱい。
04/06/21 21:30
参考にしてみたいな
772:770
04/06/21 22:09
こんなかんじ。
urlをテキストに並べておいて、ファイル名を引き数に指定して使ってます。
urlにリンクされているjpgを勝手にフォルダ掘ってそこにdlしていきます。
フォルダ名はurlから拾ってます。
#!/usr/bin/perl
use LWP::UserAgent;
use HTML::LinkExtor;
use URI::URL;
use strict;
use POSIX ":sys_wait_h";
$| = 1;#OUTPUT_AUTOFLUSH
my $iframe_ref='';
my $base_tag = '';
773:770
04/06/21 22:09
while(!eof()) {
my $url = <>;
$iframe_ref = '';
my %downloads = ();
chomp $url;
next unless $url;
print "Checking $url¥n";
if ( map{ $downloads{$_} = 0 } getlinks($url) )
{
$url = $iframe_ref if $iframe_ref;
dl2( $url,[sort keys %downloads] );
print "¥n";
} else {
print "there are no JPG¥n";
}
}
774:770
04/06/21 22:10
my @imgs = ();
my $iframe = '';
sub callback {
my($tag, %attr) = @_;
$iframe = $attr{"src"} if $tag eq 'iframe';
$base_tag = $attr{"href"} if $tag eq 'base';
return if $tag ne 'a';
push(@imgs, $attr{"href"});
}
775:770
04/06/21 22:10
sub getlinks
{
$base_tag = '';
@imgs = ();
$iframe = '';
my $url = $_[0];
my $ua = LWP::UserAgent->new( Agent => "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;)");
my $p = HTML::LinkExtor->new(¥&callback);
my $res = $ua->request(HTTP::Request->new(GET => $url),
sub {$p->parse($_[0])});
my $base = $base_tag || $res->base;
if ($iframe and !@imgs) {
print "Found iframe. recheck >> $iframe¥n";
$_ = url($iframe,$base)->abs;
$iframe_ref = $_;
$iframe = '';
return getlinks($_);
}
@imgs = map { $_ = url($_, $base)->abs; } @imgs;
@imgs = grep{/.[jJ][pP][gG]$/} @imgs;
return @imgs;
}
776:770
04/06/21 22:11
sub dl {
my $uri = $_[0];
my $ref = $_[1];
my ($dummy,$dir) = ($uri =~ /.*¥/([^¥/]+)¥/([^¥/]+)¥/[^¥/]*$/);
opendir(A,$dir) || mkdir $dir;
closedir A;
chdir $dir;
`curl -s -O $uri -e $ref`;
chdir "../";
}
777:770
04/06/21 22:12
sub dl2 {
my $max = 4;#プロセス数
my $ref = shift;
my @str = @{shift(@_)};
my($pid, @slot);
my $tick=0;
while(@str){
for(0..($max-1)){
if($slot[$_] != 0 and waitpid($slot[$_], &WNOHANG)!=0){
$slot[$_] = 0;
}
}
778:770
04/06/21 22:12
for(0..($max-1)){
if($slot[$_] == 0){
my $url = shift(@str);
last unless defined $url;
chomp($url);
if($pid=fork()){
$slot[$_] = $pid;
} elsif (defined $pid) {
print "Start Download >> $url¥r";
dl($url,$ref);
exit;
} else {
die "Can't fork: $!¥n";
}
}
}
sleep(1);
}
for(0..($max-1)){
waitpid($slot[$_], 0);
}
}
779:770
04/06/21 22:13
以上です。
780:770
04/06/21 22:29
余計なのはいってた;
my $tick;
を削除してください;
バーが回るヤツつけようと書き換えている最中の貼ってしまいました;
781:名無しさん@お腹いっぱい。
04/06/22 14:41
wget -r -A .jpg
に URL を渡して回せば良いのでは? と言ってみるテスト。
782:名無しさん@お腹いっぱい。
04/06/22 17:35
wgetの--page-requisitesを使ってお絵かき掲示板の絵をコメントごと収集しようと思ってます。
しかし、しぃアプレットを使っている掲示板からは--page-requisitesで画像を持って来れませんでした。
例として、どこでもいいんですが思い切り無関係なところでこことか↓
URLリンク(www15.big.or.jp)
1) wgetの設定がまずい
2) こっちのネットワークの何かがまずい
3) CGI側で何かしてるのでwgetでは無理
なにがよろしくないんでしょう。wgetがHTMLを解析してくれてない感じなんですが。
783:名無しさん@お腹いっぱい。
04/06/22 18:03
>>782
1) -p option ついたの最近よ? あと実装始めのころのはバグってた気もした
2) これっぽい。君のサイトが撥ねられてるとか、proxy とか
3) んなこたー、ない
% wget --page-requisites URLリンク(www15.big.or.jp)
(略)
% ls www15.big.or.jp/~baroque/nharuna/oekaki/data/
IMG_003579.jpg IMG_003582.jpg IMG_003585.jpg IMG_003587_2.jpg
IMG_003581.jpg IMG_003584.jpg IMG_003586.jpg IMG_003588.jpg
% wget --version
GNU Wget 1.9.1
784:名無しさん@お腹いっぱい。
04/06/22 18:06
ゼンゼン関係あるけどこのサイトは感動した
URLリンク(www.geocities.jp)
785:名無しさん@お腹いっぱい。
04/06/22 18:18
>>782-783
漏れも画像のダウンロードができなかった
-m -l1オプションでもダメだった
% wget --version
GNU Wget 1.8.2
wget 1.9は~の処理が変わったので使ってない
786:782
04/06/22 18:33
でも、infoseek.co.jp にあるのも candybox.to にあるのも x-beat.com にあるのも駄目。指定ファイルしか落ちてこない。
Webブラウザでは普通に見れるし… --recursive とかもこのサイトに効かないんだよなあ。
$ wget -nv --page-requisites URLリンク(www15.big.or.jp)
18:15:34 URL:URLリンク(www15.big.or.jp) [28106]
-> "www15.big.or.jp/%7Ebaroque/nharuna/oekaki/bbsnote.cgi" [1]
終了しました --18:15:34--
ダウンロード: 28,106 バイト(ファイル数 1)
$ wget --version
GNU Wget 1.8.1
Windows版。
>wget -nv --page-requisites URLリンク(www15.big.or.jp)
18:15:20 URL:URLリンク(www15.big.or.jp) [28106]
-> "www15.big.or.jp/~baroque/nharuna/oekaki/bbsnote.cgi" [1]
FINISHED --18:15:20--
Downloaded: 28,106 bytes in 1 files
>wget --version
GNU Wget 1.9.1
なんででしょね?
787:770
04/06/22 21:39
>781
おお。スマートだし。自分が恥ずかしくなってきた。
でもこれ、サムネールとか広告まで保存しちゃいますね。
保存先も深くなっちゃうし。
788:770
04/06/23 05:05
>782
wget --page-requisites --follow-tags=IMG
でいけました。
あと自己レスなんですが
wget -r -A.jpg -nd -np -I 1 -H --ignore-tags=img -P dir
でやりたかった通りに出来ました。
789:名無しさん@お腹いっぱい。
04/06/23 10:56
>>788
でもあんま根本的な原因究明にはなってないな(w
解析が難しいHTMLの書き方にでもなってるのか?
790:名無しさん@お腹いっぱい。
04/06/23 11:48
wgetよりcURLの方が便利だ。
791:名無しさん@お腹いっぱい。
04/06/23 16:46
使い方キボン.
792:770
04/06/25 09:06
>789
CGIが吐くHTMLの最初の方に
<META name="ROBOTS" content="NOINDEX,NOFOLLOW">
とあり、wgetがこのタグのNOFOLLOWを理解して探索をやめてしまうから。
793:名無しさん@お腹いっぱい。
04/06/29 18:13
がーん。wget って --timestamping と --no-clobber を同時指定ってできないんだ…
「ローカルより新しいファイルならサーバからダウンロードするが
ファイルは上書きせずに通し番号などをつけて区別して保存する」
という芸はできないのか。
794:名無しさん@お腹いっぱい。
04/06/30 13:09
>>793
サーバー上のファイルと比較すべきローカルのファイルを
どれにするのが適当なのかがよくわからない、というのが原因なんだろうね。
--timestampingで更新ダウンロードした時に
スクリプトでリネーム退避しておく、という手くらいしか思いつかないや。
…wgetが更新ダウンロードしたことを検知する方法ってなんかあるっけ。
ログを書き出す設定にしてgrepする以外にあるかな?
795:名無しさん@お腹いっぱい。
04/07/04 16:58
優秀なポマエラに質問でつ
このサイトの画像を自動で保存するにはどうすればいいでつか?
URLリンク(www.sweetnote.com)
ページの最後にCSSで隠した画像があって、
その画像にアクセスするとアクセス禁止になってしまうので
wgetだと保存できません
ちなみに、巡回ソフト対策みたいなのですが、
CSSに対応してないブラウザで見ると表示されてしまうし、
Operaでスペース押していくと画像を順番に表示していくので
CSSで隠した画像にもアクセスしてしまいます
796:名無しさん@お腹いっぱい。
04/07/04 17:14
そういえば、昔作ったスクリプトには
grep -v BBLhGdTS
何ていうのが入っていたな。
797:名無しさん@お腹いっぱい。
04/07/04 17:18
ん? えーと、コレは単に
……。しまった。CSS云々ってコレか。繋ぎ変えよう
798:795
04/07/04 17:23
>>797
面倒なことさせてしまってすみません
FirefoxなどでCSSを無効にすると
一番下に同じサムネイルが2枚表示されていて
その下の画像のリンクにアクセスするとアクセス禁止になってしまいます
799:名無しさん@お腹いっぱい。
04/07/04 17:30
う、うまく書けない。まあいいや。
えーとね、Lynxかなにかで全リンクを抽出して、grepで/images/を含む行を取り出す。
これは「1行目は本物画像リンク、2行目はCSSで隠された罠リンク」の順番になってるので
偶数行目だけ削除するフィルタを何かで書いて(初心者が急いでるので挫折)、
そのURLリストをUserAgentがIEでrefererが当該ページなwgetで回せばいい。はず。たぶん。
800:名無しさん@お腹いっぱい。
04/07/04 18:10
URLリンク(bbs.coolnavi.com)
↑のようにcookie強制する画像サイトは難しい。
801:名無しさん@お腹いっぱい。
04/07/04 18:36
wget --load-cookies --save-cookies .... でOKでは。
802:799
04/07/04 19:13
適当に書いてみた。LynxだとIEのフリができずアクセス解析でバレそうなのでHTMLソースをwgetして解析。
>>799の「リンクを抽出した1行目は本物画像リンク、2行目はCSSで隠された罠リンク」の仕様が崩れるとアウト。
#/bin/sh
wget $1 -q -nv --user-agent=="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -O - |\
sed -n 's/<a href="\(..*\)" target="_blank">.*/http:\/\/www.sweetnote.com\1/p' |\
awk 'NR%2 == 1' | wget --user-agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" \
--referer=$1 -nv -P ${2:-gazou} -i -
上記の5行をget.shとかで保存して適当に実行可能にして
$ ./get.sh URLリンク(www.sweetnote.com)
とするとカレントディレクトリにgazouディレクトリを勝手に掘って画像を保存。
(5行目の -P ${2:-gazou} を消すとデフォルトでカレントに保存するようになる)
$ ./get.sh URLリンク(www.sweetnote.com) test
とするとカレントディレクトリの下にtestという指定ディレクトリを勝手に掘って画像を保存。
IEだと思わせてるので画像の更新はあえて見てない(毎回6ファイルを強制ダウンロード)。
鯖負荷のかけすぎで気取られないように注意。
803:795
04/07/04 21:35
>>802
ありがとうございます
ダミーのリンクは最初と最後の画像だけみたいなので
偶数行を削除という発想をヒントに2行目と最後の行を削除したらいけました
sed -e '2 d' | tac | tail +2
> 仕様が崩れるとアウト。
以前は各画像のあとにコメントアウトされた
ダミーの画像がふたつずつありました
> (毎回6ファイルを強制ダウンロード)。
いつもはwgetに-xオプションをつけてダウンロードしています
あとは "`echo url | cut -d/ -f3-`" というファイルが
存在するかどうかでダウンロード済みかどうかを判断しています
URLエンコードが必要な場合は適当に処理してます
804:名無しさん@お腹いっぱい。
04/07/04 22:27
IEでもHEAD投げてサイズを見てダウンロードするかどうかを決めるってのはやってるんじゃないかな。
別にそれでバレることはないと思うぞ(w
805:名無しさん@お腹いっぱい。
04/07/04 23:52
>>801
いやね、>>800は半角板に張ってあったりすると、URI中のセッションIDとcookieのセッションIDが一致しないとダメなのよ。
そのサイトから直で落とすなら問題ないんだけどね。
806:名無しさん@お腹いっぱい。
04/08/14 11:43
保守
807:名無しさん@お腹いっぱい。
04/08/22 21:52
wget使ってdlするスクリプトを書いてるんだけど、どうもcookieの処理が上手く出来
ないんだけど、だれか解決方法知らない?
index取得時にUIDとSIDをsetされるので、imageをgetする際にその両方を送れば
いいだけなんだけど、なぜかwgetだとUIDしか送ってくれない。
次ページ最新レス表示スレッドの検索類似スレ一覧話題のニュースおまかせリスト▼オプションを表示暇つぶし2ch
4274日前に更新/246 KB
担当:undef