２ちゃん画像落としまくりスクリプト

1 名前：1 [01/10/23 19:39.net] ２ちゃんねるに貼ってある画像リンクを追い、 jpgをかき集めるスクリプトを作ってみました。 www.ninnin.net/ ※perlとwgetが必要です。 ※Windows,Macでは動きません。 172 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 21:10.net] つくった。 けど、htmlから拾ってるから効率悪いよ。 homepage3.nifty.com/wahya/ 173 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 21:15.net] >>172 君のPCの時計ずれてない？ 174 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 21:18.net] >>173 え？どこ？ さっき作ったばかりだからおかしいところあったら指摘して〜 >>171 >>1さんｷﾀ━━━━━━(ﾟ∀ﾟ)━━━━━━━!!!!! 175 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 21:19.net] >>171 つか、使うかどうかより、自分で作ってみるのも楽しいのかも。 １さんのも参考にしたいのでオネガイシマス。 176 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 21:21.net] >>174 いやこんなんでたから。 ゴミレススマソ。 --- get2ch_v006/get2ch.pl tar: get2ch_v006/get2ch.pl: time stamp Jan 7 21:00 2003 is 85213 s in the future get2ch_v006/get2chrc.txt tar: get2ch_v006/get2chrc.txt: time stamp Jan 7 21:00 2003 is 85213 s in the future get2ch_v006/readme.txt tar: get2ch_v006/readme.txt: time stamp Jan 7 21:00 2003 is 85213 s in the future get2ch_v006/subback2subhash.pl tar: get2ch_v006/subback2subhash.pl: time stamp Jan 7 21:00 2003 is 85213 s in the future 177 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 21:24.net] >>176 ・・・なんかちょうど1日ずれてるような。 178 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 23:34.net] て優香、wget使わなければforkしなくていいからActivePerlでも使えるようになるし、 Irvineでも使えばwgetよりはるかに効率的に収集できるし。 あーあ、UNIX板で気付いちゃいけないことに気付いちゃったよ。 179 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 10:03.net] 萌え板を監視するスクリプトも(　ﾟдﾟ)ﾎｽｨ… 180 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 11:41.net] >>179 萌え板を監視、って具体的に何できればいいんだ？ と優香、萌え板って何？ファイヤーウォールのこと？ 181 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 12:52.net] >>178 soretteCUI? 182 名前：179 mailto:sage [03/01/07 13:06.net] 説明不足でした。 こんな感じの掲示板です。 www9.xdsl.ne.jp/~w2web/moe/moelinks.html 萌々ぼ〜どって言うのかな？ ソノテの人の画像アップ掲示板として広く使われてるみたいです。 欲しいのは画像をいっきに落とす・・ですが できたら全てのページをログも含めてHDに保存できるのが好ましいです。 183 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 13:32.net] >>182 そうか、wgetの-rオプションだけでは画像アップローダーの ２ページ目以降のがとってこれないのか... うーむ 184 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 14:57.net] >>182 なるほど。理解した。 VBスクリプトなら、次のページをめくるボタンを押すスクリプトが簡単に書けるけど、 Perlとかだとどうやってやるんだろ？ 185 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 14:58.net] wgetでpostできるようにするパッチあるよ ttp://pluto.im.uec.ac.jp/~sekita-n/prog/ CGIを激しく呼び出してアク禁喰らっても知らないけど 186 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 15:03.net] >>184 cgiを読んだら、POSTを送ることでページをめくるようになってた。 perlだったら直接サーバと繋いで、POSTを直接送ればできるのでは？ またはhoghoge/moemoe.cgi?page=3でページを直接指定して(GETでも)ページを開けるらしい。 ところでwgetでPOSTを送ることってできないよね？（wget厨ですまそ） 187 名前：186 mailto:sage [03/01/07 15:05.net] >>185 リロードしたらみました。 すまそ。試してみます。 wget以外でPOSTを簡単に送れるツールを以前どこかで見たことあったけど。。 188 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 15:57.net] curl使え 189 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 17:03.net] >>181 Irvineもコマンドラインから使えるけど。 irvine list.txt　で、URLリストを入れられる。 cronで回すのでなければ、Win上でやったほうが簡単かも。 190 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 19:44.net] ⊂⌒~⊃｡Д｡）⊃ 191 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 21:57.net] その萌え萌えなんちゃらってやつな、moemoe.htmlと同じディレクトリにある moemoe.logってのがログファイルだからそれ落とせ。画像のURLも載ってるから。 CGI叩くのやめれ。 192 名前：名無しさん＠お腹いっぱい。 [03/01/08 01:46.net] >>172 なんかデリられてるみたいなんで差異うpキボンヌ、クレクレ君でスマソ 193 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 01:51.net] >>187 w3m 194 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 09:32.net] >>192 ゴメソ。 cgiからｹﾞﾄｰしてるので下手するとアク禁になっちゃうから今消してる。 もうすぐ次バージョンうｐするからまってて〜(;´Д`) 195 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 14:37.net] >>193 それだ！ 196 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 21:35.net] >>192 うｐしたよ〜 急いで書いたからちゃんと動くかわからないけど。 197 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 21:49.net] >>196 さっきの動かなかったから、差し替えますた。 198 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 22:46.net] >>197 まだ時計がずれてない？（ｗ 勘違いだったらスマソ。 ちょっと読んで気になったのは、 スレッドの差分を取ってくるときのwgetのオプションで-cと-ncの両方を指定しているけど、 これって両方あったらまずくないの？>>165 あと、datファイルを連続してダウンロードしたら、2chの負荷が大きくなってまずいと思うけど.. 199 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 22:50.net] >>198 あらほんと。 -cと-nc一緒に書いちゃってるけど、一応動いてるし、ダウンロードの 速さからして差分だけ落としてるように思ふ。 て優香、汚いソースを丁寧に読んでくれてありが�d datは差分だけ落としてるから連続ダウソも大丈夫かと思ったが、 やっぱヤバイかね？間隔あけた方がいいかな？ 200 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 22:52.net] あと、wgetのダウンロード速度が遅くていらつくんだけど、なんか解決方法 ありませんか？ 201 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 23:02.net] >>199 いや、ちょっとmonazilla関係のスレをよんでたら、 いかにサーバの負荷を減らすかいろいろ考えられていて、 この、datファイルを総ざらいするのも極力避けた方がいいかと思ってきた。 やるとしても、負荷の低い時間帯にかなり間隔を開けて行った方が良いかと... >ダウンロードの >速さからして差分だけ落としてるように思ふ。 -ncはすでにファイルが存在したら、ダウンロードしないので、ダウンロードされていない可能性は？ 202 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 23:16.net] >>201 今 -nc消したやつをうｐしたよ。 だけど、-nc消したらなんだか速度が遅くなったような・・・ あと、日時がバグってるのはアーカイバーがおかしいらしいことが分かったよ。 だからｷﾆｼﾅｰｲ >datファイルを総ざらいするのも極力避けた方がいいかと思ってきた。 なるほど。一応スレのレス数見て更新されてるか確認してから各スレの差分をダウソ するようにしてるけど。もっと負荷を減らす方法ないでつかね？ cronで回すなら、10秒おきに更新されてるスレを1スレずつ巡回みたいなことも考えられるけど。 >-ncはすでにファイルが存在したら、ダウンロードしないので、ダウンロードされていない可能性は？ 一応ダウンロードされてるようだが・・・謎。 まぁ直したし。 203 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 23:19.net] >>202 速度で判断するより、wgetのログをちゃんと見た方がはっきりするかと... 204 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 23:27.net] >>203 -ncつけてるやつはログが消えちゃったけど、-nc消したやつのログみたら 全部落としてるみたい・・・鬱 205 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/09 01:58.net] (´-`).｡oO（画像掲示板から落とした方が簡単なのに、なんでだろう…） 206 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/09 16:19.net] こんなのもあったり j2ch.free-city.net/ 207 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/09 19:32.net] >>205 ｿﾚﾀﾞ━━━━━━(ﾟ∀ﾟ)━━━━━━━!!!!! にちゃんねらがよく利用している画像掲示板を巡回すれば、良質なｼﾞｪｲﾍﾟｰｸﾞが 集まるよな。 >>206 同一のアドレスがたくさん・・・sortしてuniq通せよな〜、と。 208 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/09 20:05.net] >>206 さらに１時間更新とか... どんなシステムか気になる。 >>207 Windowsでは画像掲示板を巡回して画像をダウンロードするソフトを聞いたことあるけど、 人参収穫か大根収穫とか名前だったか... まあ、crontabで自動で回してみたい 209 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/09 21:08.net] >>208 これか？ 人参自動収穫機 ninjinclub.tripod.co.jp/ 210 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/09 23:41.net] この画像掲示板はPOSTじゃないと見れないみたいなんですが、w3m等の POSTがしゃべれるツールで画像をダウンロードする方法が分からないのですが、 分かる方いらっしゃいませんか？ ttp://sss.direct.ne.jp/nuke/bbs.cgi 211 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/10 01:23.net] >>210 とりあえず>>191の様にログが保存されていないか探してみるとか？ imgboardはデフォルトではfile.dat、fileback.datって名前だったような... ただ、ログファイル名変えてたり、アクセス権を切っている可能性があるので（俺もだけど） このばあいは>>209を試してみるとか？ 下手にperlでPOSTを送ったりするのはやめた方がいいと思う 212 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/10 01:25.net] >>210 てか、右クリック→名前を付けて保存ではいけないのか？ もしくはman w3m 213 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/10 02:00.net] ぷ 214 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/12 14:20.net] >>210 上のほうで出てるパッチを当てたwgetだとこんな感じ？ #!/bin/bash url="hoge.com/hoge/imgboard.cgi??page=" img="/hoge/img-box/" lastpage=10 i=0 while [ $i -lt $lastpage ] do i=`expr $i + 1` echo $url$i >> list.txt done wget -r -w 1 -I $img -i list.txt -o wget.log rm -f list.txt 215 名前：age2ch.pl 0.03.28 mailto:sage [03/01/12 16:20.net] 保守 216 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/12 23:06.net] >>241 普通に wget "hoge.com/hoge/imgboard.cgi?page=2" でもいけない？ >>215 それはやめとけ。 下手したら悪禁になるかもしれないらしい 217 名前：山崎渉 mailto:（＾＾）sage [03/01/15 12:59.net] （＾＾） 218 名前：名無しさん＠お腹いっぱい。 [03/01/24 15:59.net] java版を作ってみますた。 gobo.free-city.net/ ※javaの実行環境が必要です。 ※Windows、Macでも動くかも。 219 名前：あぼーん mailto:あぼーん [あぼーん.net] あぼーん 220 名前：あぼーん mailto:あぼーん [あぼーん.net] あぼーん 221 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/25 17:42.net] >>218 ネタでつか？ 鯖がみつかりませぬ・・・ 222 名前：218 [03/01/26 00:18.net] あれ？確かに見つかりませんね...。 って、鯖ごと落ちてる？ 昨日まではアクセスできたのにな。今日話題になってるSQLPの影響かなぁ？ 223 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/26 00:43.net] >>222 ここでは話題になってないのかな・・ ttp://dailynews.yahoo.co.jp/fc/computer/internet/ 224 名前：218 mailto:sage [03/01/26 09:12.net] >>221 たった今、鯖が復帰していることを確認しますた。よろしくおながいします。 いちお、間借りしたところは、 The site gobo.free-city.net is running Apache/1.3.27 (Unix) on FreeBSD なので今回の騒ぎで落ちちゃったわけではなさそうですが。 225 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/31 10:59.net] どうやらUAをいじらないとdatファイルを直接getできなくなったらしいが 226 名前：山崎渉 mailto:（＾＾） [03/04/17 12:33.net] （＾＾） 227 名前：あぼーん mailto:あぼーん [あぼーん.net] あぼーん 228 名前：名無しさん＠お腹いっぱい。 [03/04/21 02:09.net] ↑山崎、必死だな(笑 229 名前：名無しさん＠お腹いっぱい。 [03/04/28 15:53.net] UNIX コマンドだと標準で巡回コマンド付いてきますが、何か？ 230 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/05/06 16:55.net] Mac OS 10.2 のターミナルで実行しました そしたら、 pl {-input <binary_file>} {-output <binary_file>} Reads ASCII PL from stdin (or serialized file if -input specified) and writes ASCII PL to stdout (or serialized file if -output) なんて出ちゃって、もうわかりませぬ どうかおしえてください。。。 おながいします。。。 231 名前：あぼーん mailto:あぼーん [あぼーん.net] あぼーん 232 名前：名無しさん＠お腹いっぱい。 [03/06/08 23:39.net] おお！ このスレまだ存在してたのか。 息が長いな。 山崎先生のおかげですね。 233 名前：名無しさん＠お腹いっぱい。 [03/07/08 00:31.net] >>185 のページ見れないんですが、引越し先知ってる人います？ 234 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/07/13 19:27.net] >>233 とりあえずWayBack Machineで拾えた 235 名前：あぼーん mailto:あぼーん [あぼーん.net] あぼーん 236 名前：名無しさん＠お腹いっぱい。 [03/08/10 04:45.net] age? 237 名前：あぼーん mailto:あぼーん [あぼーん.net] あぼーん 238 名前：あぼーん mailto:あぼーん [あぼーん.net] あぼーん 239 名前：あぼーん mailto:sage [03/11/13 20:55.net] あぼーん 240 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/12/17 05:13.net] ﾎｯｼｭ 241 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/12/31 10:54.net] 　　 242 名前：名無しさん＠お腹いっぱい。 [04/01/08 02:45.net] あけました おめでとう 243 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/01/09 20:08.net] このスクリプト使ってみたよ。 板一枚で 7500 くらい画像がとれた。終わるのに丸一日かかったけど…。 244 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/01/10 03:55.net] 濃淡分布や周波数分布なんか使って、グロ画像や 虹板に紛れ込んだ三次元画像(これもグロ画像か…)を取り除きたいなぁ。 グロ画像は「怖くてみられないグロ画像を鑑定するスレ」があったね、 それを学習データにして…… マンドクセ 245 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/01/14 21:43.net] >>244 一度やってみたいな。グロ画像はともかく、3次元(or2次元)排除なら フーリエ解析+自動学習 で割と精度がでるような気がするのだが。 例のベイジアンフィルタな感じで。さて… 246 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/01/23 06:04.net] ... 247 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/13 19:29.net] 　　 248 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/02/14 11:06.net] >>246 >>247 なんだよ保守か？ 何か書けよ！ 249 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/03/28 18:33.net] 保守。 >>244みたいな感じで2次元画像の属性分けできればいいな。 濃淡分布や周波数分布の勉強にいいホームページor本教えてください。 250 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/04/16 21:20.net] 保守 251 名前：名無しさん＠お腹いっぱい。 [04/07/02 22:30.net] akinafreak.zive.net/imageThumbnail/showGazoKanList.action 2ちゃんから集めた画像を会員制にして公開 おまいら、これってどうよ 252 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/07/02 23:46.net] >>251 責任を負っかぶることをものともしない猛者。 253 名前：名無しさん＠お腹いっぱい。 [04/11/13 08:59:12.net] エロエロage 254 名前：pd34d81.tkyoac00.ap.so-net.ne.jp mailto:（＾＾） [04/12/16 11:13:43.net] （＾＾） 255 名前：名無しさん＠お腹いっぱい。 mailto:sage [04/12/16 11:25:24.net] 何だ山崎渉か 256 名前：名無しさん＠お腹いっぱい。 [2005/04/05(火) 17:11:38 .net] umu 257 名前：login:root ◆GrsqjXpGxE mailto:sage [2005/04/17(日) 22:09:41 .net] >>1 とりあえず、使ってみる... これはCGIか？ブラウザで実行しろと? まぁ、Linuxしかインストールしていない漏れのPCにはありがたいがな。 鯖にうpしてみる。分からない事があると思うから、>>1教えてな! 258 名前：login:root ◆GrsqjXpGxE mailto:age [2005/04/17(日) 22:15:48 .net] ｳﾜｰｰｰｰｰﾝ 早速だが>>1よ。質問がある! ディレクトリにある conf.txt は変更する必要があるのか? $ita = 'choco.2ch.net/ainotane/'; $dir = './jpg'; $limit = 999; $down = 2; $ita は、２ちゃんの板のアドレスでおkなんだな？ 259 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/04/17(日) 22:34:37 .net] >>258 1じゃないけど、おｋだ 260 名前：名無しさん＠通りすがり ◆.q7T9q3bHY mailto:sage [2005/04/18(月) 01:11:41 BE:113184364- .net] クローラー＆過剰リロード対策スレ2【新バーボン】 qb5.2ch.net/test/read.cgi/operate/1113647422/ delayと差分はちゃんとね。 261 名前：名無しさん＠お腹いっぱい。 [2005/07/09(土) 14:24:53 .net] test 262 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/07/09(土) 21:05:19 .net] このスレまだあったのか。。。 懐かしい 263 名前：名無しさん＠お腹いっぱい。 [2005/07/17(日) 01:12:01 .net] ああ、ずっとあるぜ 264 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/08/15(月) 02:33:24 .net] イメージサーチャーモナー? ttp://www.abars.biz/search/ 265 名前：名無しさん＠お腹いっぱい。 mailto:sage [2005/11/13(日) 22:53:23 .net] 一度でもdownloadしたファイルをmd5sumしてsum値のリストどっかテキスト に保存しといて、同じsum値のファイルを二度とdownloadしないように してくれる重複避け機能を追加してください。 266 名前： ◆9Xm6zmxuk. mailto:sage [2006/11/06(月) 22:12:55 .net] つ 267 名前：名無しさん＠お腹いっぱい。 mailto:sage [2007/11/13(火) 23:55:48 .net] vdvdvdv nfdfdnfdn fhffhh jrtyjr yteryery yeryer 268 名前：名無しさん＠お腹いっぱい。 [2008/02/22(金) 11:12:57 .net] 保守する必要ある？ 269 名前：名無しさん＠お腹いっぱい。 [2009/08/01(土) 09:16:08 .net] 何だこのスレw 270 名前：名無しさん＠お腹いっぱい。 mailto:sage [2010/11/18(木) 21:04:12 .net] よし！！ 271 名前： 忍法帖【Lv=3,xxxP】 mailto:sage [2011/06/09(木) 22:47:57.83 .net] ??? 272 名前： 忍法帖【Lv=3,xxxP】 mailto:sage [2011/06/16(木) 00:56:59.34 .net] test

---

---

[ 続きを読む ] / [ 携帯版 ]

read.cgi ver5.27 [feat.BBS2 +1.6] / e.0.2 (02/09/03) / eucaly.net products.
担当:undef