２ちゃん画像落としまくりスクリプト

1 名前：1 [01/10/23 19:39.net] ２ちゃんねるに貼ってある画像リンクを追い、 jpgをかき集めるスクリプトを作ってみました。 www.ninnin.net/ ※perlとwgetが必要です。 ※Windows,Macでは動きません。 48 名前：名無しさん＠お腹いっぱい。 [01/10/30 22:21.net] 同名のファイルがあった場合、ファイルサイズを調べて一致しなかったら 後ろに_01とか付けて保存するのは出来ませんか？ 49 名前：1 [01/10/31 10:28.net] >>48 できます。 その方法も考えたのですが、結局やりませんでした。 いらないかな？と思って。 同じような要望が多ければ導入を検討します。 wgetのオプションの中にそんな機能があった気がしますので、 ご自分で改造してみてはいかがでしょう。 $optionsにオプションを突っ込んでwget実行サブルーチンを 呼んでるだけですので。 50 名前：名無しさん＠お腹いっぱい。 [01/10/31 13:46.net] 試しにやってみたけどいい感じだぁよ、ありがとう。>1 要望とか考えると結局Iria先生みたくなるんだろうけど期待しちゃうよ。 なにってcronで動かしておけるから昼間だけの時限モノとか拾える可能性 あるってだけでピンコたんピキーンなれるし。 ただこの板でやるなら負荷、転送量減らしは最初に考慮する必要あるかと。 引っ越し間際のスレなんて生データで300kb以上になるのを毎回引っ張る のはやはり問題だと思うので、ツモって来たdat fileはローカルに保存して 再利用する方向で進めてはどうか。 同名異URI処理は取り敢えず後にしないと、考え無し厨房が全開で走らせる と思われ。 51 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/11/01 19:49.net] ねぇねぇ、これからもいじる気ある？>1 マジでcronで走らせてグロ画像getterになろうと思うだけどいぢっていい？ perl なんてしばらくいじってないから思い出すとこからはじめるけど。 52 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/11/03 08:14.net] 途中で切れちゃう画像とかあるんですが、どこをいじればいいですか？ $limit = 3 $down = 2 で使ってますが。 53 名前：1 [01/11/03 20:54.net] >>50 datのタイムスタンプをチェックして再利用するようにしようかなぁ ご意見ありがとう。転送量軽減を目指します。 >>51 ぜひいぢってください >>52 117行目のwgetのオプション設定で調整できると思います。 -t や -w の値を調整すると良いかも。参考ページはこちらあたりをどうぞ seagull.cs.uec.ac.jp/~horiuc-m/wget.html 54 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/11/03 21:44.net] 自分でSocket開いてRange: bytesヘッダとか使ってくれ。 つーかこういうもんはまともになってから公開してくれ 55 名前：名無しさん＠お腹いっぱい。 [01/11/03 22:17.net] FreeBSDでこのソフト使いました。 jpg/以下にたくさんのファイルがきましたが、 この中から、最適なファイルを絞り込むのはむづかしいですね。 タグ情報等から、分類できないのかなあ？ もしくわ、winみたいに、一つ一つのファイルを簡単に表示 できたらまだいいかも。(サムネーム表示？) 今gimp使って、いっこいっこ開いてるけど、 もっと楽にファイル情報しらべれないかな？ 56 名前：名無しさん＠お腹いっぱい。 [01/11/03 22:17.net] 今のままじゃ、ファイル名による絞り込み しかできないよ。 57 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/11/03 22:23.net] ・・・ここは本当にUNIX板なのか・・・鬱 58 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/11/03 23:42.net] Gimp…… 絶句 59 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/11/03 23:52.net] つーか誰かがこのスクリプトをcronで定期的に実行して 作成されたjpglistをどっかで公開すりゃいいんだよね それを元にiriaなりwgetなりで落とせばいい そうすりゃ負荷はかからんし 60 名前：名無しさん@XEｍａｃｓ [01/11/04 00:35.net] >59 それおもろいね。 っつーか、 jpg をある程度の大きさごとにアーカイブしといてくれ(w ってコレはアクセスが集中してダメかにゃ。 61 名前：XV mailto:sage [01/11/04 00:42.net] A.ディレクトリ毎にサムネイル表示 xv [-dir 画像があるディレクトリ] ^v ^n .xvpics ^u B.一気にサムネイル作成 cd ベースのディレクトリ find [こっちで書いてもいいし] -type d -exec mkdir {}/.xvpics \; xv [そしたらこっちもか、やっぱやめ] ^v ^e C.見ているファイルを消す 見る ^d ^d D.ファイルを移動する ^v フォーカス戻す ^v 好きなようにDnDする E.マスク外す 適当に範囲選択 f アローキーで位置変更 Shift+アローキーで範囲伸縮 拡大は Ctrl+マウス Alt+j Shift押しながらパス入力 62 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/11/04 00:55.net] >>59 2chはそれでいいかもしれんが、リスト配布はヤメとけ。 厨房に凶器与えるのと一緒だ。 63 名前：55 [01/11/04 14:10.net] >>58 さんに絶句されたんですが、 みなさんは、どうやって画像みてるのですか？ マジで教えてください。 厨房なんで、すみません。 64 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/11/04 14:36.net] >>63 >>61 65 名前：55 [01/11/04 14:52.net] すばらしい。感動した！有難う。 66 名前：名無しさん＠お腹いっぱい。 [01/11/04 16:27.net] グロ画像多すぎ。ホモ画像思わみてしまいかなりへこんだ。 67 名前：名無しさん＠お腹いっぱい。 [01/11/04 18:24.net] Listアップするためのサーバーでも借りましょうかね。 68 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [01/11/05 06:42.net] Navi2chで取得したdatを使うようにできたらうれしいな 69 名前：68 mailto:sage [01/11/05 06:48.net] あ,Navi2chで m a m i して,awkで抜いて,wgetすればいいだけか… 70 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/11/05 13:34.net] >>55 XV の Visual Schnauzer とか使うのが一般的なんじゃないの？もっとも最近 の Linux の distribution なんかには XV の入っていない例もあるようだけ ど。ちなみにわたくしは xv 3.10a に各種 patch を当てて、FLMASK とかの復 元もできるようにしたのを使ってる。Linux でも *BSD でも特に問題なくコン パイルできると思うけど？ 71 名前：名無しさん@XEｍａｃｓ mailto:sage [01/11/05 22:35.net] XV って未だに使い方よくわかんない… メンドーなので、なんでもかんでも ImageMagick … 72 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [01/11/05 23:28.net] >>70 既出 73 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/11/06 03:17.net] GQviewとか。 74 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/11/06 03:33.net] キーボードマクロで+mamiするのをcronでまわしておくと、 便利というか迷惑というか。 75 名前：名無しさん＠お腹いっぱい。 [01/11/14 09:04.net] 便利と思うがなんであがらないのかな？ ということで定期あげ。 76 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [01/11/15 02:08.net] ところで、画像集めた後の話だが、 同じ様な画像がたーくさんディスクの肥しになって 欝にならないか？ そんな時は、dupmerge people.qualcomm.com/karn/code/dupmerge/ (QualcommのPhilip Karn作) 洩れは、 find . -name "*.[GgJj][IiPp][FfEeGg]*" -o -name "*.[Mm][Pp][EeGg]*" | dupmerge みたいにして使ってるよ。 77 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/11/15 02:20.net] >>76 sambaでwinにmountしているんだけれども、 この手のツールはwinのほうが充実していないでしょうか。 78 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [01/11/15 02:58.net] shell で書けるからね。 79 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [01/11/15 03:02.net] >> 76 どうせなら iname 使え 80 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [01/11/15 21:01.net] そりでは修正 find . -iname "*.[gjm][ip][feg]*" | dupmerge 81 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [01/11/16 17:46.net] >>77 最近のwindowsは、ハードリンク出来るの？ 消すんじゃなくてハードリンクする所が ミソなんだけど 82 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/11/16 22:21.net] >>81 使えるわけないじゃん 83 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [01/11/18 13:04.net] >>82 >> 77 じゃ、充実してないじゃん 84 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [01/11/19 00:45.net] どうせ焼く時は使わない 85 名前：名無しさん＠お腹いっぱい。 [01/12/03 07:38.net] あげます、あげます 86 名前：名無しさん＠お腹いっぱい。 [01/12/08 08:12.net] お前ら、最近どうですか？ 87 名前：名無しさん＠お腹いっぱい。 [01/12/08 09:57.net] どの板も、途中でＤＬが止まってしまうのだよ。なんでだ？？ 88 名前：名無しさん＠お腹いっぱい。 [01/12/08 16:50.net] >>81-82 Windowsでもハードリンク使えるみたい CreateHardLink これをMSDNかなんかでしらべれ Unixと全く関係ないが、サゲたら忘れそうなのでｱｹﾞ 89 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/12/08 17:22.net] FAT でどうやって hardlink 作るんだ? 90 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/12/08 17:24.net] 確か2000以降だっけかな、忘れた 91 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/12/08 17:25.net] NTFSならhard linkもsymbolic linkもできるよ。 あんまり使われてないのはFATだと使えないからかも。 92 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/12/08 20:07.net] symbolic linkをjunctionという、らしい。 ただこいつを使うと、WindowsのExplorerでさえ 摩訶不思議な挙動を示すことがあるというくらい、 ろくに使われてない機能。 93 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/12/09 18:33.net] 思いつきとしか思えない機能追加が多いからな。 だったら DOS のころから linkfile をサポートしといてほしい。 94 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/12/09 20:30.net] DOSでFATでもハードリンク作れるYO! ただし、chkdsk.exeにクロスリンクと言われてしまう、諸刃の剣。 素人にはお勧めできない。ってやつだ。 95 名前：名無しさん＠お腹いっぱい。 [01/12/14 22:52.net] こえーーー 96 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/12/28 12:45.net] >>94 確かに間違いでは無いな(笑) 97 名前：名無しさん＠お腹いっぱい。 mailto:age [02/01/03 22:48.net] age て みた 98 名前：名無しさん＠お腹いっぱい。 [02/01/16 18:24.net] やっぱり前回履歴に対応して欲しいなぁ。 毎日cronで走らせたいヨ。 99 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/01/16 19:50.net] >>92 俺使ってる。でもあれってsymlinkというのは詐欺だろう。 join(DOS)とかFreeBSDのunion fs & mountみたいのと言った方が正確 かな。で、俺が見つけてる不具合は 1.Explorerやインストーラの空き容量計算がmountに対応できてないので、 　インストーラで(空きがあっても)「ねーよ」と弾かれたりする 2.MoveFile() APIがmountを考慮してないので、src/destが同じドライブ 　名だけど別ボリュームの場合、ファイル移動に失敗する(API直/cmd.exe 　Explorer全滅) だな。 一応どっちも回避方法があるし、従来アプリは1.に対応できんというのは 仕方がない所でもあるんだが、2.はどう考えても(仕様変更への)追従ミス。 # 同一ボリューム内の移動の場合、ディレクトリエントリだけの書き換え # で高速化してるんだが、同一ボリュームかどうかの判定にsrc/destの # ドライブ文字しか見てないという。アホ。 100 名前：名無しさん＠お腹いっぱい。 [02/01/17 20:29.net] 100 101 名前：名無しさん＠お腹いっぱい。 [02/01/17 20:52.net] ある板のある日の<a href="...">を一括表示してくれるようなサイトない？ つくろうかな…。 102 名前：名無しさん＠お腹いっぱい。 [02/01/17 21:41.net] >>101 作って！ 103 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/01/18 09:50.net] >102 つくりはじめた。rawmodeを使おうかとも思ったけど、index.htmlをtidyでXHTMLに 変換してからXSLTで加工(XHTML to XML)して、XMLで日別にサーバ側に蓄積して、 CGIでXML選んでXSLTかまして(XML to HTML4)出力、みたいな感じにすることにした。 なんとなく。 とりあえず最初のXSLTまで書けましたわ。 104 名前：名無しさん＠お腹いっぱい。 [02/01/21 06:03.net] age 105 名前：名無しさん＠お腹いっぱい。 mailto:age [02/01/24 01:14.net] >103 すばらしいあげ 106 名前：101 [02/01/24 01:24.net] >>105 ども。マ板でもちょっと書いたんだけど、できました。 2ちゃんねるの 技術系/ニュース系 板の、URL流し読みサイト。 これ moso.borogrammers.net/newlin/ なんだけどどうかしら? 表示例↓ moso.borogrammers.net/newlin/read.cgi?board=news&yyyy=2002&mm=01&dd=23 107 名前：名無しさん＠お腹いっぱい。 [02/01/28 19:58.net] 祭り監視に良いNE >>106 108 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/01/29 00:24.net] >>106 面白いね ちょっと遊んでみるよ でもsage 109 名前：名無しさん＠お腹いっぱい。 [02/02/05 14:13.net] スレがばらばらに表示されるので、日付順、スレ順などのソートがあると嬉しいです。 110 名前：109 mailto:sage [02/02/05 14:29.net] あと、大量のリストを眺める作業になるので、スレタイトルは左揃えにしたほうが 視点の移動が少なくて良いんじゃないかと思います。 111 名前：名無しさん＠お腹いっぱい。 [02/02/13 16:26.net] .datの形式変わった？ 112 名前：106 [02/02/21 05:48.net] 本業でヘロヘロになってました。109さんご意見どうも。 >スレがばらばらに表示されるので、日付順、スレ順などのソートがあると嬉しいです。 トップ画面に「発言日が最近のURLほど上に表示する」と「スレッド番号+発言番号 でソートして表示する」というラジオボタンをつけました。 >あと、大量のリストを眺める作業になるので、スレタイトルは左揃えにしたほうが >視点の移動が少なくて良いんじゃないかと思います。 確かにそうですね。左揃えにしました。スレッドでソートした場合、かなり見易くなったの ではないかと思います。 URLは相変わらず moso.borogrammers.net/newlin/ です。 113 名前：106 mailto:sage [02/02/21 05:50.net] 新しい表示例: moso.borogrammers.net/newlin/read.cgi?board=newsplus&yyyy=2002&mm=02&dd=21&abone=on&exclude=on&exclude_text=2ch.net%2F&ext_text=swf&thr_sort=yes 114 名前：名無しさん＠お腹いっぱい。 [02/02/22 18:48.net] >>113のURLはなんか妙な表示になる気もするけど、良くなったと思います。 てーか誰か画面のデザインしてやれ。地味すぎるよ 115 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/02/22 19:20.net] >>111 datは>>106のviewerには無関係と思われ 116 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/02/28 00:07.net] >>1のスクリプトは、いまや改造しないとそのままでは使えないですね。 117 名前：名無しさん＠お腹いっぱい。 [02/03/01 20:10.net] >>116 改造キボンヌ 118 名前： mailto:sage [02/03/01 23:30.net] >>116,117 2ch のシステムはよく知らないんだけど現在では subject.txt と .dat は直接見れないんだよね？ read.cgi から raw モードで取得するのかな。 その辺りを書き換えればオッケー。 119 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/03/02 11:08.net] monazilla ML 入るが吉。 120 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/03/03 19:05.net] 使えなくなってるね… 121 名前：116 mailto:sage [02/03/04 00:04.net] >>117 118が書いてるように、今は $ita/subject.txt が見られないようだから、 まずオリジナルスクリプトの subject.txt は subback.html にでも しないといけない。 また、subback.html を参照するようにしたら、データナンバーの取り出し方も 変えないといけないね。いろいろなやり方があるだろうが、例えば love.2ch.net/morningcoffee/subback.html だったら <a href="1014421686/l50">6: 中澤裕子ファン倶楽部 96 (977)</a> みたいなスレッドのリストが得られて、要はこの中の 1014421686 を 切り出したいわけだから、38行目と60行目 ($data_no) = split /\<\>/ , $_; は、 @data = split /\//; $data_no = $data[0]; $data_no =~ s%\D%%g; とでもすれば $data_no に 1014421686 が入って、 あと、40行目の $target は、conf.txt に $host = 'love.2ch.net/'; $categ = '/morningcoffee/'; を追加しといて $target = "$host"."test/read.cgi"."$categ"."$data_no"; として使っているが、もっとエレガントなやり方があったら誰か教えて著。 122 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/03/06 22:47.net] >>1 のサイト、アクセスできなかったんですけど 件のスクリプトを落とせるところは他にありませんか 123 名前：名無しさん＠お腹いっぱい。 [02/04/12 23:09.net] 　　 124 名前：名無しさん＠お腹いっぱい。 [02/04/12 23:18.net] wgetでダウンロードしたファイルを ダウンロードしたYYYYMMDDという形式で 保存するにはどうすればいいのでしょう。 同じ名前でファイルが毎週更新されるので cronでそのままで回すのでは上書きされて しまいます。 125 名前：名無しさん＠Ｅｍａｃｓ [02/04/12 23:53.net] % wget xxx.xxx.xxx/???.jpg -P `date +%y%m%d` ってのはダメ？ 大量に引っこ抜くならこれでいいと思うけど。 126 名前：login:Penguin mailto:sage [02/04/13 00:12.net] -O --output-document=FILE FILE に文書を出力します。 127 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/04/13 00:25.net] >>125 > ってのはダメ？ それでもかまわないのですがファイルは1つなので ディレクトリは作らずYYYYMMDD.jpgというファイル名 で保存したいのですが。 128 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [02/04/13 01:00.net] >>128 % wget xxx.xxx.xxx/???.jpg -O `date +%Y%m%d`.jpg (´-`).｡ｏＯ(>>127 がすでに答えてくれているけど…なんでだろう？) 129 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/04/13 08:00.net] >>128 > (´-`).｡ｏＯ(>>127 がすでに答えてくれているけど…なんでだろう？) あの書き込みはヒントだったのですね。 ドキュメントと書いてあったので他の事かと思っていました。 ありがとう。>>ALL 130 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/04/20 06:10.net] ほしゅ 131 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/04/23 23:12.net] 捕手 132 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/05/18 17:53.net] なんとなく 133 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/06/07 18:24.net] ほしゅ 134 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/06/28 02:33.net] どるどれい？ 135 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/04 21:09.net] sage 136 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/20 04:23.net] おーい 137 名前：名無しさん＠お腹いっぱい。 [02/09/18 00:15.net] ある日付以降の書きこみに書かれているURLのみを 落としたいとかできるでしょうか？ 138 名前：名無しさん＠お腹いっぱい。 [02/09/22 00:52.net] あげとこう 139 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/22 01:29.net] さげとこう 140 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/23 04:14.net] 一個のディレクトリに画像ファイル１４００個置いてますが gimvでみるときに極端に速度が遅いです 数が多いとよくないんですね どーにかなりませんか？ 141 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/23 04:40.net] 何が悪いかをつきとめて、それを直す。 142 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/24 19:52.net] >>140 UNIXのファイルシステムは 一つのディレクトリにファイルがいっぱいあると遅いと 聞いたことがあるな （だからメールキューは複数のディレクトリに分かれてるらしい） 1400個くらいなら関係ないのかもしれんけどね 詳しい人フォローレスたのむ 143 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/26 07:34.net] >142 (だから2chのスレッドは足切り制限があるらしい) (1つの板に数千のスレがあった時代は重かったなぁ…) 脱線ｽﾏｿ 144 名前：名無しさん＠お腹いっぱい。 [02/12/26 04:11.net] age 145 名前：名無しさん＠お腹いっぱい。 [02/12/29 07:42.net] うーん、誰も保守しようとか言う気はないの？ ないよね。 146 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/12/29 13:31.net] >>142 ext2fsやオリジナルのufsは遅いが、たとえばufsでもUFS_DIRHASH入りものなら速い。 xfsあたりなら、なんもせんと速い。 結論: OSと、選んだファイルシステムによる。 147 名前：名無しさん＠お腹いっぱい。 [02/12/31 08:23.net] ﾁｮﾄおしえてください。 IEからなら pc.2ch.net/test/read.cgi/unix/1003833552/ が見えるんですけど、wgetを使ってこのページをダウンロードしようとしても、 できないんです。どうやればいいんですか？ 148 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/12/31 12:33.net] wget pc.2ch.net/test/read.cgi/unix/1003833552/ でできるが…？

---

---

[ 続きを読む ] / [ 携帯版 ]

read.cgi ver5.27 [feat.BBS2 +1.6] / e.0.2 (02/09/03) / eucaly.net products.
担当:undef