２ちゃん画像落としまくりスクリプト

1 名前：1 [01/10/23 19:39.net] ２ちゃんねるに貼ってある画像リンクを追い、 jpgをかき集めるスクリプトを作ってみました。 www.ninnin.net/ ※perlとwgetが必要です。 ※Windows,Macでは動きません。 110 名前：109 mailto:sage [02/02/05 14:29.net] あと、大量のリストを眺める作業になるので、スレタイトルは左揃えにしたほうが 視点の移動が少なくて良いんじゃないかと思います。 111 名前：名無しさん＠お腹いっぱい。 [02/02/13 16:26.net] .datの形式変わった？ 112 名前：106 [02/02/21 05:48.net] 本業でヘロヘロになってました。109さんご意見どうも。 >スレがばらばらに表示されるので、日付順、スレ順などのソートがあると嬉しいです。 トップ画面に「発言日が最近のURLほど上に表示する」と「スレッド番号+発言番号 でソートして表示する」というラジオボタンをつけました。 >あと、大量のリストを眺める作業になるので、スレタイトルは左揃えにしたほうが >視点の移動が少なくて良いんじゃないかと思います。 確かにそうですね。左揃えにしました。スレッドでソートした場合、かなり見易くなったの ではないかと思います。 URLは相変わらず moso.borogrammers.net/newlin/ です。 113 名前：106 mailto:sage [02/02/21 05:50.net] 新しい表示例: moso.borogrammers.net/newlin/read.cgi?board=newsplus&yyyy=2002&mm=02&dd=21&abone=on&exclude=on&exclude_text=2ch.net%2F&ext_text=swf&thr_sort=yes 114 名前：名無しさん＠お腹いっぱい。 [02/02/22 18:48.net] >>113のURLはなんか妙な表示になる気もするけど、良くなったと思います。 てーか誰か画面のデザインしてやれ。地味すぎるよ 115 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/02/22 19:20.net] >>111 datは>>106のviewerには無関係と思われ 116 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/02/28 00:07.net] >>1のスクリプトは、いまや改造しないとそのままでは使えないですね。 117 名前：名無しさん＠お腹いっぱい。 [02/03/01 20:10.net] >>116 改造キボンヌ 118 名前： mailto:sage [02/03/01 23:30.net] >>116,117 2ch のシステムはよく知らないんだけど現在では subject.txt と .dat は直接見れないんだよね？ read.cgi から raw モードで取得するのかな。 その辺りを書き換えればオッケー。 119 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/03/02 11:08.net] monazilla ML 入るが吉。 120 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/03/03 19:05.net] 使えなくなってるね… 121 名前：116 mailto:sage [02/03/04 00:04.net] >>117 118が書いてるように、今は $ita/subject.txt が見られないようだから、 まずオリジナルスクリプトの subject.txt は subback.html にでも しないといけない。 また、subback.html を参照するようにしたら、データナンバーの取り出し方も 変えないといけないね。いろいろなやり方があるだろうが、例えば love.2ch.net/morningcoffee/subback.html だったら <a href="1014421686/l50">6: 中澤裕子ファン倶楽部 96 (977)</a> みたいなスレッドのリストが得られて、要はこの中の 1014421686 を 切り出したいわけだから、38行目と60行目 ($data_no) = split /\<\>/ , $_; は、 @data = split /\//; $data_no = $data[0]; $data_no =~ s%\D%%g; とでもすれば $data_no に 1014421686 が入って、 あと、40行目の $target は、conf.txt に $host = 'love.2ch.net/'; $categ = '/morningcoffee/'; を追加しといて $target = "$host"."test/read.cgi"."$categ"."$data_no"; として使っているが、もっとエレガントなやり方があったら誰か教えて著。 122 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/03/06 22:47.net] >>1 のサイト、アクセスできなかったんですけど 件のスクリプトを落とせるところは他にありませんか 123 名前：名無しさん＠お腹いっぱい。 [02/04/12 23:09.net] 　　 124 名前：名無しさん＠お腹いっぱい。 [02/04/12 23:18.net] wgetでダウンロードしたファイルを ダウンロードしたYYYYMMDDという形式で 保存するにはどうすればいいのでしょう。 同じ名前でファイルが毎週更新されるので cronでそのままで回すのでは上書きされて しまいます。 125 名前：名無しさん＠Ｅｍａｃｓ [02/04/12 23:53.net] % wget xxx.xxx.xxx/???.jpg -P `date +%y%m%d` ってのはダメ？ 大量に引っこ抜くならこれでいいと思うけど。 126 名前：login:Penguin mailto:sage [02/04/13 00:12.net] -O --output-document=FILE FILE に文書を出力します。 127 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/04/13 00:25.net] >>125 > ってのはダメ？ それでもかまわないのですがファイルは1つなので ディレクトリは作らずYYYYMMDD.jpgというファイル名 で保存したいのですが。 128 名前：名無しさん＠Ｅｍａｃｓ mailto:sage [02/04/13 01:00.net] >>128 % wget xxx.xxx.xxx/???.jpg -O `date +%Y%m%d`.jpg (´-`).｡ｏＯ(>>127 がすでに答えてくれているけど…なんでだろう？) 129 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/04/13 08:00.net] >>128 > (´-`).｡ｏＯ(>>127 がすでに答えてくれているけど…なんでだろう？) あの書き込みはヒントだったのですね。 ドキュメントと書いてあったので他の事かと思っていました。 ありがとう。>>ALL 130 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/04/20 06:10.net] ほしゅ 131 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/04/23 23:12.net] 捕手 132 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/05/18 17:53.net] なんとなく 133 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/06/07 18:24.net] ほしゅ 134 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/06/28 02:33.net] どるどれい？ 135 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/04 21:09.net] sage 136 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/08/20 04:23.net] おーい 137 名前：名無しさん＠お腹いっぱい。 [02/09/18 00:15.net] ある日付以降の書きこみに書かれているURLのみを 落としたいとかできるでしょうか？ 138 名前：名無しさん＠お腹いっぱい。 [02/09/22 00:52.net] あげとこう 139 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/22 01:29.net] さげとこう 140 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/23 04:14.net] 一個のディレクトリに画像ファイル１４００個置いてますが gimvでみるときに極端に速度が遅いです 数が多いとよくないんですね どーにかなりませんか？ 141 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/23 04:40.net] 何が悪いかをつきとめて、それを直す。 142 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/24 19:52.net] >>140 UNIXのファイルシステムは 一つのディレクトリにファイルがいっぱいあると遅いと 聞いたことがあるな （だからメールキューは複数のディレクトリに分かれてるらしい） 1400個くらいなら関係ないのかもしれんけどね 詳しい人フォローレスたのむ 143 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/26 07:34.net] >142 (だから2chのスレッドは足切り制限があるらしい) (1つの板に数千のスレがあった時代は重かったなぁ…) 脱線ｽﾏｿ 144 名前：名無しさん＠お腹いっぱい。 [02/12/26 04:11.net] age 145 名前：名無しさん＠お腹いっぱい。 [02/12/29 07:42.net] うーん、誰も保守しようとか言う気はないの？ ないよね。 146 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/12/29 13:31.net] >>142 ext2fsやオリジナルのufsは遅いが、たとえばufsでもUFS_DIRHASH入りものなら速い。 xfsあたりなら、なんもせんと速い。 結論: OSと、選んだファイルシステムによる。 147 名前：名無しさん＠お腹いっぱい。 [02/12/31 08:23.net] ﾁｮﾄおしえてください。 IEからなら pc.2ch.net/test/read.cgi/unix/1003833552/ が見えるんですけど、wgetを使ってこのページをダウンロードしようとしても、 できないんです。どうやればいいんですか？ 148 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/12/31 12:33.net] wget pc.2ch.net/test/read.cgi/unix/1003833552/ でできるが…？ 149 名前：名無しさん＠お腹いっぱい。 [03/01/01 12:43.net] て優香、wget使わなくても、httpget使えば便利じゃない？ と思って、httpget落とそうとしたけど、内部エラーで落とせない・・・ www.onicos.com/staff/iz/release/ 150 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/04 16:37.net] >>1さんが作ったやつをちと効率的に収集できるように改造したけど、 どっかにうｐしようかな？ 151 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/05 05:23.net] どうせやるなら、以前にもちょっと話出てたけど、一人が落としたファイルをどっかの鯖に キャッシュしといて他の人はそっちから落とせるようなの作ろうよ。そうすれば２ちゃんの 負荷も減るし、うｐろだの負荷も減るし、ソッコーで消されたファイルもキャッシュに残って るしで、うっはうはーじゃん。 152 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/05 07:33.net] どうせなら落としたファイルがP2Pで共有されるようにするとか 153 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/05 18:40.net] >>147 普通はdatファイルを直接落とそうとするのでは無いの？ >>151 それやろうかな... 今はdatファイルを貯めているんだけど。 154 名前：名無しさん＠お腹いっぱい。 [03/01/06 00:20.net] >>150 複数ファイル(.mpgとか.rmとかの動画)も同時に落せるヤシキモンヌ 155 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 01:01.net] >>154 もちろんそういう仕様にしてあるよ。てかできたけど。 けどrm,ramはすっかりわすれてたというか、そんなのにちゃんで見たことないのだが。 156 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 03:14.net] >>153 て優香、datファイルを落とせるならそうしたいんだけど、やりかた 教えてーな。 たしかどっかでdatファイルは落とせなくなったとか聞いたような気がしたんで、 htmlをそのまま落としてマッチングしてるんだけど・・・ 157 名前：153 mailto:sage [03/01/06 14:02.net] >>156 pc.2ch.net/test/read.cgi/unix/1003833552/ だったら pc.2ch.net/unix/dat/1003833552.dat でいけるのではないと？ >たしかどっかでdatファイルは落とせなくなったとか聞いたような気がしたんで、 >htmlをそのまま落としてマッチングしてるんだけど・・・ これは俺も聞いたことあるけど、閉鎖騒動の時あたりじゃないの？ 俺はそれよりあとに2ch来たからよく知らないけど、 read.cgiにアクセスするより、datファイルに直接アクセスしたほうが、負荷は減るらしい、と聞いたこともある。 158 名前：153 mailto:sage [03/01/06 14:51.net] >>156 とりあえず、俺の作ったdatファイルだけ落とすスクリプトも張っておこう。 粗末なシェルスクリプトだが... #!/bin/sh PATH=/usr/local/bin:/usr/bin:/bin:/usr/local/sbin:/usr/sbin:/sbin DATE=`date +%Y%m%d_%H%M%S` if [ "$1" ] && [ "$2" ] && [ "$3" ] && [ "$4" ] ;then : else echo "useage: ./get.sh [dat|subject] [dir] [host] [ita] [waittime] [wget-flag]" exit fi HOMEDIR=/home/hoge/documents/data TARGET=$1 DIR=$2 HOST=$3 ITA=$4 LOGFILE=./wget_log.txt if [ "$5" ];then WAIT=$5 else WAIT=3 fi 159 名前：153 mailto:sage [03/01/06 14:52.net] # -c tuchuukara # -N time stamp WGETFLAG="-t 3 -a${LOGFILE} -P./dat -U "Hogella/1.0" -nd $6" if ! [ -d ${HOMEDIR}/${DIR} ] ;then echo ${HOMEDIR}/${DIR} no such directry\! exit fi /bin/test -d ${HOMEDIR}/${DIR}/dat || mkdir ${HOMEDIR}/${DIR}/dat /bin/test -d ${HOMEDIR}/${DIR}/old_dat || mkdir ${HOMEDIR}/${DIR}/old_dat /bin/test -d ${HOMEDIR}/${DIR}/subject || mkdir ${HOMEDIR}/${DIR}/subject cd ${HOMEDIR}/${DIR} test -f ${LOGFILE} || touch ${LOGFILE} printf "###\n###\n### DATE=${DATE} \n### args=$* \n###\n###\n" >> ${LOGFILE} if [ ${TARGET} = subject ];then rm -f subject.txt wget -a${LOGFILE} -U "Hogella/1.0" ${HOST}/${ITA}/subject.txt cp subject.txt ./subject/subject.${DATE}.txt 160 名前：153 mailto:sage [03/01/06 14:52.net] elif [ ${TARGET} = dat ];then echo "---> DATE = ${DATE}" mkdir old_dat/${DATE} rm -f subject.txt wget -a${LOGFILE} ${HOST}/${ITA}/subject.txt echo "---> got subject file" sleep 1 echo -n "---> dat file... " for DAT in `cat ./subject.txt | cut -f1 -d.` ;do echo "--->TARGET is ${DAT}" >> ${LOGFILE} echo -n "${DAT}" wget ${WGETFLAG} ${HOST}/${ITA}/dat/${DAT}.dat if [ -f ./dat/${DAT}.dat.1 ];then echo "---> file moved to old_dat dir" >> ${LOGFILE} mv ./dat/${DAT}.dat ./old_dat/${DATE} mv ./dat/${DAT}.dat.1 ./dat/${DAT}.dat echo -n "_ " elif [ -f ./dat/${DAT}.dat ];then echo -n ". " else echo -n "X " fi sleep ${WAIT} done echo " " echo "---> all done" >>${LOGFILE} echo "---> all done" fi 161 名前：153 mailto:sage [03/01/06 14:55.net] HOMEDIR=/home/hoge/documents/data を適当に書き換えて mkdir $HOMEDIR/test-dir ./get.sh dat test-dir pc.2ch.net unix 3 で使えると思う(freebsd以外は不明)。 ２度目からは ./get.sh dat test-dir pc.2ch.net unix 3 -c で差分だけとってこれる。 162 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 15:20.net] あらほんと。 で、にちゃんの鯖に負担かけないように、前回収得した所からの差分だけ 拾いたいんだけど、どうやるの？ 163 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 15:24.net] うーん、 cgiから差分だけ拾うのと、datを全部拾って差分を調べるのとではどっちがいいんだろ？ てか、dat拾う方がいいんだろうなぁ。作りなおしてみるか。 164 名前：153 mailto:sage [03/01/06 15:42.net] >>162 wgetのオプションで俺が使えると思うのは。 -c 　　　　　　ファイルサイズを見て、増加分だけダウンロードする。 -N 　　　　　　タイムスタンプを見て、ファイルが更新されていたら、（ファイルすべて）をダウンロードする。 -nc 　　　　　　ファイルが存在したら、ダウンロードしない。（接続もしない） -t 3 　　　　　　失敗したときの再トライ回数(デフォルトは２０なので、３ぐらいに設定したほうがよいと思う) -x　　　　　　　ディレクトリを作って、URLを再現する 　　　　　　　　　（例 pc.2ch.net/unix/dat/0000000.dat → ./pc.2ch.net/unix/dat/000000.dat ） -nd　　　　　　-xの逆、ディレクトリを作らない。（-rは同時に-xが有効になるけど、-ndをつけるとディレクトリを作らない） -i link.txt　　ファイルからURLを読み込んでダウンロードする。　　　　　 -nv　　　　　　ダウンロードメッセージをいくらか静かにする。 -A acclist, --accept=acclist　acclistで指定した拡張子(?)のみダウンロードする。,で区切る(?) -U "Mozilla/4.0"　ユーザーエージェントをちょろまかす。 -P PREFIX --progress=dot ダウンロード中のメッセージスタイルを変更。 -o hoge.txt 　　ログファイル（上書きしてしまう） -a hoge.txt 　　ログファイル（追加から書く） -r　　　　　　　　リンクをたどり、再起的に取る（ただし、別のホストはダウンロードしない） -w 3　　　　　　再起的にとる場合のダウンロードしたときの待ち時間 --no-parent 　再起的にダウンロードする際、親ディレクトリから上はダウンロードしない。 -nd 165 名前：153 mailto:sage [03/01/06 15:44.net] >>164 失敗。 wgetのオプションで俺が使えると思うのは。 -c 　　　　　　ファイルサイズを見て、増加分だけダウンロードする。 -N 　　　　　　タイムスタンプを見て、ファイルが更新されていたら、（ファイルすべて）をダウンロードする。 -nc 　　　　　　ファイルが存在したら、ダウンロードしない。（接続もしない） -t 3 　　　　　　失敗したときの再トライ回数(デフォルトは２０なので、３ぐらいに設定したほうがよいと思う) -x　　　　　　　ディレクトリを作って、URLを再現する 　　　　　　　　　（例 pc.2ch.net/unix/dat/0000000.dat → ./pc.2ch.net/unix/dat/000000.dat ） -nd　　　　　　-xの逆、ディレクトリを作らない。（-rは同時に-xが有効になるけど、-ndをつけるとディレクトリを作らない） -i link.txt　　ファイルからURLを読み込んでダウンロードする。　　　　　 -nv　　　　　　ダウンロードメッセージをいくらか静かにする。 -A acclist, --accept=acclist　acclistで指定した拡張子(?)のみダウンロードする。,で区切る(?) -U "Mozilla/4.0"　ユーザーエージェントをちょろまかす。 -P PATH　　PATHを基準にファイルを保存 --progress=dot ダウンロード中のメッセージスタイルを変更。 -o hoge.txt 　　ログファイル（上書きしてしまう） -a hoge.txt 　　ログファイル（追加から書く） -r　　　　　　　　リンクをたどり、再起的に取る（ただし、別のホストはダウンロードしない） -w 3　　　　　　再起的にとる場合のダウンロードしたときの待ち時間 --no-parent 　再起的にダウンロードする際、親ディレクトリから上はダウンロードしない。 166 名前：153 mailto:sage [03/01/06 15:55.net] WINDOWSのiriaとか見たいに、帯域制限してダウンロードすることができないか、 は調べたことあるけど、方法が見つからなかった。wgetではできないのでは無いかと思う。 代わりには、-wで制限するか、スクリプトの中にsleepを入れる方法があると思う。 あと画像ファイルを落とすとき、-x と -nc を組み合わせて使ったら、同一のファイルをダウンロードする問題はなくなると思う。 >>158-160の欠点は、あぼーんでlogが詰まったら、不適切なところから、ダウンロードを開始してしまうため、 変なdatファイルを作ってしまう。これは-Nですべてをダウンロードしなおせばいいけど、負荷が増える。 >>163 うーん、-nc -x オプションで、すでにダウンロードしてあるファイルをダウンロードしないようにするか、 もしくはwgetで何バイト目からを指定して、別ファイルにダウンロードすることができるような、オプションがあるかも.. 167 名前：153 mailto:sage [03/01/06 15:59.net] >>162 wget -c で増加分をダウンロードできるらしいです。 これは、ダウンロード途中でコネクションが切れたりして、 あとからその続きからダウンロードしたい場合にも使えるようです。 遠くのftpサーバとかに使えます。 168 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 16:45.net] >>167 さんくすこ。 スレログとらなくても、リンクさえ拾えれば大丈夫だからねぇ、 あぼーんされても大丈夫だと思う。 というわけで、増分だけ拾うようにしますわ。 169 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 18:57.net] このスレでやるな。 170 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 18:59.net] >>169 何を？なぜ？ 171 名前：1 mailto:sage [03/01/06 19:18.net] dat落ちするかとおもったけど なんかまたあがってきてるんで ひさびさにバージョンアップしようかな というか、つかってる人（使う人）とかいるんでしょうか？ 172 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 21:10.net] つくった。 けど、htmlから拾ってるから効率悪いよ。 homepage3.nifty.com/wahya/ 173 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 21:15.net] >>172 君のPCの時計ずれてない？ 174 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 21:18.net] >>173 え？どこ？ さっき作ったばかりだからおかしいところあったら指摘して〜 >>171 >>1さんｷﾀ━━━━━━(ﾟ∀ﾟ)━━━━━━━!!!!! 175 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 21:19.net] >>171 つか、使うかどうかより、自分で作ってみるのも楽しいのかも。 １さんのも参考にしたいのでオネガイシマス。 176 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 21:21.net] >>174 いやこんなんでたから。 ゴミレススマソ。 --- get2ch_v006/get2ch.pl tar: get2ch_v006/get2ch.pl: time stamp Jan 7 21:00 2003 is 85213 s in the future get2ch_v006/get2chrc.txt tar: get2ch_v006/get2chrc.txt: time stamp Jan 7 21:00 2003 is 85213 s in the future get2ch_v006/readme.txt tar: get2ch_v006/readme.txt: time stamp Jan 7 21:00 2003 is 85213 s in the future get2ch_v006/subback2subhash.pl tar: get2ch_v006/subback2subhash.pl: time stamp Jan 7 21:00 2003 is 85213 s in the future 177 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 21:24.net] >>176 ・・・なんかちょうど1日ずれてるような。 178 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 23:34.net] て優香、wget使わなければforkしなくていいからActivePerlでも使えるようになるし、 Irvineでも使えばwgetよりはるかに効率的に収集できるし。 あーあ、UNIX板で気付いちゃいけないことに気付いちゃったよ。 179 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 10:03.net] 萌え板を監視するスクリプトも(　ﾟдﾟ)ﾎｽｨ… 180 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 11:41.net] >>179 萌え板を監視、って具体的に何できればいいんだ？ と優香、萌え板って何？ファイヤーウォールのこと？ 181 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 12:52.net] >>178 soretteCUI? 182 名前：179 mailto:sage [03/01/07 13:06.net] 説明不足でした。 こんな感じの掲示板です。 www9.xdsl.ne.jp/~w2web/moe/moelinks.html 萌々ぼ〜どって言うのかな？ ソノテの人の画像アップ掲示板として広く使われてるみたいです。 欲しいのは画像をいっきに落とす・・ですが できたら全てのページをログも含めてHDに保存できるのが好ましいです。 183 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 13:32.net] >>182 そうか、wgetの-rオプションだけでは画像アップローダーの ２ページ目以降のがとってこれないのか... うーむ 184 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 14:57.net] >>182 なるほど。理解した。 VBスクリプトなら、次のページをめくるボタンを押すスクリプトが簡単に書けるけど、 Perlとかだとどうやってやるんだろ？ 185 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 14:58.net] wgetでpostできるようにするパッチあるよ ttp://pluto.im.uec.ac.jp/~sekita-n/prog/ CGIを激しく呼び出してアク禁喰らっても知らないけど 186 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 15:03.net] >>184 cgiを読んだら、POSTを送ることでページをめくるようになってた。 perlだったら直接サーバと繋いで、POSTを直接送ればできるのでは？ またはhoghoge/moemoe.cgi?page=3でページを直接指定して(GETでも)ページを開けるらしい。 ところでwgetでPOSTを送ることってできないよね？（wget厨ですまそ） 187 名前：186 mailto:sage [03/01/07 15:05.net] >>185 リロードしたらみました。 すまそ。試してみます。 wget以外でPOSTを簡単に送れるツールを以前どこかで見たことあったけど。。 188 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 15:57.net] curl使え 189 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 17:03.net] >>181 Irvineもコマンドラインから使えるけど。 irvine list.txt　で、URLリストを入れられる。 cronで回すのでなければ、Win上でやったほうが簡単かも。 190 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 19:44.net] ⊂⌒~⊃｡Д｡）⊃ 191 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 21:57.net] その萌え萌えなんちゃらってやつな、moemoe.htmlと同じディレクトリにある moemoe.logってのがログファイルだからそれ落とせ。画像のURLも載ってるから。 CGI叩くのやめれ。 192 名前：名無しさん＠お腹いっぱい。 [03/01/08 01:46.net] >>172 なんかデリられてるみたいなんで差異うpキボンヌ、クレクレ君でスマソ 193 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 01:51.net] >>187 w3m 194 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 09:32.net] >>192 ゴメソ。 cgiからｹﾞﾄｰしてるので下手するとアク禁になっちゃうから今消してる。 もうすぐ次バージョンうｐするからまってて〜(;´Д`) 195 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 14:37.net] >>193 それだ！ 196 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 21:35.net] >>192 うｐしたよ〜 急いで書いたからちゃんと動くかわからないけど。 197 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 21:49.net] >>196 さっきの動かなかったから、差し替えますた。 198 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 22:46.net] >>197 まだ時計がずれてない？（ｗ 勘違いだったらスマソ。 ちょっと読んで気になったのは、 スレッドの差分を取ってくるときのwgetのオプションで-cと-ncの両方を指定しているけど、 これって両方あったらまずくないの？>>165 あと、datファイルを連続してダウンロードしたら、2chの負荷が大きくなってまずいと思うけど.. 199 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 22:50.net] >>198 あらほんと。 -cと-nc一緒に書いちゃってるけど、一応動いてるし、ダウンロードの 速さからして差分だけ落としてるように思ふ。 て優香、汚いソースを丁寧に読んでくれてありが�d datは差分だけ落としてるから連続ダウソも大丈夫かと思ったが、 やっぱヤバイかね？間隔あけた方がいいかな？ 200 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 22:52.net] あと、wgetのダウンロード速度が遅くていらつくんだけど、なんか解決方法 ありませんか？ 201 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 23:02.net] >>199 いや、ちょっとmonazilla関係のスレをよんでたら、 いかにサーバの負荷を減らすかいろいろ考えられていて、 この、datファイルを総ざらいするのも極力避けた方がいいかと思ってきた。 やるとしても、負荷の低い時間帯にかなり間隔を開けて行った方が良いかと... >ダウンロードの >速さからして差分だけ落としてるように思ふ。 -ncはすでにファイルが存在したら、ダウンロードしないので、ダウンロードされていない可能性は？ 202 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 23:16.net] >>201 今 -nc消したやつをうｐしたよ。 だけど、-nc消したらなんだか速度が遅くなったような・・・ あと、日時がバグってるのはアーカイバーがおかしいらしいことが分かったよ。 だからｷﾆｼﾅｰｲ >datファイルを総ざらいするのも極力避けた方がいいかと思ってきた。 なるほど。一応スレのレス数見て更新されてるか確認してから各スレの差分をダウソ するようにしてるけど。もっと負荷を減らす方法ないでつかね？ cronで回すなら、10秒おきに更新されてるスレを1スレずつ巡回みたいなことも考えられるけど。 >-ncはすでにファイルが存在したら、ダウンロードしないので、ダウンロードされていない可能性は？ 一応ダウンロードされてるようだが・・・謎。 まぁ直したし。 203 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 23:19.net] >>202 速度で判断するより、wgetのログをちゃんと見た方がはっきりするかと... 204 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 23:27.net] >>203 -ncつけてるやつはログが消えちゃったけど、-nc消したやつのログみたら 全部落としてるみたい・・・鬱 205 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/09 01:58.net] (´-`).｡oO（画像掲示板から落とした方が簡単なのに、なんでだろう…） 206 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/09 16:19.net] こんなのもあったり j2ch.free-city.net/ 207 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/09 19:32.net] >>205 ｿﾚﾀﾞ━━━━━━(ﾟ∀ﾟ)━━━━━━━!!!!! にちゃんねらがよく利用している画像掲示板を巡回すれば、良質なｼﾞｪｲﾍﾟｰｸﾞが 集まるよな。 >>206 同一のアドレスがたくさん・・・sortしてuniq通せよな〜、と。 208 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/09 20:05.net] >>206 さらに１時間更新とか... どんなシステムか気になる。 >>207 Windowsでは画像掲示板を巡回して画像をダウンロードするソフトを聞いたことあるけど、 人参収穫か大根収穫とか名前だったか... まあ、crontabで自動で回してみたい 209 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/09 21:08.net] >>208 これか？ 人参自動収穫機 ninjinclub.tripod.co.jp/ 210 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/09 23:41.net] この画像掲示板はPOSTじゃないと見れないみたいなんですが、w3m等の POSTがしゃべれるツールで画像をダウンロードする方法が分からないのですが、 分かる方いらっしゃいませんか？ ttp://sss.direct.ne.jp/nuke/bbs.cgi

---

---

[ 続きを読む ] / [ 携帯版 ]

read.cgi ver5.27 [feat.BBS2 +1.6] / e.0.2 (02/09/03) / eucaly.net products.
担当:undef