２ちゃん画像落としまくりスクリプト

1 名前：1 [01/10/23 19:39.net] ２ちゃんねるに貼ってある画像リンクを追い、 jpgをかき集めるスクリプトを作ってみました。 www.ninnin.net/ ※perlとwgetが必要です。 ※Windows,Macでは動きません。 140 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/23 04:14.net] 一個のディレクトリに画像ファイル１４００個置いてますが gimvでみるときに極端に速度が遅いです 数が多いとよくないんですね どーにかなりませんか？ 141 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/23 04:40.net] 何が悪いかをつきとめて、それを直す。 142 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/24 19:52.net] >>140 UNIXのファイルシステムは 一つのディレクトリにファイルがいっぱいあると遅いと 聞いたことがあるな （だからメールキューは複数のディレクトリに分かれてるらしい） 1400個くらいなら関係ないのかもしれんけどね 詳しい人フォローレスたのむ 143 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/09/26 07:34.net] >142 (だから2chのスレッドは足切り制限があるらしい) (1つの板に数千のスレがあった時代は重かったなぁ…) 脱線ｽﾏｿ 144 名前：名無しさん＠お腹いっぱい。 [02/12/26 04:11.net] age 145 名前：名無しさん＠お腹いっぱい。 [02/12/29 07:42.net] うーん、誰も保守しようとか言う気はないの？ ないよね。 146 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/12/29 13:31.net] >>142 ext2fsやオリジナルのufsは遅いが、たとえばufsでもUFS_DIRHASH入りものなら速い。 xfsあたりなら、なんもせんと速い。 結論: OSと、選んだファイルシステムによる。 147 名前：名無しさん＠お腹いっぱい。 [02/12/31 08:23.net] ﾁｮﾄおしえてください。 IEからなら pc.2ch.net/test/read.cgi/unix/1003833552/ が見えるんですけど、wgetを使ってこのページをダウンロードしようとしても、 できないんです。どうやればいいんですか？ 148 名前：名無しさん＠お腹いっぱい。 mailto:sage [02/12/31 12:33.net] wget pc.2ch.net/test/read.cgi/unix/1003833552/ でできるが…？ 149 名前：名無しさん＠お腹いっぱい。 [03/01/01 12:43.net] て優香、wget使わなくても、httpget使えば便利じゃない？ と思って、httpget落とそうとしたけど、内部エラーで落とせない・・・ www.onicos.com/staff/iz/release/ 150 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/04 16:37.net] >>1さんが作ったやつをちと効率的に収集できるように改造したけど、 どっかにうｐしようかな？ 151 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/05 05:23.net] どうせやるなら、以前にもちょっと話出てたけど、一人が落としたファイルをどっかの鯖に キャッシュしといて他の人はそっちから落とせるようなの作ろうよ。そうすれば２ちゃんの 負荷も減るし、うｐろだの負荷も減るし、ソッコーで消されたファイルもキャッシュに残って るしで、うっはうはーじゃん。 152 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/05 07:33.net] どうせなら落としたファイルがP2Pで共有されるようにするとか 153 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/05 18:40.net] >>147 普通はdatファイルを直接落とそうとするのでは無いの？ >>151 それやろうかな... 今はdatファイルを貯めているんだけど。 154 名前：名無しさん＠お腹いっぱい。 [03/01/06 00:20.net] >>150 複数ファイル(.mpgとか.rmとかの動画)も同時に落せるヤシキモンヌ 155 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 01:01.net] >>154 もちろんそういう仕様にしてあるよ。てかできたけど。 けどrm,ramはすっかりわすれてたというか、そんなのにちゃんで見たことないのだが。 156 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 03:14.net] >>153 て優香、datファイルを落とせるならそうしたいんだけど、やりかた 教えてーな。 たしかどっかでdatファイルは落とせなくなったとか聞いたような気がしたんで、 htmlをそのまま落としてマッチングしてるんだけど・・・ 157 名前：153 mailto:sage [03/01/06 14:02.net] >>156 pc.2ch.net/test/read.cgi/unix/1003833552/ だったら pc.2ch.net/unix/dat/1003833552.dat でいけるのではないと？ >たしかどっかでdatファイルは落とせなくなったとか聞いたような気がしたんで、 >htmlをそのまま落としてマッチングしてるんだけど・・・ これは俺も聞いたことあるけど、閉鎖騒動の時あたりじゃないの？ 俺はそれよりあとに2ch来たからよく知らないけど、 read.cgiにアクセスするより、datファイルに直接アクセスしたほうが、負荷は減るらしい、と聞いたこともある。 158 名前：153 mailto:sage [03/01/06 14:51.net] >>156 とりあえず、俺の作ったdatファイルだけ落とすスクリプトも張っておこう。 粗末なシェルスクリプトだが... #!/bin/sh PATH=/usr/local/bin:/usr/bin:/bin:/usr/local/sbin:/usr/sbin:/sbin DATE=`date +%Y%m%d_%H%M%S` if [ "$1" ] && [ "$2" ] && [ "$3" ] && [ "$4" ] ;then : else echo "useage: ./get.sh [dat|subject] [dir] [host] [ita] [waittime] [wget-flag]" exit fi HOMEDIR=/home/hoge/documents/data TARGET=$1 DIR=$2 HOST=$3 ITA=$4 LOGFILE=./wget_log.txt if [ "$5" ];then WAIT=$5 else WAIT=3 fi 159 名前：153 mailto:sage [03/01/06 14:52.net] # -c tuchuukara # -N time stamp WGETFLAG="-t 3 -a${LOGFILE} -P./dat -U "Hogella/1.0" -nd $6" if ! [ -d ${HOMEDIR}/${DIR} ] ;then echo ${HOMEDIR}/${DIR} no such directry\! exit fi /bin/test -d ${HOMEDIR}/${DIR}/dat || mkdir ${HOMEDIR}/${DIR}/dat /bin/test -d ${HOMEDIR}/${DIR}/old_dat || mkdir ${HOMEDIR}/${DIR}/old_dat /bin/test -d ${HOMEDIR}/${DIR}/subject || mkdir ${HOMEDIR}/${DIR}/subject cd ${HOMEDIR}/${DIR} test -f ${LOGFILE} || touch ${LOGFILE} printf "###\n###\n### DATE=${DATE} \n### args=$* \n###\n###\n" >> ${LOGFILE} if [ ${TARGET} = subject ];then rm -f subject.txt wget -a${LOGFILE} -U "Hogella/1.0" ${HOST}/${ITA}/subject.txt cp subject.txt ./subject/subject.${DATE}.txt 160 名前：153 mailto:sage [03/01/06 14:52.net] elif [ ${TARGET} = dat ];then echo "---> DATE = ${DATE}" mkdir old_dat/${DATE} rm -f subject.txt wget -a${LOGFILE} ${HOST}/${ITA}/subject.txt echo "---> got subject file" sleep 1 echo -n "---> dat file... " for DAT in `cat ./subject.txt | cut -f1 -d.` ;do echo "--->TARGET is ${DAT}" >> ${LOGFILE} echo -n "${DAT}" wget ${WGETFLAG} ${HOST}/${ITA}/dat/${DAT}.dat if [ -f ./dat/${DAT}.dat.1 ];then echo "---> file moved to old_dat dir" >> ${LOGFILE} mv ./dat/${DAT}.dat ./old_dat/${DATE} mv ./dat/${DAT}.dat.1 ./dat/${DAT}.dat echo -n "_ " elif [ -f ./dat/${DAT}.dat ];then echo -n ". " else echo -n "X " fi sleep ${WAIT} done echo " " echo "---> all done" >>${LOGFILE} echo "---> all done" fi 161 名前：153 mailto:sage [03/01/06 14:55.net] HOMEDIR=/home/hoge/documents/data を適当に書き換えて mkdir $HOMEDIR/test-dir ./get.sh dat test-dir pc.2ch.net unix 3 で使えると思う(freebsd以外は不明)。 ２度目からは ./get.sh dat test-dir pc.2ch.net unix 3 -c で差分だけとってこれる。 162 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 15:20.net] あらほんと。 で、にちゃんの鯖に負担かけないように、前回収得した所からの差分だけ 拾いたいんだけど、どうやるの？ 163 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 15:24.net] うーん、 cgiから差分だけ拾うのと、datを全部拾って差分を調べるのとではどっちがいいんだろ？ てか、dat拾う方がいいんだろうなぁ。作りなおしてみるか。 164 名前：153 mailto:sage [03/01/06 15:42.net] >>162 wgetのオプションで俺が使えると思うのは。 -c 　　　　　　ファイルサイズを見て、増加分だけダウンロードする。 -N 　　　　　　タイムスタンプを見て、ファイルが更新されていたら、（ファイルすべて）をダウンロードする。 -nc 　　　　　　ファイルが存在したら、ダウンロードしない。（接続もしない） -t 3 　　　　　　失敗したときの再トライ回数(デフォルトは２０なので、３ぐらいに設定したほうがよいと思う) -x　　　　　　　ディレクトリを作って、URLを再現する 　　　　　　　　　（例 pc.2ch.net/unix/dat/0000000.dat → ./pc.2ch.net/unix/dat/000000.dat ） -nd　　　　　　-xの逆、ディレクトリを作らない。（-rは同時に-xが有効になるけど、-ndをつけるとディレクトリを作らない） -i link.txt　　ファイルからURLを読み込んでダウンロードする。　　　　　 -nv　　　　　　ダウンロードメッセージをいくらか静かにする。 -A acclist, --accept=acclist　acclistで指定した拡張子(?)のみダウンロードする。,で区切る(?) -U "Mozilla/4.0"　ユーザーエージェントをちょろまかす。 -P PREFIX --progress=dot ダウンロード中のメッセージスタイルを変更。 -o hoge.txt 　　ログファイル（上書きしてしまう） -a hoge.txt 　　ログファイル（追加から書く） -r　　　　　　　　リンクをたどり、再起的に取る（ただし、別のホストはダウンロードしない） -w 3　　　　　　再起的にとる場合のダウンロードしたときの待ち時間 --no-parent 　再起的にダウンロードする際、親ディレクトリから上はダウンロードしない。 -nd 165 名前：153 mailto:sage [03/01/06 15:44.net] >>164 失敗。 wgetのオプションで俺が使えると思うのは。 -c 　　　　　　ファイルサイズを見て、増加分だけダウンロードする。 -N 　　　　　　タイムスタンプを見て、ファイルが更新されていたら、（ファイルすべて）をダウンロードする。 -nc 　　　　　　ファイルが存在したら、ダウンロードしない。（接続もしない） -t 3 　　　　　　失敗したときの再トライ回数(デフォルトは２０なので、３ぐらいに設定したほうがよいと思う) -x　　　　　　　ディレクトリを作って、URLを再現する 　　　　　　　　　（例 pc.2ch.net/unix/dat/0000000.dat → ./pc.2ch.net/unix/dat/000000.dat ） -nd　　　　　　-xの逆、ディレクトリを作らない。（-rは同時に-xが有効になるけど、-ndをつけるとディレクトリを作らない） -i link.txt　　ファイルからURLを読み込んでダウンロードする。　　　　　 -nv　　　　　　ダウンロードメッセージをいくらか静かにする。 -A acclist, --accept=acclist　acclistで指定した拡張子(?)のみダウンロードする。,で区切る(?) -U "Mozilla/4.0"　ユーザーエージェントをちょろまかす。 -P PATH　　PATHを基準にファイルを保存 --progress=dot ダウンロード中のメッセージスタイルを変更。 -o hoge.txt 　　ログファイル（上書きしてしまう） -a hoge.txt 　　ログファイル（追加から書く） -r　　　　　　　　リンクをたどり、再起的に取る（ただし、別のホストはダウンロードしない） -w 3　　　　　　再起的にとる場合のダウンロードしたときの待ち時間 --no-parent 　再起的にダウンロードする際、親ディレクトリから上はダウンロードしない。 166 名前：153 mailto:sage [03/01/06 15:55.net] WINDOWSのiriaとか見たいに、帯域制限してダウンロードすることができないか、 は調べたことあるけど、方法が見つからなかった。wgetではできないのでは無いかと思う。 代わりには、-wで制限するか、スクリプトの中にsleepを入れる方法があると思う。 あと画像ファイルを落とすとき、-x と -nc を組み合わせて使ったら、同一のファイルをダウンロードする問題はなくなると思う。 >>158-160の欠点は、あぼーんでlogが詰まったら、不適切なところから、ダウンロードを開始してしまうため、 変なdatファイルを作ってしまう。これは-Nですべてをダウンロードしなおせばいいけど、負荷が増える。 >>163 うーん、-nc -x オプションで、すでにダウンロードしてあるファイルをダウンロードしないようにするか、 もしくはwgetで何バイト目からを指定して、別ファイルにダウンロードすることができるような、オプションがあるかも.. 167 名前：153 mailto:sage [03/01/06 15:59.net] >>162 wget -c で増加分をダウンロードできるらしいです。 これは、ダウンロード途中でコネクションが切れたりして、 あとからその続きからダウンロードしたい場合にも使えるようです。 遠くのftpサーバとかに使えます。 168 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 16:45.net] >>167 さんくすこ。 スレログとらなくても、リンクさえ拾えれば大丈夫だからねぇ、 あぼーんされても大丈夫だと思う。 というわけで、増分だけ拾うようにしますわ。 169 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 18:57.net] このスレでやるな。 170 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 18:59.net] >>169 何を？なぜ？ 171 名前：1 mailto:sage [03/01/06 19:18.net] dat落ちするかとおもったけど なんかまたあがってきてるんで ひさびさにバージョンアップしようかな というか、つかってる人（使う人）とかいるんでしょうか？ 172 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 21:10.net] つくった。 けど、htmlから拾ってるから効率悪いよ。 homepage3.nifty.com/wahya/ 173 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 21:15.net] >>172 君のPCの時計ずれてない？ 174 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 21:18.net] >>173 え？どこ？ さっき作ったばかりだからおかしいところあったら指摘して〜 >>171 >>1さんｷﾀ━━━━━━(ﾟ∀ﾟ)━━━━━━━!!!!! 175 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 21:19.net] >>171 つか、使うかどうかより、自分で作ってみるのも楽しいのかも。 １さんのも参考にしたいのでオネガイシマス。 176 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 21:21.net] >>174 いやこんなんでたから。 ゴミレススマソ。 --- get2ch_v006/get2ch.pl tar: get2ch_v006/get2ch.pl: time stamp Jan 7 21:00 2003 is 85213 s in the future get2ch_v006/get2chrc.txt tar: get2ch_v006/get2chrc.txt: time stamp Jan 7 21:00 2003 is 85213 s in the future get2ch_v006/readme.txt tar: get2ch_v006/readme.txt: time stamp Jan 7 21:00 2003 is 85213 s in the future get2ch_v006/subback2subhash.pl tar: get2ch_v006/subback2subhash.pl: time stamp Jan 7 21:00 2003 is 85213 s in the future 177 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 21:24.net] >>176 ・・・なんかちょうど1日ずれてるような。 178 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/06 23:34.net] て優香、wget使わなければforkしなくていいからActivePerlでも使えるようになるし、 Irvineでも使えばwgetよりはるかに効率的に収集できるし。 あーあ、UNIX板で気付いちゃいけないことに気付いちゃったよ。 179 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 10:03.net] 萌え板を監視するスクリプトも(　ﾟдﾟ)ﾎｽｨ… 180 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 11:41.net] >>179 萌え板を監視、って具体的に何できればいいんだ？ と優香、萌え板って何？ファイヤーウォールのこと？ 181 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 12:52.net] >>178 soretteCUI? 182 名前：179 mailto:sage [03/01/07 13:06.net] 説明不足でした。 こんな感じの掲示板です。 www9.xdsl.ne.jp/~w2web/moe/moelinks.html 萌々ぼ〜どって言うのかな？ ソノテの人の画像アップ掲示板として広く使われてるみたいです。 欲しいのは画像をいっきに落とす・・ですが できたら全てのページをログも含めてHDに保存できるのが好ましいです。 183 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 13:32.net] >>182 そうか、wgetの-rオプションだけでは画像アップローダーの ２ページ目以降のがとってこれないのか... うーむ 184 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 14:57.net] >>182 なるほど。理解した。 VBスクリプトなら、次のページをめくるボタンを押すスクリプトが簡単に書けるけど、 Perlとかだとどうやってやるんだろ？ 185 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 14:58.net] wgetでpostできるようにするパッチあるよ ttp://pluto.im.uec.ac.jp/~sekita-n/prog/ CGIを激しく呼び出してアク禁喰らっても知らないけど 186 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 15:03.net] >>184 cgiを読んだら、POSTを送ることでページをめくるようになってた。 perlだったら直接サーバと繋いで、POSTを直接送ればできるのでは？ またはhoghoge/moemoe.cgi?page=3でページを直接指定して(GETでも)ページを開けるらしい。 ところでwgetでPOSTを送ることってできないよね？（wget厨ですまそ） 187 名前：186 mailto:sage [03/01/07 15:05.net] >>185 リロードしたらみました。 すまそ。試してみます。 wget以外でPOSTを簡単に送れるツールを以前どこかで見たことあったけど。。 188 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 15:57.net] curl使え 189 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 17:03.net] >>181 Irvineもコマンドラインから使えるけど。 irvine list.txt　で、URLリストを入れられる。 cronで回すのでなければ、Win上でやったほうが簡単かも。 190 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 19:44.net] ⊂⌒~⊃｡Д｡）⊃ 191 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/07 21:57.net] その萌え萌えなんちゃらってやつな、moemoe.htmlと同じディレクトリにある moemoe.logってのがログファイルだからそれ落とせ。画像のURLも載ってるから。 CGI叩くのやめれ。 192 名前：名無しさん＠お腹いっぱい。 [03/01/08 01:46.net] >>172 なんかデリられてるみたいなんで差異うpキボンヌ、クレクレ君でスマソ 193 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 01:51.net] >>187 w3m 194 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 09:32.net] >>192 ゴメソ。 cgiからｹﾞﾄｰしてるので下手するとアク禁になっちゃうから今消してる。 もうすぐ次バージョンうｐするからまってて〜(;´Д`) 195 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 14:37.net] >>193 それだ！ 196 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 21:35.net] >>192 うｐしたよ〜 急いで書いたからちゃんと動くかわからないけど。 197 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 21:49.net] >>196 さっきの動かなかったから、差し替えますた。 198 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 22:46.net] >>197 まだ時計がずれてない？（ｗ 勘違いだったらスマソ。 ちょっと読んで気になったのは、 スレッドの差分を取ってくるときのwgetのオプションで-cと-ncの両方を指定しているけど、 これって両方あったらまずくないの？>>165 あと、datファイルを連続してダウンロードしたら、2chの負荷が大きくなってまずいと思うけど.. 199 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 22:50.net] >>198 あらほんと。 -cと-nc一緒に書いちゃってるけど、一応動いてるし、ダウンロードの 速さからして差分だけ落としてるように思ふ。 て優香、汚いソースを丁寧に読んでくれてありが�d datは差分だけ落としてるから連続ダウソも大丈夫かと思ったが、 やっぱヤバイかね？間隔あけた方がいいかな？ 200 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 22:52.net] あと、wgetのダウンロード速度が遅くていらつくんだけど、なんか解決方法 ありませんか？ 201 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 23:02.net] >>199 いや、ちょっとmonazilla関係のスレをよんでたら、 いかにサーバの負荷を減らすかいろいろ考えられていて、 この、datファイルを総ざらいするのも極力避けた方がいいかと思ってきた。 やるとしても、負荷の低い時間帯にかなり間隔を開けて行った方が良いかと... >ダウンロードの >速さからして差分だけ落としてるように思ふ。 -ncはすでにファイルが存在したら、ダウンロードしないので、ダウンロードされていない可能性は？ 202 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 23:16.net] >>201 今 -nc消したやつをうｐしたよ。 だけど、-nc消したらなんだか速度が遅くなったような・・・ あと、日時がバグってるのはアーカイバーがおかしいらしいことが分かったよ。 だからｷﾆｼﾅｰｲ >datファイルを総ざらいするのも極力避けた方がいいかと思ってきた。 なるほど。一応スレのレス数見て更新されてるか確認してから各スレの差分をダウソ するようにしてるけど。もっと負荷を減らす方法ないでつかね？ cronで回すなら、10秒おきに更新されてるスレを1スレずつ巡回みたいなことも考えられるけど。 >-ncはすでにファイルが存在したら、ダウンロードしないので、ダウンロードされていない可能性は？ 一応ダウンロードされてるようだが・・・謎。 まぁ直したし。 203 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 23:19.net] >>202 速度で判断するより、wgetのログをちゃんと見た方がはっきりするかと... 204 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/08 23:27.net] >>203 -ncつけてるやつはログが消えちゃったけど、-nc消したやつのログみたら 全部落としてるみたい・・・鬱 205 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/09 01:58.net] (´-`).｡oO（画像掲示板から落とした方が簡単なのに、なんでだろう…） 206 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/09 16:19.net] こんなのもあったり j2ch.free-city.net/ 207 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/09 19:32.net] >>205 ｿﾚﾀﾞ━━━━━━(ﾟ∀ﾟ)━━━━━━━!!!!! にちゃんねらがよく利用している画像掲示板を巡回すれば、良質なｼﾞｪｲﾍﾟｰｸﾞが 集まるよな。 >>206 同一のアドレスがたくさん・・・sortしてuniq通せよな〜、と。 208 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/09 20:05.net] >>206 さらに１時間更新とか... どんなシステムか気になる。 >>207 Windowsでは画像掲示板を巡回して画像をダウンロードするソフトを聞いたことあるけど、 人参収穫か大根収穫とか名前だったか... まあ、crontabで自動で回してみたい 209 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/09 21:08.net] >>208 これか？ 人参自動収穫機 ninjinclub.tripod.co.jp/ 210 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/09 23:41.net] この画像掲示板はPOSTじゃないと見れないみたいなんですが、w3m等の POSTがしゃべれるツールで画像をダウンロードする方法が分からないのですが、 分かる方いらっしゃいませんか？ ttp://sss.direct.ne.jp/nuke/bbs.cgi 211 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/10 01:23.net] >>210 とりあえず>>191の様にログが保存されていないか探してみるとか？ imgboardはデフォルトではfile.dat、fileback.datって名前だったような... ただ、ログファイル名変えてたり、アクセス権を切っている可能性があるので（俺もだけど） このばあいは>>209を試してみるとか？ 下手にperlでPOSTを送ったりするのはやめた方がいいと思う 212 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/10 01:25.net] >>210 てか、右クリック→名前を付けて保存ではいけないのか？ もしくはman w3m 213 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/10 02:00.net] ぷ 214 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/12 14:20.net] >>210 上のほうで出てるパッチを当てたwgetだとこんな感じ？ #!/bin/bash url="hoge.com/hoge/imgboard.cgi??page=" img="/hoge/img-box/" lastpage=10 i=0 while [ $i -lt $lastpage ] do i=`expr $i + 1` echo $url$i >> list.txt done wget -r -w 1 -I $img -i list.txt -o wget.log rm -f list.txt 215 名前：age2ch.pl 0.03.28 mailto:sage [03/01/12 16:20.net] 保守 216 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/12 23:06.net] >>241 普通に wget "hoge.com/hoge/imgboard.cgi?page=2" でもいけない？ >>215 それはやめとけ。 下手したら悪禁になるかもしれないらしい 217 名前：山崎渉 mailto:（＾＾）sage [03/01/15 12:59.net] （＾＾） 218 名前：名無しさん＠お腹いっぱい。 [03/01/24 15:59.net] java版を作ってみますた。 gobo.free-city.net/ ※javaの実行環境が必要です。 ※Windows、Macでも動くかも。 219 名前：あぼーん mailto:あぼーん [あぼーん.net] あぼーん 220 名前：あぼーん mailto:あぼーん [あぼーん.net] あぼーん 221 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/25 17:42.net] >>218 ネタでつか？ 鯖がみつかりませぬ・・・ 222 名前：218 [03/01/26 00:18.net] あれ？確かに見つかりませんね...。 って、鯖ごと落ちてる？ 昨日まではアクセスできたのにな。今日話題になってるSQLPの影響かなぁ？ 223 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/26 00:43.net] >>222 ここでは話題になってないのかな・・ ttp://dailynews.yahoo.co.jp/fc/computer/internet/ 224 名前：218 mailto:sage [03/01/26 09:12.net] >>221 たった今、鯖が復帰していることを確認しますた。よろしくおながいします。 いちお、間借りしたところは、 The site gobo.free-city.net is running Apache/1.3.27 (Unix) on FreeBSD なので今回の騒ぎで落ちちゃったわけではなさそうですが。 225 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/01/31 10:59.net] どうやらUAをいじらないとdatファイルを直接getできなくなったらしいが 226 名前：山崎渉 mailto:（＾＾） [03/04/17 12:33.net] （＾＾） 227 名前：あぼーん mailto:あぼーん [あぼーん.net] あぼーん 228 名前：名無しさん＠お腹いっぱい。 [03/04/21 02:09.net] ↑山崎、必死だな(笑 229 名前：名無しさん＠お腹いっぱい。 [03/04/28 15:53.net] UNIX コマンドだと標準で巡回コマンド付いてきますが、何か？ 230 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/05/06 16:55.net] Mac OS 10.2 のターミナルで実行しました そしたら、 pl {-input <binary_file>} {-output <binary_file>} Reads ASCII PL from stdin (or serialized file if -input specified) and writes ASCII PL to stdout (or serialized file if -output) なんて出ちゃって、もうわかりませぬ どうかおしえてください。。。 おながいします。。。 231 名前：あぼーん mailto:あぼーん [あぼーん.net] あぼーん 232 名前：名無しさん＠お腹いっぱい。 [03/06/08 23:39.net] おお！ このスレまだ存在してたのか。 息が長いな。 山崎先生のおかげですね。 233 名前：名無しさん＠お腹いっぱい。 [03/07/08 00:31.net] >>185 のページ見れないんですが、引越し先知ってる人います？ 234 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/07/13 19:27.net] >>233 とりあえずWayBack Machineで拾えた 235 名前：あぼーん mailto:あぼーん [あぼーん.net] あぼーん 236 名前：名無しさん＠お腹いっぱい。 [03/08/10 04:45.net] age? 237 名前：あぼーん mailto:あぼーん [あぼーん.net] あぼーん 238 名前：あぼーん mailto:あぼーん [あぼーん.net] あぼーん 239 名前：あぼーん mailto:sage [03/11/13 20:55.net] あぼーん 240 名前：名無しさん＠お腹いっぱい。 mailto:sage [03/12/17 05:13.net] ﾎｯｼｭ

---

---

[ 続きを読む ] / [ 携帯版 ]

read.cgi ver5.27 [feat.BBS2 +1.6] / e.0.2 (02/09/03) / eucaly.net products.
担当:undef