キャッシュ型負荷分散システム開発スレッド

1 名前：名無し娘。 ◆vP.bOZFQ [01/08/27 19:29 ID:asPJm1Ug.net] このスレッドは、2ch.net の転送量削減を目指し、P2P-cache型の 負荷分散システムを開発するスレッドです。 参照：203.174.72.113/p2pcache/P2Pcache/frame.htm その他参照スレは >>2-5 あたりに。 ２ちゃんねるの軽量化・開発に関する他の話題は、 piza2.2ch.net/test/read.cgi?bbs=tech&key=998845501&ls=20 その他、障害報告・動作報告等は、 teri.2ch.net/test/read.cgi?bbs=accuse&key=998808733&ls=20 に、それぞれお願いいたします。 201 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/08/29 10:12 ID:iU.Fd0UU.net] >>199 同意　だけどどっちにしろそのサーバの置き場所を確保しないことには どうにもならないと...... 202 名前：にはん ◆/gWayilU mailto:sage [01/08/29 10:14 ID:OYkF597Y.net] >>199 本当は規模を考えたらやすやすな構成で分散しようということ自体にかなりの無理があるから、 結局のところ大まかに言って今のところ３択だよね。 ・プログラム板のP2P-cache ・「2chサーバ群」ってのは、結局のところただの自動 redirect 装置に成り下がる 　（つまり音楽侍さんが逝っているのはこれだと思う） ・本体はあくまで2chサーバ群にあって、それをdelegationさせる事でトラフィック分散を図る 203 名前：音楽侍 ◆NtVkSITE [01/08/29 10:15 ID:j/vYHKaU.net] >>200 それとはちょっと違いますですよ。 そっちで進んでいるのは、 P2Pでサーバに依存しない掲示板を作るの巻 piza2.2ch.net/test/read.cgi?bbs=tech&key=998915621 です。 あ、今度は私の誤解かも。 最初は、perlerさんが、 「mirror.plみたいなのはすぐ出来るよ。というか、もう書いちゃったよ」 ってところからこのスレが立ったんだと思います 204 名前：にはん ◆/gWayilU mailto:sage [01/08/29 10:18 ID:OYkF597Y.net] >>203 あら、こちらの誤解かも。>>1に 「このスレッドは、2ch.net の転送量削減を目指し、P2P-cache型の 　負荷分散システムを開発するスレッドです。 」 って書いてあるからてっきり。 205 名前：音楽侍 ◆NtVkSITE [01/08/29 10:19 ID:j/vYHKaU.net] >>202 そうですね。 もっと言っちゃうと、ただのDNS（と、正面玄関）になっちゃうのが、本家2ch.netサーバだって事ですね。 その移行的側面として、perlerさんのmirror系スクリプトは超強力なツールだと思いますけど。 いずれにしても、トランザクションコストとして、２ｃｈレベルのサイトで、ミラーリングはあり得ないんでは？ なんか、IBMと国際的機関レベルの国家予算的プロジェクトと同質の規模だと思うんです。今すでに。 206 名前：にはん ◆/gWayilU mailto:sage [01/08/29 10:26 ID:OYkF597Y.net] >>205 そうなると、ひろゆきとBigは2chから降りなければならなくなってしまうんだよね。 Bigにとってのメリットは2chがさくさく動いているということを宣伝に使える、 ということだから、そのうまみがまったくなくなってしまう。 ひろゆきはひろゆきで、自分はなにも管理していないのに「２ちゃんねる」の代表として 今後も訴訟の際などには呼び出される格好になる。そんな馬鹿らしいことは誰だって嫌だろう （いまの状態も馬鹿らしいといえばそうなんだけど）。 俺が技術レイヤだけではこの話は堂堂巡りになる、というのはその辺もあるんだ。 純粋に技術話として、大規模な「Webの」BBS群をどう取り扱うか、と言う話をしてみる、 と言う事にも十分意味はあると思うけど、少なくともそれはいまの2chには生かすことは 出来ないと思う。 207 名前：名無しさん＠お腹いっぱい。 [01/08/29 10:31 ID:nl0FB/...net] >>194 やっぱり、ラウンドロビンの定期的変更が一番単純でしょうか？ とりあえず、キャッシュ鯖に、アドレスと使用可能な回線容量かなんかを申告させて それにあわせてラウンドロビンのリストを作成するって感じかな？ リストのサイズは固定にして、余裕が有る鯖は複数回、普通のところは１回呼ぶとかで 負荷調整を図ると。 鯖の事は全然分かってないので知ったかぶりなんですけど、 これってBINDレベルで対応可能って事ですよね？。 >>206 とりあえず、今Big-server以外の鯖って残ってましたよね？ そっちに応用すればいいんじゃないでしょうか？ 208 名前：音楽侍 ◆NtVkSITE [01/08/29 10:33 ID:j/vYHKaU.net] >>207 そのBig-server以外の2chサーバってさ、昨日ラウンジ一個が引っ越しただけで破綻したんだよ。 209 名前：音楽侍 ◆NtVkSITE [01/08/29 10:37 ID:j/vYHKaU.net] >>206 それはその通りです。 そしてそれは、私たちが話しても憶測と推定とやがてﾊﾞﾘｿﾞｰｹﾞﾝになってしまうので、みんなやらないのです。 だって、ひろゆきさんの公式コメントないし（今の段階ではない方が私もいいと思ってます）。 私たちはこうやってがんばったりしちゃってますが、ひろゆきさんからみれば、ただのいち２ちゃねらーなだけですから。 そういうことも含め、ひろゆきさんの存念を確認したい、っていうのが夜勤さん上京の本音じゃないかと私は思っているのですけれどね。 210 名前：Perler ◆GSi39OA6 [01/08/29 10:47 ID:qGdmeavk.net] 現在のミラーの様子 202.247.106.47/tech/index2.html www.gedoh.org/tech/index2.html 210.170.170.118/mirror/dat/tech/index2.html ＜− 全コンテンツ取得しているようです 特にanony氏のミラーは2ch本体の代わりとして充分機能している気がします。 >>199 私が考えている展望を書きます。 まず、2日前くらいの予告とともに、2ch.netのread.cgiを板ごとに順次止めていきます。 ここで、予告期間中にわかに有志でmirror.plを走らせる人が増えてくるんじゃないかと思います。 (逆に誰もミラーしてくれなければこの話は終わりです。) read.cgiが止まった板のミラーが出来たら、さらに別の板のread.cgiを止めていきます。 実際、2ch.netのread.cgiを止めてしまわないと、有志は増えないんじゃないかと思っています。 2ch.net上でread.cgi動いてる時点ではmirror化のメリットは見えてこないですからね。 2ch.netの各サーバーへの振り分けは、当初は考えなくて良いと思っています。 振り分け自体も、現在の2ch.netの対応を見る限り、 ラウンドロビンを2chが早々に導入してくれるという事も考えにくいので、 有志にサーバー一覧(リンク集)をまとめてもらう方向になるのではないかと思います。 サーバーが増えれば、今度は負荷を考えてランダムにミラーサーバーへforwardする CGIを作って、それをまた有志サーバー上で走らせて対処するのが現実的ではないかと。 これらがうまく機能しなくてもかちゅ〜しゃがあるわけですし。 2ch.netの役割は、玄関と、bbs.cgiによるログ管理のみ、という事になってしまいますが。。。 即時性については、ミラーリングの手法を変える事で対応できるんじゃないかと思います。 現在はHTTPでやってるんでオーバーヘッドが大きすぎますが、 将来的には、2ch側に配信専用サーバーを立てて、クライアント(キャッシュ側)からソケット張りっ ぱなしにしておき、書き込みがあったら2ch側からデータをputしていくようなシステムに なるんじゃないかと思います。 GETリクエストを送らなくても勝手にどんどんKeep-Aliveでデータを送りつけてくるHTTPサーバー みたいなものを想像して頂ければ分かりやすいかと。 211 名前：名無しさん＠お腹いっぱい。 [01/08/29 10:54 ID:nl0FB/...net] >>208 だからこそ、分散処理すれば落ちにくくなるって話なのでは？ とりあえずは、避難所レベルの資源を持っている人に協力してもらって 一次キャッシュサーバになってもらうのが現実的かな？ そのうちP2Pのほうが形になってくると思いますし、 一時しのぎができればいいのでは？。 問題は、管理サイドの考えが見えてこないことなんですが、 ２ｃｈがこの規模を維持するにはどう考えても分散が必要ですから まあ、最悪の場合、避難所のサポートシステムとしても有効ではないかと思いますし、 212 名前：Perler ◆GSi39OA6 [01/08/29 10:56 ID:qGdmeavk.net] 前にも書いたんですが、現在サーバーは生きていて、read.cgiだけ止まってる 板ってあるんでしょうか? あるのなら、そこをミラー化させるのが一番よい実験題材なのですが。 213 名前：音楽侍 ◆NtVkSITE [01/08/29 10:57 ID:j/vYHKaU.net] >>210 Perlerさん、おはようございます。 んー、そうですね。即効性アクセス削減案と言うところまでは異床同夢です。 P2Pについては、クライアントの開発が絡みますので、3-6ヶ月はかかると思います。 早ければ10月にはBig-serverさんは手を引く可能性がありますので、間に合いません。 また、ミラーリングの精度を上げるのも限度がありますし、ミラーするくらいだったらbbs.cgi語とおいたって一緒じゃないか、っていう発想だってあるです。 夜勤さんは９月の帯域料金は50Ｍまでしか支払えないって明言していますし。 214 名前：名無しさん＠お腹いっぱい。 [01/08/29 13:20 ID:y.SJYiFg.net] キャッシュサーバーですけど、 ファイルの容量ってどれぐらいになるのですか？ 容量によっては走らして見たいと思ってるんですけど。 215 名前：音楽侍 ◆NtVkSITE [01/08/29 13:21 ID:j/vYHKaU.net] >>214 走らす板によって違うと思いますよ。 techで15.5MB程度ですかね？ 216 名前：名無しさん＠お腹いっぱい。 [01/08/29 13:27 ID:y.SJYiFg.net] >>215 了解です。 cygwinで走らせて見ます。 217 名前：名無しさん＠お腹いっぱい。 [01/08/29 14:06 ID:nl0FB/...net] ＞213 まあ、ビジネスの話については、ひろゆきに代わりの広告主見つけてくれ としか言えないですけどね。あとは夜勤さんガンバ！かな？ とりあえず、Bigサーバのイメージダウンにならない形でやらないと 本当に撤退って可能性もあるので、それだけは避けないと。 にしても最近一番疑問だったのは、PROXYに対する対応。 PROXYを使うのが、本来の目的であるキャッシュ効果よりも、 荒らしがしやすい事の方が強調されて、２ｃｈでPROXYつかうのは、 なにか後ろめたい事のような風潮になってたように思いますね。 ところで、普通のPROXYなんかと比較すると、どのくらい効果が違うんでしょうかね？ 主にアクセス集中時のケースで、３者の比較が出来ればいいかも？ 218 名前：Perler ◆GSi39OA6 [01/08/29 14:13 ID:qGdmeavk.net] >>217 今回の場合、キャッシュすべきものがかっちり決まってるので、 mirror.plの方が効率が高いでしょうね。 あと、汎用のHTTP-Proxyだと、.datではなくHTML化したものを取ってくるので、帯域を 余分に喰うことになりそうです。 219 名前：Perler ◆GSi39OA6 mailto:perler_2ch@hotmail.com [01/08/29 14:17 ID:qGdmeavk.net] とりあえず、私の環境ではmirror.plは順調に動いています。 昼はアクセスが少ないためもあって、1分ごとの起動で、1回の取得が数秒と、 かなり快適なミラーリングになっています。 あとは、コマンドライン引数で板やサーバーの指定が出来るようにして、 その後.datをgzipで保存するように対応したいです。 220 名前：山師さん [01/08/29 15:40 ID:qc5beSto.net] 6ヶ月限定らしいが2600円で結構使えそう＞開発用に どうよ？ prime-jp.com/host/advance.html 221 名前：素人さん [01/08/29 16:28 ID:W.7THPBI.net] Big の外の帯域制限の緩い鯖に Apache proxy かなんか置いて、www.2ch.net のA レコードはそっちを指してもらうってのじゃダメなの？ 222 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/08/29 16:49 ID:iU.Fd0UU.net] >>221 その場合はproxy/cacheじゃなくて「ミラーサーバ」になるでしょう でも　その「Big の外の帯域制限の緩い鯖」はどうするの？ それに　2ch.netのプライマリDNSの設定権限を持ってるのはだれ？ まぁ　それがクリアできるのなら「激しく同意」なんだけどね 223 名前：素朴な突っ込み [01/08/29 19:06 ID:NvOO2vOY.net] あのー、P2Pが本命ではないかと言っておられる人が多いようですが、 2ちゃんの規模でそれをやって、日本の通信回線は大丈夫なのでしょうか。 今の２ちゃんの転送量では大丈夫かもしれないけど、一年後の転送量は・・・ と言うわけで、このスレのプロジェクトが実は本命なのではないかと 思うのですが、どうでしょう？ 224 名前：てんてんdwp@ yankee.tokyo-nazo.net [01/08/29 19:43 ID:DVACnJqw.net] >>188自己レス。 寝ぼけてていたらしくて寝言言ってた。申し訳無い。 www.tokyo-nazo.net/mirror/dat/tech/index2.html で、ミラーリングはとりあえずできてるみたいです。 あと、今はうちのweb server使ってるけど、まだグローバルIPに空きが あるので、2chテスト専用サーバを来月中にはおったてます。128Kbps線 だけど。 >>223 できそうなものはとりあえず全部やってみるのがいいのでは？ その中からいいアイデアが出るかもしれないし。 どれかを本命と決め打ちして、それがこけたらそれこそ致命的だと思う。 225 名前：名無しさん＠お腹いっぱい。 [01/08/29 20:06 ID:32goOYrE.net] >>158さんのを参考にmirror.plを走らせてみたんですが、 <H1>Connect Error</H1>って出ます。 Vine-2.1.5, perl 5.005_03 なんですが、どうしたらいいでしょうか？ 226 名前：225 [01/08/29 20:37 ID:32goOYrE.net] あー、今windowsマシンにcygwin入れて試したら、 ちゃんと動いてるっぽいです。 原因はperlかなあ？ 227 名前：ターボ戦隊イエロー mailto:sage [01/08/29 22:07 ID:DVGyRnrk.net] >>225 TurboLinuxにのりかえる 228 名前：てんてんdwp@ yankee.tokyo-nazo.net [01/08/29 23:07 ID:DVACnJqw.net] えーと、>>183のドキュメント、eucで書かれてたんでちょっとだけ苦労した(^^; というわけで、ここに修正して貼るけど、いいよね？ 1. アーカイブを展開します。 gzip -dc mirrortest.1.0.tar.gz | tar xvf - 2. read.cgiをbuildします。 cd mirror/test make -f Makefile 3. read.cgiをコピーします。 cp read.cgi ../dat/test/ 4. mirror.plがあるディレクトリに移動します。 cd ../../ 5. mirroringを実行します。 ./mirror.pl 全てが終わったら動作を確認しましょう。 ブラウザでhttp://(解凍した場所)/mirror/dat/tech/index.html で、合ってますか？ 229 名前：名無しさん＠お腹いっぱい。 [01/08/29 23:47 ID:VGLV51Nk.net] mankomankomanko.virtualave.net/bbs.txt をbbs.cgiにして、 ../dat/test/ に入れても動きますよ。 make出来ない人でもこれで動かせるはず。 230 名前：anony ◆3XTuRnAc [01/08/30 00:08 ID:grWs5t1E.net] >>228 そんな感じです。清書感謝です。 あと、自分で書いてて＆自分で外から自分ちのミラーにアクセスしてみて 気づいたんですが、bbs.cgiがないと意味がないことに(汗 というか、Perlerさんのmirrorツールが生成するmirrorから 記事にアクセスして「書き込む」をやると、2ch本体じゃなくて ミラーサーバーの方のbbs.cgi見に行くような感じがするんですが＞Perlerさん mirrorの仕様上、bbs.cgiは2ch本体のものを見に行かないと 意味がないと思うのですが、read.cgiで生成されるhtml見てると、 そのサーバー上のbbs.cgiを見てるような。 231 名前：anony ◆3XTuRnAc [01/08/30 00:17 ID:grWs5t1E.net] って、ひょっとして自分がつかってるread.cgiが古いのかな？ 2ch-read-currentの中からそれっぽいの最新を取ってmakeしたのだけれど。 232 名前：anony ◆3XTuRnAc [01/08/30 00:24 ID:grWs5t1E.net] てことで即席ハックで強引に2ch本体のbbs.cgiをつかうように してみたんですが、やっぱり無理のようでした。って当然か・・・。 233 名前：名無しさん＠お腹いっぱい。 [01/08/30 00:33 ID:8gDt9PTM.net] >>232 書込みフォームを消して、 書込みボタンを付ける。 で、そのボタンで本家のread.cgiを呼び出す。 ただしls=1で。 これならあまり負荷は掛からないのでは。 234 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/08/30 01:09 ID:TfjSc3dw.net] >>233 read.cgiがls=0を許容すればもっといいんだけどね。 暫定案としては賛成。 235 名前：名無しさん＠お腹いっぱい。 [01/08/30 01:13 ID:Xut3shDo.net] >>234 現状のread.cgiはls=2が最小の模様。 ls=1にすると全てを取得しようとする。 236 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/08/30 01:17 ID:TfjSc3dw.net] >>235 nofirst=true&ls=1なら最終１レスのみ取得できる模様。 237 名前：anony ◆3XTuRnAc [01/08/30 01:20 ID:grWs5t1E.net] うーん、でも書き込むときにもうワンステップ踏むのって やっぱ面倒じゃないかと思うんですが。 上の書き込みを見ながらレスを書くとかって普通にやるじゃないですか。 238 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/08/30 01:23 ID:TfjSc3dw.net] >>237 別ウィンドウで2ch.netのread.cgiを開くようにすればよい。 239 名前：名無しさん＠お腹いっぱい。 [01/08/30 01:37 ID:9VE7JjWs.net] 恒久対策をうつのなら、 ・最大許容転送量に応じた処理能力規制 が必要なんじゃないの。 要は、金融業界でやってるキャパシティ・プラニングが必要。 単に転送データ量が軽いだけだと、 首都高や東名と同じ現象が出るだけではないかい？ （道幅広げた分利用者が増えて混み具合は変らない 　→道幅広い分、車がより多く通れるようになってしまう 　→車のハバを小さくしたらどうか？これも同じこと 　→いまさまざまな板で考えているのはこれに収斂してしまう） まじめに、キャパシティプラニングを捉えてみないか？ 240 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/08/30 01:44 ID:TfjSc3dw.net] >>239 真面目にやるとしたらプロ技板の手に余りそう。 通信技術板とかに振れないかな。 あっちにはそう言う技術者いるかな。 241 名前：名無し娘。 ◆vP.bOZFQ mailto:sage [01/08/30 01:55 ID:HrH04.b6.net] >>239-240 少なくとも 2ch.net では、それはやらない方向で。 初期にｶﾞｲｼｭﾂ。 キャッシュサーバー間でそれは、必要かもしれない。 242 名前：anony ◆3XTuRnAc [01/08/30 02:10 ID:grWs5t1E.net] とりあえず、良いアイディアがでないので、寝ます・・・。 もうちょっといろいろ考えてみたく。 ＞娘。さん 実験参加できなくてごめんなさい。 あ、とりあえずミラーサーバーとftpサーバーは 生かしたまま放置プレイしておくので。 243 名前：名無し娘。 ◆vP.bOZFQ mailto:sage [01/08/30 02:12 ID:HrH04.b6.net] >>242 いえいえ（＾＾； お疲れさまです。 244 名前：あぼーん mailto:あぼーん [あぼーん.net] あぼーん 245 名前：名無しさん＠お腹いっぱい。 [01/08/30 02:51 ID:RRvj6jF..net] ユニマガ8月号に書いてあったyahoo.co.jpの構成は参考にならんか? 246 名前：名無しさん＠お腹いっぱい。 [01/08/30 03:58 ID:9VE7JjWs.net] >>241 やらずに可能なんだろうか・・・ 今度は有志の維持環境が同様の目に会うだけだと 思うのだが。 247 名前：名無しさん mailto:sage [01/08/30 07:02 ID:9q6FHzvw.net] >>245 何がどう参考になるのだ？ 248 名前：245 mailto:sage [01/08/30 08:52 ID:9Kp01ciI.net] >>247 負荷分散の仕方とか。 # ならんのならすまそ。そのときは逝く。 249 名前：安西 [01/08/30 08:56 ID:sxla9v.Q.net] あきらめたらそこで試合終了です。 250 名前：名無し娘。 ◆vP.bOZFQ mailto:sage [01/08/30 17:07 ID:y2CYzMG6.net] >>246 帯域制限かけるくらいなら、むしろ２ちゃんねる人口を減らす方がまし、という 感じでしょうか。 251 名前：anony ◆3XTuRnAc [01/08/30 19:27 ID:E5ciTOEw.net] てことで、どうやらPerlerさんのmirror.plも動いているようですから、次のフェイズに移行しませんか？ 私が感じてる課題としては、大きいものから小さいものも含めて ・mirrorサーバーからシームレス投稿できたほうがいいと思う。 　「mirror側では投稿フォームを出さず、代りに「投稿する」リンクをread.cgiが作成し、 　そのリンク先は2ch本体のスレッドを別ウィンドウで開いて表示、そのWindowsから投稿させる」 　というアイディアはだされたけれど、やはりシームレスにいけるに越したことはないとは思うんですね。 　となると、「mirrorサーバーに投稿して、mirrorサーバーが即座に本体にpostする」しくみ、ってのが 　必要になると思います。そうなると、やはり投稿のレスポンスなども考えると 　　ミラーが投稿を受け付け→ミラーが本体に投稿→ 　　すぐに本体からデータをmirroring(ほかのミラーからも投稿されているかもしれないのでそれをマージ) 　　ミラーの内部のcacheから生成したindex2.htmlを表示 　みたいな方法になると思うのですが、mirrorのときのレスポンスが悪いですし、問題のトラフィックも 　結構ありそうで、解決方法がうまく見つかりません。この線はもうなしで、既出の解決策の方法になるのでしょうか。 ・mirror.plなどのディレクトリ構成 　細かいことかもしれませんが、やはり、この手のツールを有志で運用する、しかも「キャッシュとして使ってもらう」 　ということも考えると、ディレクトリ構成を2ch本体に準ずる必要があると思います。 　つまり、 　　　・必要なtarballを、Apacheの$documentrootで展開して動かせば2chと同様のディレクトリ構成となる 　という構成になってることが実は運用というか稼動では結構重要ではないでしょうか。 このあたり、ご意見聞かせていただければ幸いです。 252 名前：名無し娘。 ◆vP.bOZFQ mailto:sage [01/08/30 20:00 ID:KS31DBTQ.net] >>251 ｶﾞｲｼｭﾂで申し訳ないですが。。。 前半について、ミラーが投稿を受け付けるのは、2ch.netの匿名性、 ミラーサーバーの管理者への信頼等がありますので、難ありかと。 action先を xxx.2ch.net/test/bbs.cgi にして、2ch.net 側で登録した 鯖からのPOSTを受け付ける、というのでどうでしょう。 いちおう、投稿者の行動がミラー管理者に見えにくくなると思うのですが。 253 名前：音楽侍 ◆NtVkSITE [01/08/30 20:06 ID:7UF/vWVo.net] みなさんおつかれさまです〜 >>252 それを言い出すと、read.cgiでもそうなんですけどね。 254 名前：名無し娘。 ◆vP.bOZFQ mailto:sage [01/08/30 20:15 ID:KS31DBTQ.net] >>253 そうですね。ただ、利用者の心理的な部分では、読んでるのと書いてるのでは 差が大きいと思います。 書いている場合は、コテハンがわかったり、発言内容とIPが対応したりと、 嫌な感じなことが多いですから。 でも、bbspinkを読んでいる、ってのを知られるのは(ﾟдﾟ)ﾏｽﾞｰかもしれません(笑 255 名前：音楽侍 ◆NtVkSITE [01/08/30 20:19 ID:7UF/vWVo.net] >>254 pinkですか(笑)なるほど。 気をつけないと、いっぺんip-recordableなcgiかませてから Locationでとばす不心得者が出る可能性もありますしね(笑) ６〜10行程度のperlで記述可能だし。 256 名前：anony ◆3XTuRnAc [01/08/30 20:27 ID:E5ciTOEw.net] ＞娘。さん ありゃ、やはりがいしゅつでしたか。失礼しました。 とりあえず、ミラーサーバーでの中間キャッシュにIPさえ残さなければ2chに残るのはミラーの IPだけってことになるから、何とかなるかなーなどと思ってたんですが、よく考えたらミラー側の apacheのLogにも残ってしまうんですよね。そのpost用のツールも管理者が改変しないとも限らないと。 やはり「投稿のときにだけは本体にアクセスしてもらう」か、「登録したサーバーからは直接bbs.cgiを呼べるようにする」 しかないのかな。前者だと「面倒だから最初から本体にいこう」とかなっちゃいそうな気もしますが・・・。 257 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/08/30 20:53 ID:stSp5H8A.net] >>256 2ch.net本体も同じUIにすればいい。 すなわち、read.cgiでは通常投稿フォームは置かないで、 [投稿フォーム]ボタンで別Windowでの投稿というように シーケンスを統一する。 連続投稿荒らしをある程度抑止できるかもしれないという 期待もある。 258 名前：てんてんdwp@ yankee.tokyo-nazo.net [01/08/30 21:12 ID:xz66aZYk.net] ちょっとやり方として可能かどうかはわからないけれど、貼りつけ合成って できるんでしょうか。 つまり、2chからは&st=1&to=1指定でベースと書きこみフィールドだけ取ってきて、 その中間にキャッシュのデータを挟み込んでやるんです。 これができるなら、1だけは取らなければなりませんが、他は取らなくてもいいです よね。 259 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/08/30 21:17 ID:stSp5H8A.net] >>258 IFRAMEを使用すれば可能。ただしUA依存が激しいのでおすすめしかねる。 ついでに、read.cgiに対して&ls=0で0レス取得は提案済み。 260 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/08/30 21:21 ID:kBS5NSxo.net] いきなりすいませんがプロ技板は閉鎖しちゃったんでしょうか。 read.cgiハックスレを毎日帰宅してから追いかけてたんですが。。ROMですが　(^^ 残念〜 261 名前：音楽侍 ◆NtVkSITE [01/08/30 21:23 ID:7UF/vWVo.net] >>260 かちゅう〜しゃ使ってない？ ブラウザから行くと新しいリンク先わかるよ〜 262 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/08/30 21:34 ID:kBS5NSxo.net] >>260 ありがとッス、piza2に引っ越してたんですね 板一覧はローカルだったのをすっかり忘れていました　　＾＾ 今mirror.plを導入すべくcygwinを設定してます　(ｳｨﾝﾅなんで。) linuxは何故かNETに晒すのが怖い。。。。んー厨房だ 感謝です 263 名前：てんてんdwp@ yankee.tokyo-nazo.net [01/08/30 22:09 ID:xz66aZYk.net] >>259 すまん、私はにちゃんねらーじゃないので、2chをよく知らないんだ。礼儀違 反だったかな？またなんかあったら教えてくださいな。 結論としては>>252のようにbbs.cgiを変えてmirrorサーバからのリクエスト を受けてもらうのが一番データ転送量が少ないし、その他の問題も少なくて済 みそう、ということでいいのかな。 あとmirror.plだけど、プロセスとして定期的に起動するようなスクリプトも 組みこみが必要ですね。>>158の5のやり方だとログインしっぱなしになるんで。 264 名前：名無しさん＠お腹いっぱい。 mailto:sage [01/08/30 22:14 ID:7fOtYCeU.net] >263 単に起動するだけだと前のプロセスとファイルを取り合う可能性があるので、 queue に突っ込んで、 前のプロセスの処理が終わってなかったら待つなり諦めるなりの それなりのスケジューリングをしないと。 265 名前：　 [01/08/30 22:15 ID:7ajzWl22.net] そろそろ出来た？ 266 名前：名無しさん＠お腹いっぱい。 [01/08/30 22:27 ID:tJ.u7wQ2.net] しかし大丈夫なのかなぁ？ ミラーのやりあいで、フレーム起こって かえって転送量増える事ないのかなぁ？ 267 名前：Perler ◆GSi39OA6 mailto:sage [01/08/30 22:46 ID:8hpmXoeM.net] ではとりあえず、mirror.plに関して、 ・コマンドライン引数による、サーバー/板の指定 ・多重起動抑制 ・デーモン化のコマンドラインスイッチ設置 ・ログのgzip化 の変更を開始します。 268 名前：名無し娘。 ◆vP.bOZFQ mailto:sage [01/08/30 23:17 ID:KS31DBTQ.net] 後ろ向きな考えでアレですが、ミラーサーバーでの改変や同一性検証を どのように行うか、展望はありますか？ データを暗号化して公開鍵でread.cgiが複合するとか、 ミラーサーバー間&2ch.netが何かのついでにちょくちょくとCRCなりMD5なりを チェックするとか。。。でしょうか。 269 名前：Perler ◆GSi39OA6 [01/08/30 23:29 ID:8hpmXoeM.net] >>268 そこまでコストかけても、ミラーサーバー側のスクリプトいじられたらアウトなんですよね。。。 公開鍵で復号はいい案だと思うんですが、Rangeでのログの取得が出来なくなりますし。 どうしましょうか。。。? 270 名前：Perler ◆GSi39OA6 [01/08/30 23:55 ID:8hpmXoeM.net] >>46 と私も思ったんですが。。。 現状のApache(1.3.x以降)だと、nph-する、しないに関わらずhttpd側でのバッファリングは一切やらない (クライアントにリダイレクトしちゃう)みたいなので、昔のApacheで言われていたバッファリングによる オーバーヘッドの回避はないらしいです。 ヘッダのパースで生じるオーバーヘッドもほとんどないような気がします。 271 名前：Perler ◆GSi39OA6 mailto:sage [01/08/30 23:56 ID:8hpmXoeM.net] >>270 すみません、誤爆です。。。 272 名前：名無し娘。 ◆vP.bOZFQ mailto:sage [01/08/30 23:57 ID:KS31DBTQ.net] >>269 どの程度負荷がかかってしまうかとかわからないので、様々な方々の意見を お待ちしたいです＞公開鍵 CRC とかチェックサムっぽいのならば、サーバーＡが dat 更新のリクエストを 出して、サーバーＢが応答して dat(差分) を送信した後に、Ａに更新後の CRC を 算出させ、Ｂのそれと一致しない場合にはアラートをだす、とか。 これを、複数のサーバー間で dat 更新のたびにやらせれば、１つのミラーサーバー 管理者が悪意をもってもだいじょうぶだと思います。 # ミラーサーバー内でさらにDISK内容をミラーさせて、read.cgiに見せるdatと # mirror.plに見せるdatを変えられたら、ダメですが(笑 改変されないことはひとまずおき、改変されたら周りの鯖が気付くことで必要十分ですね。 273 名前：名無しさん [01/08/31 00:01 ID:K0661yX..net] 既出でしょうが read.cgiを国内キャッシュ鯖において、ＲＯＭはそこで処理 big鯖にはbbs.cgiをおいて書き込み処理＆キャッシュ情報 更新をやらせるという形は？ 少なくともhe.netに入る前にF5攻撃とROMは阻止できる。 キャッシュ鯖はbbs.cgiから送られるdatを表示するだけだから ミラー鯖のような同一性検証も必要ない。 274 名前：名無しさん mailto:sage [01/08/31 00:03 ID:x2Bz1IF..net] このスレで開発してるのは、P2Pではくて、書込バケツリレー頂点サーバーからねずみ算式に mirrorが読んでいくシステムではないかと．．． 275 名前：名無しさん [01/08/31 00:08 ID:K0661yX..net] >>274 273だが折れがいいたかったのはまさにそーゆーシステムなのだが・・・ 276 名前：名無し娘。 ◆vP.bOZFQ [01/08/31 00:11 ID:.hIWo2j..net] >>273 キャッシュ鯖での改変は。。。 >>274 スレ立てるときの間違えです。申し訳ありません。 277 名前：２７４ mailto:sage [01/08/31 00:20 ID:uajIN0xc.net] >275 スマソ、もっと上に向かって書いたつもりだったよ、失敬。 >276 datディレクトリの更新チェック毎コピーだから問題ないのでは？ 上位鯖から更新毎に通知してくれればロスは無いと思われ 278 名前：名無し娘。 ◆vP.bOZFQ mailto:sage [01/08/31 00:37 ID:.hIWo2j..net] >>277 全コピーですか？ それだと、datの差分転送ができなくなりますが。 差分だとすると、更新されない部分を鯖管理者が悪意で改変する場合が問題になります。 279 名前：名無しさん [01/08/31 00:40 ID:K0661yX..net] それでも無用ＲＯＭとＦ５攻撃の遮断だけでも 効果はあると思う どうせ存続ならこの後も転送料増えるからキャッシュ鯖分業化と 差分転送と両方やれば？ 280 名前：名無し娘。 ◆vP.bOZFQ mailto:sage [01/08/31 00:43 ID:.hIWo2j..net] >キャッシュ鯖分業化と差分転送 その、本質的な違いがわからないのですが。。。 281 名前：腐卵 ◆r4/JZF2o mailto:sage [01/08/31 00:43 ID:XN8TPsgk.net] >>278 悪意の改変は、不特定多数をキャッシュ管理にいれた時点でどうしようもない。 mirror.pl でも悪意による改変は可能では？ 転送量を減らすのを大前提とするなら、その点はあきらめざるを得ない部分だと思う。 282 名前：273 [01/08/31 00:44 ID:K0661yX..net] あっと・・・ どっちかっていうと上位鯖のbbs.cgiに書き込みがあった時に キャッシュ鯖に更新されたdatを配信するという考えだったのだが。 cache鯖はread.cgiの対応だけで自分での更新は考えていなかった。 たとえば一定時間更新のないdatは定期更新確認してもいいと思うが。 283 名前：anony ◆3XTuRnAc [01/08/31 00:45 ID:Lkdpz9pY.net] >>268-272 そんなに深刻になる必要は実はないんじゃないでしょうか。 というのは、要するに「改変されたかどうかをリアルタイム(またはそれに近い タイミング)で検出する」必要はないのじゃないかと。 つまり、必要なのは、 「任意のスレッドの任意の記事に対し、mirrorサーバー上で改変されているか 　いないかを確認する方法」 だと思います。記事のやり取りの最中にMD5とか暗号とか考えなくてもいいかと。 というか、そもそも、「オリジナルは2chのサーバー」に必ず存在するわけですから、 「疑惑のスレッドに改変が行われていないかどうか」をユーザーはチェックできるわけです。 たとえば「Mirrorサーバー管理者側にとって都合の悪い記事が勝手にあぼーんされた」 というときでも、Masterである2chサーバーには生き残っているわけです。 たとえば以下の仕様を持つ「勝手あぼーんチェッカ」を用意すれば比較的容易に 誰でも確かめられるんじゃないでしょうか。 １．GUI画面プログラムとする。 ２．「2ch側のdatデータのURL」「ミラー側のdatデータのURL」を設定する ３．「チェック」を実行すると、以下のように動く 　　３．１　2chサーバーから「マスターdat」をダウンロード 　　３．２　ミラーサーバから「疑惑のdat」をダウンロード 　　３．３　行毎に比較を行い、改変や追加削除があるかどうかをチェックする 　　３．４　左右分割画面にて、改変追加削除があった場所の表示やその個所の 　　　　　　dat行のレンダリングを行う。 まあ、これを大量にやられたらものすごいトラフィックになるとは思いますし、 2ch側はともかくミラー側にとっては「DoSアタック」に相当するぐらいの 負荷がかかりかねませんが・・・。 284 名前：腐卵 ◆r4/JZF2o [01/08/31 00:49 ID:XN8TPsgk.net] >>283 両方を wget なりで落としてきて、diff（藁 285 名前：音楽侍 ◆NtVkSITE [01/08/31 00:54 ID:NnB1zrp2.net] ただでさえ２ｃｈのミラーするのは勇気がいるのに、その上ミラー内容をいじるなんて考えにくいけど(笑) サーバは、クラッキングでもされない限り、責任者の所在が露出するから。 でもまあ、最悪のシナリオを考えるのは、絶対必要ですよね。 286 名前：初期不良 mailto:sage [01/08/31 00:57 ID:St7MFrmY.net] くさちゅー変換キャッシュサーバとか出てきそう 改変できることをプラスにとってみたら？ 287 名前：anony ◆3XTuRnAc [01/08/31 00:58 ID:Lkdpz9pY.net] >>284 まあ、早い話がそれを「ナウい(藁)GUIで」「自動的に」やってくれて、 しかも結果を「ｳﾏｰ」に表示してくれるツールってことですな(^^;;。 288 名前：名無しさん＠お腹いっぱい。 [01/08/31 01:24 ID:K0661yX..net] >>280 キャッシュ鯖分業化 279がいいたいのはread.cgiを国内のサーバーにおいて 読むだけのリクエストはそこで対処する。 書き込みがあった時だけbig鯖に処理を任せると言うこと。 これでＲＯＭの分だけbig鯖への転送量が下がる。 差分転送 普通ファイルというものは１個丸ごと転送するものだが、何らかの方法で （詳しくは知らないので勘弁してくれ） 更新されて追加された分（つまりあとから書き込まれた分）だけを転送するということ。 上記のキャッシュ鯖分業ではbbs.cgiに書き込みがあった時 キャッシュ鯖に更新されたdatを転送する時に、差分転送を行えば big鯖からキャッシュ鯖へ転送する情報量が 書き込みによって追加されたレスの分だけ転送すればよくなるので 特に多くのレスがついているdatのときはそれだけ転送量を削減できる。 289 名前：98er ◆8OGY65D6 [01/08/31 01:31 ID:kGkxktsU.net] >>298 で、mirror で今一番問題なのは レスあぼーん だと思った。 差分転送なら楽だけど、削除したら減るか同一byte。 まぁ、１スレ全部転送すれば済むのかな。 290 名前：98er ◆8OGY65D6 mailto:sage [01/08/31 01:32 ID:kGkxktsU.net] >>289 のはレス先誤爆。正しくは >>288 291 名前：腐卵 ◆r4/JZF2o [01/08/31 01:34 ID:XN8TPsgk.net] >>289 piza2.2ch.net/test/read.cgi?bbs=tech&key=998997848&st=450&to=450&nofirst=true このあたりとか。 292 名前：音楽侍 ◆NtVkSITE [01/08/31 01:37 ID:NnB1zrp2.net] いまのミラー化って、dat落ちが発生したらどう管理するんですか？ 個人的にはかちゅ〜しゃ使っているので、datで残るのはうれしいんですけどね。 293 名前：名無しさん＠お腹いっぱい。 [01/08/31 01:52 ID:K0661yX..net] >>290 まさしくその通り。単純増加なら簡単だがあぼーんという問題がある。 どこかのスレにあったが、datのフォーマットに あぼーんを意味するコードを作って置いて、 そのコードを受信したら対象のレスをキャッシュ側で消す、という こともできるんじゃないかな？ 294 名前：名無しさん＠お腹いっぱい。 [01/08/31 01:53 ID:XsEuxm5g.net] すいません。 キャッシュ用read.cgiのパール版を１７さんのread.cgiをいじって作ったのですが、 ファイルの置き場所ってあります？ １）SERVER.TXTを置くことで、いろんな板のミラー化に対応可能 ２）書込みフォームを削除して、書込みする場合は、本家のread.cgiを呼び出す。 　　（その場合nofirst=trueでレス1つだけ） ３）ミラーに対応する.datファイルがなければ、本家にread.cgiもしくは過去倉庫どちらかに 　　移動できるようにリンクがでる。 ってようなやつですが。 295 名前：腐卵 ◆r4/JZF2o [01/08/31 01:54 ID:XN8TPsgk.net] >>292 mirror.pl をざっと読んでみた限りでは、ファイル削除 or 移動って部分はなさげ。 ４０４とか換えされたら、そのままエラーにしてるっぽい。 296 名前：aki [01/08/31 02:03 ID:YI9wG.Qg.net] >>294 ftp://210.170.170.118/incoming/ とか。 cvsとsshが使えるならCVSレポジトリも上がってます。 ftp鯖内のファイルに使い方は書いてあります。 297 名前：名無し娘。 ◆vP.bOZFQ mailto:sage [01/08/31 02:11 ID:.hIWo2j..net] >>281 >>283 改変可能でも、どこまで検出しようとするかの問題かと。 信頼性は大事だと思うんです。もちろん、それでもっと大事なものを 犠牲にしちゃあいけませんが。 >>284 >>287 それやるならCRCなりを算出させれば。4桁でも十分。 ミラーリングする場合でも、networkへの負荷はできるだけ下げなければ。 >>288 激しく同意ですが、それはすでにこのスレで激しくｶﾞｲｼｭﾂ。。。 >>289 >>293 read.cgi で実装された raw_out と同じ方式で、結論として全部転送になるかと。 >>295 そうすると、スレあぼーんは・・・。kako送りも。 298 名前：Perler ◆GSi39OA6 [01/08/31 02:11 ID:KVFMabyg.net] ftp://210.170.170.118/incoming/perler/mirror/mirror.pl.3 アップロードしました。 そうですね、あぼーん対策をすっかり忘れていました。。。 今回更新したのは以下。 ・オプションに対応、細かい指定が可能に ・シグナル受信時にファイルハンドルを閉じるようにした ・デーモン化するオプションを追加 ・沈黙モード追加 ・無限ループモード追加。ループ間隔指定可能に コマンドラインオプションが大量に追加されました。 -dを付けるとデーモン化します。 mirror.pl piza2.2ch.net/tech とすると、piza2.2ch.netの、tech板を読みに行きます。 mirror.pl piza2.2ch.net:8080/tech とすれば、80番ポート以外も大丈夫。 その他のオプションは以下。 usage: mirror.pl [-dvhfq] [-s server] [-p port] [-b BBS] [-l dir] [i interval] [ server[:port][/bbs]] mirror.pl connects [server] on port [port], and retrieve message-data named [bbs]. Options... -d Run as a daemon. -v,-h Show this massage. -s Set server name. -p Set port number. -b Set BBS name. -l Set log directory. -f Forever loop. -i Set interval(defailt: 60) -q Quiet mode 299 名前：名無しさん＠お腹いっぱい。 [01/08/31 02:14 ID:XsEuxm5g.net] >>296 WINな人なんで、cvs使えません。 mirror_read_cgi_per.tar.gz で置きました。 中にdocファイルも一緒に入れてあります。 300 名前：踊る大捜査線 [01/08/31 02:15 ID:cWiTsGz2.net] >>299 wincvs 入れとけ

---

---

[ 続きを読む ] / [ 携帯版 ]

read.cgi ver5.27 [feat.BBS2 +1.6] / e.0.2 (02/09/03) / eucaly.net products.
担当:undef