datファイルを共有するP2Pソフト o2on 15dat

datファイルを共有するP2Pソフト o2on 15dat at TECH

[1からを表示]
50:初音の人
08/06/09 03:22:36
あ、取得済みのdatに関しても閲覧に関してはV2Cからの読み込みはできないようです。
なのでWindows同様にとはいきませんね。

Javaでのマルチプラットフォームを実現しているV2C(Windowsと同様の動作をしてくれるかなと)が
無理なので、他の専ブラも希望は薄そうです。
こちらも余裕があれば動作の検証をしてみます。

51:デフォルトの名無しさん
08/06/09 08:34:46
bbs2chreaderの開発が終了しました。。。

52:デフォルトの名無しさん
08/06/09 09:47:27
>>48
自分の場合はIEの右クリックメニューに"リンクを2chブラウザで開く"メニューをつけてあるので、リンクを片っ端から2chブラウザに送ってしまえば過去ログになってるものは全て登録されます

53:デフォルトの名無しさん
08/06/09 14:06:40
>>48
バーボン食らわない？
後開くのがとても重いし

54:53
08/06/09 14:07:23
アンカーミス
>>52です

55:デフォルトの名無しさん
08/06/09 18:20:27
バーボンって連投規制とかじゃないっけ？
読み込みは大丈夫だろう。

56:デフォルトの名無しさん
08/06/09 18:22:46
過剰リロードでもバーボンに引っかかる
同一サーバーでスレを読むときは10秒ほど間隔をあける必要がある

57:デフォルトの名無しさん
08/06/09 18:55:59
それは知らなかった。
どれくらい開くとなるんだろうか。
同一板のスレを10個くらい開いてJaneで全てのタブの新着チェックしても問題ないしな。
ちなみに>>2のスレを選択→選択範囲のURLを全て開くも問題無し(14個)
ブラウザからってのが問題？

58:デフォルトの名無しさん
08/06/09 19:04:23
Greasemonkey使ってo2onの検索に直接放り込むスクリプト使ってるけど、
時折o2on側からの返答がなくなって止まったりする。
あと生きてるスレッドも検索登録されることになったりとか。

59:デフォルトの名無しさん
08/06/09 19:05:41
まあ詳しくはこれを
URLﾘﾝｸ(info.2ch.net)

60:デフォルトの名無しさん
08/06/09 20:00:36
>>47
> o2onはDB再構築の前に delete from dat や truncate table dat を実行していません。
> なので、キーとなるhashが一致しない限り、異常なレコードが生成されたときに消える機会が無くなります。

この問題は構築後にanalizeによって解決しないのですか？

61:デフォルトの名無しさん
08/06/09 20:41:42
analyzeってのは統計情報を更新するコマンド。
異常なレコードが登録されてるならば、truncateなりdeleteなりして、レコードを削除しない限り
勝手に消える事は無い。

62:デフォルトの名無しさん
08/06/09 22:15:05
>>61
ありがとう
でreindexってのはなに？analyzeとはまた違うんだよね
いまいちこの違いがわからない…。
どちらもデータベースを整理整頓して読み込みや書き出汁の効率を上げるためと
理解して気が向いたときに実行してるんだけど

63:おさ ◆OSApxZfJs2
08/06/09 22:25:19
>>62
reindexは、インデックスを再作成します。
analyzeは、テーブル内のレコード分布を調べて、検索クエリーが実行されたときの
インデックスの使われ方を決めます。

64:デフォルトの名無しさん
08/06/09 23:41:16
ほんとに0044b安定してるな

65:デフォルトの名無しさん
08/06/09 23:42:15
>>58
どこにある？

66:デフォルトの名無しさん
08/06/10 00:09:42
>>61
>>63
重ねてありがとう
どんな機能なのか分からないまま使っていくのが、なーんとなく気持ち悪かったもんで聞いてみました

67:デフォルトの名無しさん
08/06/10 01:16:21
今さっきログ見たらこんなになってた
今も継続中

URLﾘﾝｸ(www.dotup.org)

68:デフォルトの名無しさん
08/06/10 01:24:54
で、なんか狂ったと思ってo2on終了させたら
Proxyを終了してますで止まった
Ver 0044b

69:デフォルトの名無しさん
08/06/10 06:37:19
>>65
自分で作った。公開してない。

70:デフォルトの名無しさん
08/06/10 11:03:08
むしゃくしゃしてやった。
のかと思ったよ。

71:デフォルトの名無しさん
08/06/10 16:14:02
過去ログ取れねーと喚いてた者ですが
URLの"kako/"を削ったら落ちてきますた。
お騒がせしてすんまそん

72:デフォルトの名無しさん
08/06/11 07:24:30
>>69
ほしいです。。。。。。。。。。

73:デフォルトの名無しさん
08/06/11 11:26:38
>>69
うｐ

74:デフォルトの名無しさん
08/06/11 12:36:21
>>73
ﾄﾞﾋﾟｭｯ

75:69
08/06/11 18:25:40
>>72-73
完全に自分用で不親切仕様だし、バグ他問題あるかも知れないけど出しときます。
URLﾘﾝｸ(o2on.sourceforge.jp)
Fx + Greasemonkeyでしか試してません。それ以外の環境はまず考えてません。OperaとかuserChrome.jsのローダーとか。

操作はすべて猿アイコンのメニューから。
インストール後、リロードか新しいページを開くと「o2on setting...」というメニューがあるので、そこでo2on管理画面のURLを入れて下さい。
再度リロードすると「Add」というメニューがあるので、それをクリックするとページ内のスレッド風のURLを問答無用で検索登録します。

問題点
・完全なdatを持っている場合でも検索登録
・まだスレッドが落ちていない場合でも検索登録
・フレームページに対応してない
・追加するスレッドのURLが多いと登録終了まで時間がかかる

公式のうｐろだ使わせてもらいました。

76:デフォルトの名無しさん
08/06/11 19:16:56
>>75
本当にありがとうございます。
ありがたく使わせていただきます。

77:デフォルトの名無しさん
08/06/11 20:13:05
>>75
　　　　　　　　　　　　 ( ⌒)　　　　 ∩_ _　グッジョブ!!
　　　　　　　　　　　　 /,. ノ　　　　　 i　.,,E）
　　　　　　　　　　　　　　/　/"　　　　　　/　/"
　　_n　グッジョブ!! 　 /　/ _、_　　 ,／ノ'
　（　l　　　_、 _　　/　/　,_ノ` ）／／　_、_　　　　グッジョブ!!
　＼＼　（ <_,`　）（　　　　　　　／（　,_ノ` ）　　　　 n
　　　ヽ___￣￣　ノ　ヽ　　　　　 |　￣　　　＼　　（ E）

78:デフォルトの名無しさん
08/06/12 01:58:15
kako2chspiderを長時間(40時間くらい?)動かしてると、
途中から取得datの容量が0バイトになっちゃうんですけど…

79:デフォルトの名無しさん
08/06/12 04:42:25
>>78
それだけ動かしてると、どんなもんのdat数を取得できるの？

80:e ◆CuSO4..R5I
08/06/12 12:03:09
DB 再構築周辺のメモ。

O2DatDB::update() が dat の数だけ O2DatDB::select(O2DatRec &out, hashT hash)
を呼び出すのだが、これは無駄極まりなくて、
特に呼び出した分だけ sqlite3_prepare16_v2() するのが激しく無駄。
sqlite3_stmt は一回用意したら使いまわそう。場合によっては SQLITE_BUSY を返すし。
O2DatDB::update() 内で select するコードをべったり書くか、
それか sqlite3_stmt* を受け取って、それを使う関数を作るかだな。

datname のインデックスはとりあえず残す。

81:デフォルトの名無しさん
08/06/12 14:41:16
>>78
連続で取りすぎでバーボンくらってるとか？
こちらは生きてるスレを取得してるけど、１秒１スレにしておかないとバーボンに引っかかってしまう。

82:デフォルトの名無しさん
08/06/12 14:57:32
ｵﾚ使うだけの人なんだけど、Ver 0044bって
dat落ちurlをｸﾘｯｸした時に「検索に追加しました」ってﾊﾞﾙｰﾝ表示しないの？
管理画面・ｽﾚｯﾄﾞ検索を開くと追加されてるからまぁ良いんだけど、o2onｵﾌﾟｼｮﾝの
ﾊﾞﾙｰﾝ通知で「検索登録時」にﾁｪｯｸしててもﾊﾞﾙｰﾝ表示してくれないです。

「P2P起動・停止」、「補完時」はﾊﾞﾙｰﾝ出るです。
「ﾒｯｾｰｼﾞ受信時」は、受信したこと無いから知らんです。

83:78
08/06/12 14:57:56
>>79
取得間隔が長いので、まだ４０００ちょいですわ。
ログ集める板も限られてるし

>>81
１秒でも大丈夫なんですか？
今まで●焼きが怖くて２０秒間隔に設定してました…

84:デフォルトの名無しさん
08/06/12 15:12:51
>>83
間隔を短くするつもりなら、やめとけ

613: 704 [sage] : 2008/03/28(金) 20:37:14
>>612
●はHTTPヘッダで判定できるのでその方がいいかも

ところで、o2on側で●ログインしてdatを持ってきて他ノードに配るって言うのを
自動化した場合規約違反になるんでしょうかね?
あるいはアクセス過多で焼かれることってあるんでしょうか

614: デフォルトの名無しさん [sage] : 2008/03/28(金) 20:55:08
FOXに聞いてみたら？

615: デフォルトの名無しさん [sage] : 2008/03/28(金) 20:57:58
やり過ぎるとバーボン行きにはなりそうだな
30秒感覚くらいなら大丈夫じゃね

616: デフォルトの名無しさん [sage] : 2008/03/28(金) 21:00:00
おれは2秒おきに取りにいってるけど、大丈夫。
間髪入れずにいくと流石にバーボンだな

617: デフォルトの名無しさん [sage] : 2008/03/28(金) 21:04:29
>>613
自動化はアウトじゃね
あと他人に配らなくても過剰にアクセスした段階で焼かれる
大体30秒に一回取得のスクリプトを一日回したら焼かれた

85:デフォルトの名無しさん
08/06/12 15:45:16
>>80
ここのselectってinsertするかupdateするか判定してるだけですよね？
とりあえずupdateしてみて更新件数が0件ならばinsertってロジックにしたらいいだけでは無いでしょうか。
SQLiteでも更新件数って取得出来ますよね？

86:78
08/06/12 17:31:13
>>84
どうもです。
もっと延ばさなきゃ駄目なのか…

87:e ◆CuSO4..R5I
08/06/12 17:47:13
>>85
ですよね。先に INSERT するって方法もありますね。
そこで、よくソースを読んだらひどすぎるバグを発見したよ。
bind(db, stmt_update, 6, it->hash) してないので、結局何も更新されないの。
癒された。

88:デフォルトの名無しさん
08/06/12 18:17:34
<チラシの裏>
なにやら2chの鯖一台が逝ったようですね
万が一というかなんというか、dat飛んでたら今こそ溜め込んだdatたちを生かせそうかも
っと、チラシの裏失礼

2ch サーバーダウン（鯖落ち）情報　part203
ｽﾚﾘﾝｸ(operate板:41番)
</チラシの裏>

89:k-u ◆k.u4xwkrx.
08/06/12 18:21:11
データベース周りはもっといじった方がいいみたいですね。
ネットワーク関係は安定してるんですけどね。

引き続きバグフィックスはBRANCH_0043でよろしいでしょうか
バージョンごとに分けていった方がいいですか?
分けすぎても面倒かなと思いますが

trunkは放置になっていますがバグフィックスをマージして
プラットフォーム依存のコードを減らす作業でもできたらなあと思っています。(妄想)

90:デフォルトの名無しさん
08/06/12 20:08:27
>>85、>>87
selectせずにinsert or replaceだけで充分な希ガス。

update or replaceを使って意味があるのは
UNIQUE項目（datテーブルの場合はhash）をupdateする場合だけでしょ？

“or replace”なんていう非標準SQLを使いたくないって理由なら
プログラム側で分岐するしかないけど。

91:e ◆CuSO4..R5I
08/06/12 20:12:14
>>89
> 引き続きバグフィックスはBRANCH_0043でよろしいでしょうか
> バージョンごとに分けていった方がいいですか?
> 分けすぎても面倒かなと思いますが

BRANCH_0043 のままでいいと思います。

92:デフォルトの名無しさん
08/06/13 01:04:12
隠れていたo2onのブレーンたちがこんなにいたのか。
実は静かにソースを眺めていたのね
o2onはまだまだ進化しそう。。。心強いなあ

93:e ◆CuSO4..R5I
08/06/13 15:20:37
>>90
一からまるごと再構築という観点ではそんな気もするんですが、
現在は既存の DB をベースに最新の状態に更新する形での再構築という仕様で、
UPDATE すべき場合は lastpublish というカラムはそのままにしておきたいという
仕様がある感じなので、INSERT OR REPLACE だけで済ますのは微妙。
あくまでも現状の仕様を維持するのであればの話ですが。

逆に、今が絶好のチャンスなのでその辺の仕様を覆すような案も歓迎。
いろいろな話がちょっと前にも出ているわけですし。
他にも DB 周辺の指摘やアドバイス歓迎。
むしろいい具合に書き直してくれる人歓迎。

94:78
08/06/13 18:08:09
取得間隔を２秒にしてやり直したら、
１０００番代以降の最古スレまで完走したものの、
歯抜けが続出…

間隔延ばしても
一定時間クロールし続けると
弾かれる様だし…

どうすればいいんだ('A`)

95:k-u ◆k.u4xwkrx.
08/06/13 20:55:15
(自分の中での)データベース関係検討事項
詳しい人の突っ込みが欲しいです

･テーブル構造
datテーブル一つの方がパフォーマンス的にはよろしいのでしょうか?
（現状リレーショナルになってません。エクセル表みたいな感じ)
datnameは文字列じゃなくてスレ立てtimeを数値型で持った方が速いのでは→ただし汎用性低下

・再構築プロセス
なんかスレッド生成しまくってるのが気に入らない
I/Oとりあってそう

・update
どこが重いのかちゃんと調べる
ただしいSQLの使い方を調べる
軽量化･簡素化
>>87のような間違いが起こるのもなんか関数が長すぎる希ガス→コード整理

・DBロックエラーの処理
>>28
ロック時間は数百ms程度に抑えた方がいいのではないだろうか　根拠無い数字だけど

96:デフォルトの名無しさん
08/06/13 22:01:23
>>93
o2onを手掛けた原作者の設計構想はともかく
実際にソースを見た人は、1からのDB再構築と
既存のDBを活用しての再構築では
どちらにメリットがあると考えますか？

今のo2onに限って言えば、同じDBが生成されるのなら
どちらの方法であれ、再構築に掛かる時間の短い方が
ユーザ側にはメリットがありますが

将来的な機能の拡張を考慮すると、また別の話になるんでしょうね
>逆に、今が絶好のチャンスなのでその辺の仕様を覆すような案も歓迎。
確かにいいチャンスなんでしょう・・・
# コードが読めない、書けない人間には歯がゆいところです

こんな機能はコードを大きく書き換えることなく追加できたりするものなんでしょうか。
・P2Pを実行しながらDBの再構築ができたりとか
・何某かのフラグを格納するフィールドを後から追加したりとか

>>95 氏の
> ･DBロックエラーの処理
> ･テーブル構造
にも絡んでくる話ですね。

97:デフォルトの名無しさん
08/06/13 22:40:51
Linuxでも完全に動くように期待してるよ♪

dat保有量がエロ動画の量を超えててなんか悲しくなった…

98:デフォルトの名無しさん
08/06/13 23:56:30
>>95
C++は読めないんですが、読めないなりにO2DatDB.cppを眺めてみた感じでは
以下の２文が遅いように思えます。

・where句なしのorder by random()
・select sum(disksize) from dat;

前者はたぶん全件ソートがかかると思われます。
（limitがかかっているとしても、それ以前に全件ソートがかかると思われます。）
というか、そもそもDBMSはランダム処理が得意ではないので
どっちにしろプログラム側で処理すべきです。

後者に関しては、このSQLを発行するならdisksizeにindexがあるべきです。
ただ、そんなに頻繁に使用するSQLではない（管理画面→状態と、
他ノードからのプロフィール参照でしか使わない？）と思うので
あまり気にしなくても良いかもしれません。

それ以外はSQL単品で遅いものはないように見えるので、
呼び出す回数を減らすことを考えたほうが良いと思います。

ちなみに、テーブル構造をいじる必要は感じません。
正規化の観点では若干違反していますが
パフォーマンス上は現状のほうが有利と思います。

99:デフォルトの名無しさん
08/06/14 02:40:55
>>95
ロックを回避するにはトランザクションを短くするしか無い気がします。
現状キューにたまった場合1000件ずつ処理されてるのを設定で可変にするとか。
件数減らせば更新のパフォーマンスは落ちますが、ロックが起きて更新されないよりはマシって事で。

>>98
全件sumるんだからindex関係無くないですか？
where句で何か条件が指定されてるんならわかるんですが。

100:98
08/06/14 11:15:35
>>99
テーブル全体を舐めるかインデックス全体を舐めるだけかの違いで
I/O量が変わります。
とはいえ、テーブル全体でもせいぜい数百MBだと思うので
あまり変わらないかもしれません。

101:デフォルトの名無しさん
08/06/14 15:52:42
いまwikiから最新版をDLしようとしたら404なんだけどどういうこと？

102:デフォルトの名無しさん
08/06/14 19:46:17
URLﾘﾝｸ(sourceforge.jp)

103:k-u ◆k.u4xwkrx.
08/06/14 21:24:05
>>98 >>100

・where句なしのorder by random()
は確かほとんど呼ばれない仕様になっていたような
他ノードにdatを拡散する場合に使われます

・select sum(disksize) from dat;
これは遅いという報告があり、こちらでも再現します。
2回目以降はキャッシュするのか速くなるようです。
インデックス入れてテストしてみます。

>>96 違う人が答えますが
正直現状のDB再構築の意図がよく分からないです
手元にdatファイルが無く、スレタイ等のデータは持っている場合に、
そのデータが消えないということはあるんですが、そのような事態が起こる条件、消してしまった場合の弊害等未調査。
(dat.dbファイルごと削除して再構築は何回かやっていますが、目立つ不具合はなかったように思います。)
変なデータが登録されていた場合に、それが削除できないという問題もあります。

lastpublishをそのままにしておきたい意図があるとのことですが、これはクリアしてしまってもいいのではないでしょうか
どちらかというと一時変数的な役割だと思うし、スレタイ(title)のように恒久的なものではないので

> ・P2Pを実行しながらDBの再構築ができたりとか
現状のまま同時実行できるようにすると・・・
DBロックエラーが多数出ると思います
またdatファイルの読み書きが衝突した場合にどうなるかが問題
対応はちょっと大変です。

> ・何某かのフラグを格納するフィールドを後から追加したりとか
データベースにカラムを追加するだけならすぐできます

104:デフォルトの名無しさん
08/06/14 21:26:08
>>102
ｻﾝｸｽ

105:k-u ◆k.u4xwkrx.
08/06/14 21:36:12
連絡

boostとsqliteがバージョンアップしているので移行予定
boostはなんかビルド時のコマンドラインオプションが変わったのでそのうちドキュメント更新します。

>>101
古いwikiには誘導を入れておいた方がいいでしょうか・・・
新旧wikiでいろいろ食い違ってきたのでsourceforgeに一本化したいとおもっております

106:96
08/06/15 01:07:28
>>103
忙しい中、素人相手にレスいただいて感謝です
抱いていたモヤモヤも払拭されました。
この様な開発メンバーが居ると思うと、なんか嬉しいです。
o2on使い続けて来てよかった

>>105
> 新旧wikiでいろいろ食い違ってきたのでsourceforgeに一本化したいとおもっております
wiki なら多少いじれるので、微力ながらお手伝いさせていただきます。

ただ、うぷろだをSourceforge内に新設して欲しいのですが、規約上これは可能でしょうか？
wiki のうぷろだでは使い勝手が悪いので。。。
暫くは旧サイトのうぷろだにリンクを張ってもよいと思うのですが
なにしろ原作者様が用意したサーバをこのまま使い続けるのも気が引けます。

107:デフォルトの名無しさん
08/06/15 14:16:55
あぷろだ設置お疲れ様です
当方ADSL8Mですが、早速テストうぷしてみました。
今までのあぷろだに上げられたブツとSnUploaderのログです。
このログは何かのためにと、私的にSnUploaderを使ってミラーしていたものです。
うぷテストなので不要であれば削除しますのでその旨レス下さい。

あと、せっかく100MBまでうぷできるように設定していただいたのですが
28MB のファイルをうぷしようとしたら、タイムアウトになってしまいました。
こちらの環境なのか、Apache側のタイムアウト/ファイルサイズ設定が
原因なのか判然としませんが、一応報告まで。

108:デフォルトの名無しさん
08/06/15 14:24:52
o2onってこの板以外のｽﾚはもうないの？

109:デフォルトの名無しさん
08/06/15 14:34:07
>>108
今はこのム板だけのようです

110:デフォルトの名無しさん
08/06/15 14:41:31
この板以外ってダウソにしか立ったことないと思うけど、そっちはもうない。
あ、ν速にも立ったことあったか。

111:デフォルトの名無しさん
08/06/15 14:51:35
いや、もともとここだけだったけど厨房が勝手にダウソに立てた

112:デフォルトの名無しさん
08/06/15 14:58:26
P2Pだからﾀﾞｳｿかと思ったんだろうね

113:e ◆CuSO4..R5I
08/06/15 16:31:48
DB 再構築の話なんですけど、今までの話を総合した自分の案です。

・全部空にして一から再構築
　→ゴミデータ除去できる
・dat フォルダの走査と再構築を同期して行う（たぶん build 0031 のような感じ）
　→インジケータとか、ユーザにわかりやすい
　→ひたすら INSERT OR REPLACE する関数をでっち上げる
・再構築中は他の処理による DB アクセス（特に書き込み）を避けたい
　→少なくとも、従来の更新用スレッドは止めるとか

という感じで、既存の SQL 関係の関数についてはエラー処理や効率アップに
励むのがいいのかなぁと思います。

114:デフォルトの名無しさん
08/06/15 22:53:43
>109-112
そっかー、ここだけなんだ。
使うだけのｵﾚには敷居が高いな。

115:デフォルトの名無しさん
08/06/15 23:01:18
常時開いたままだからどこの板にあるとかどうでもいいな
俺もバージョンアップの確認の為だけにスレ見てるだけだが

116:デフォルトの名無しさん
08/06/17 17:05:20
ほんとに最近安定してるね
0044bにしたおかげでdatも10万いったよ

117:デフォルトの名無しさん
08/06/17 17:25:18
奇遇だな、ちょうど俺も10万突破したとこｗ

118:デフォルトの名無しさん
08/06/17 19:32:09
最近入れ始めて、昨日までは普通に動いてたんだがアイコンのOと2のとこが赤くてP2P停止状態になって困ってるんですが
なにが原因かわかります？

あとウイルスと判断されるdatがよくDLされるようにまりました

119:デフォルトの名無しさん
08/06/17 19:49:21
>>118
ディスクいっぱいorクォータ指定量に達してないか？
ウィルスはそう判断されるコードを書き込む奴がいたから
無害なのでログフォルダを検索対象からはずすよろし

120:デフォルトの名無しさん
08/06/17 19:54:18
>>119
達していました…
ありがとうございます。
これdat保存フォルダを別のドライブに移すってことはできませんかね？
今のドライブではこれ以上クォータ容量を増やせないので

121:デフォルトの名無しさん
08/06/17 22:26:34
o2onのフォルダごと別のドライブにうつしちゃえば

122:デフォルトの名無しさん
08/06/17 22:49:21
俺もドライブ移動しよう移動しようで結局してないや。
こまいファイルで20G移すのとかどんだけ時間が掛かるんだろう。

123:デフォルトの名無しさん
08/06/18 02:58:39
移動のこととかアンインストールのこととかマニュアルにあると親切だよね
まだαなんで親切さをアピールしてもしょうがないんだけど

124:デフォルトの名無しさん
08/06/18 12:23:31
FFC使えばいいんじゃないか？

125:デフォルトの名無しさん
08/06/18 12:28:56
全部消して新規でやるのがいいと思うけど

126:デフォルトの名無しさん
08/06/18 14:46:36
>>125
なんでよ。

127:デフォルトの名無しさん
08/06/18 15:15:26
>>120
1) o2onを停止する
2) datフォルダを好きな場所に移動する
3) conf\Profile.xmlをテキストエディタで開いて
　 CacheRootの「.\dat」の部分を書き換える
　（例えばD:\o2on\datに移動したなら「D:\o2on\dat」に書き換える）
4) o2onを起動する
でいけるはず。

128:デフォルトの名無しさん
08/06/18 18:48:20
>>127
ありがとうございます
無事移動できました

話がかわるんですが、クォータ設定してる人はどれ位に設定してますか？
参考にしたいので教えてください

129:デフォルトの名無しさん
08/06/18 19:29:07
今見ているスレッド内にある前スレや関連スレッドなどの
2chのURLを全てo2onに検索登録するスクリプトが欲しいです。
Janeの外部コマンドに登録して、右クリックから使いたいんです。

スレ内の２ちゃんねるのURLを全てo2onに検索登録=WScript "$BASEPATHo2onAdd.vbs" "LOCALDAT"

こういった感じです。vbsでもjsでもおｋです。お願いします。

Query.xml　に追加で書き込むようにすればいいんですよね。
このハッシュ値はなにから計算されたものなのですか？

Wiki見てきます。すいません。

130:デフォルトの名無しさん
08/06/18 19:32:11
>>129
アプリケーション総合スレッド（,,・_・）ver_1.21
ｽﾚﾘﾝｸ(download板:322番),323

131:デフォルトの名無しさん
08/06/18 19:32:57
スレ内の２ちゃんねるのURLを全てo2onに検索登録=WScript "$BASEPATHo2onAdd.vbs" "$LOCALDAT"

だな。失礼致しました。

132:k-u ◆k.u4xwkrx.
08/06/18 20:09:58
>>107
POSTの上限は10MBの予感。直しておきました

>>113
0031から0032に変わる辺りは参考になりますね。
元々ロックエラーが頻発した為、DB更新のスレッドを別にしたようです。
私は再構築時には UPDATE_THREAD_INTERVAL_S を短くして
かつキューにたまりすぎないように適当に制限するというのを考えていました。
(コードあんまりいじらなくてすみそうだからｗ)

とりあえず実装してみて、テスト版公開して試してもらえばいいと思います。
私の方はテスト版出せるか分かりませんので、適当に進めてくださいな

>>129
ハッシュの算出方法はperlの例が過去ログのどこかにあったような

Query.xmlに追加する方法では、o2on起動中には効果がないはずなので
不便だと思います。
管理画面のスレッド検索と同様にPOSTすれば登録できると思います。
ハッシュの計算も不要です。

POST先 /xml/query
クエリ
act=add
hash="" (空文字列)
note=[任意] (UTF-8かな Jane とか入れとけばいいかと)
url=[スレのURL]

1件ずつしか処理できないので1回ずつPOSTしてください。
あまり高速に連続してPOSTするとo2onがなにかおかしくなるかもしれないので注意してください。

133:129
08/06/18 20:53:10
>>132
親切にありがとうございました。
頑張ってみます。

134:デフォルトの名無しさん
08/06/19 13:16:30
自分が共有してるﾛｸﾞのどれがﾘｸｴｽﾄ多いか表示されないの？

135:デフォルトの名無しさん
08/06/19 23:02:18
現時点でのdat数を述べなさい。

136:デフォルトの名無しさん
08/06/19 23:03:41
319,760

137:デフォルトの名無しさん
08/06/19 23:11:44
収集してないから2,705

138:デフォルトの名無しさん
08/06/19 23:44:30
datフォルダのプロパティで見たら202,726だた

139:デフォルトの名無しさん
08/06/19 23:45:10
251,566

140:デフォルトの名無しさん
08/06/19 23:51:35
312107

141:デフォルトの名無しさん
08/06/19 23:54:24
>>136
ｻｲｷｮ

142:デフォルトの名無しさん
08/06/20 00:16:44
いや上には上が居る、確かdat容量100G突破した人いなかったっけ？
その人はきっと100万所じゃないはず

143:デフォルトの名無しさん
08/06/20 01:56:51
>>134
DBにカラム追加して要求回数とか書き込めば簡単にできるとは思うけど
益々ロックされる可能性が増える訳で・・・

144:デフォルトの名無しさん
08/06/20 07:45:50
てかメッセンジャーとかフレンドってどういう目的で実装されてんの？

145:デフォルトの名無しさん
08/06/20 08:15:19
メッセンジャーでログ補完の依頼が来てたよ
名無しの知らん奴から

146:デフォルトの名無しさん
08/06/20 11:38:35
>>145
それ誤爆じゃね？
前●持ちで自動補完をメッセンジャーで受けてる人いたから

147:デフォルトの名無しさん
08/06/20 11:50:52
つーかそういう目的で実装されてるってことで>>144の疑問は解決したと考えていいんじゃないか

148:デフォルトの名無しさん
08/06/20 12:49:47
どなたかおともだちになっていただけませんか？

149:デフォルトの名無しさん
08/06/20 13:27:12
>>148
一緒に保有しようか

150:デフォルトの名無しさん
08/06/21 12:46:31
>>148
いやいや、俺といっしょに。

151:デフォルトの名無しさん
08/06/22 00:47:12
firefox 3 にしたら管理画面の動作速すぎワロタｗｗｗ

152:デフォルトの名無しさん
08/06/22 14:24:21
スレッド検索登録数　10101
総dat数　　　　　　　　315,226

153:デフォルトの名無しさん
08/06/22 16:49:53
これって人から貰った過去ﾛｸﾞはjaneのﾛｸﾞﾌｫﾙﾀﾞに入らないで
o2onのﾛｸﾞﾌｫﾙﾀﾞだけに入るんだよね？(ﾌﾟﾛｸｼ切ると貰った過去ﾛｸﾞが開けない処から)
ﾛｸﾞの重複って無駄が無いのはいいんだろうけど。

1つしか知らんけど過去ﾛｸﾞ検索でindex作る奴には不便ね。
2ちゃんねるスレッド全文検索・・・ThreadSearch
ｽﾚﾘﾝｸ(software板)

154:デフォルトの名無しさん
08/06/22 16:54:18
URLﾘﾝｸ(frozenlib.net)
URLﾘﾝｸ(www.geocities.jp)

>>153
どっちがいいの？

155:デフォルトの名無しさん
08/06/22 17:00:52
よく分からんがo2onのdatフォルダを指定したらダメなのか？

156:デフォルトの名無しさん
08/06/22 17:58:24
>>153
専ブラのログフォルダとo2onのフォルダを同じドライブに置いて、
datにハードリンクをかければｲｲｼﾞｬﾏｲｶ

157:おさ ◆OSApxZfJs2
08/06/22 19:54:18
Googleデスクトップ用のdatファイルインデックス作成プラグイン作ってみたよ。
URLﾘﾝｸ(www.osa-p.net)

158:デフォルトの名無しさん
08/06/22 20:05:53
>>157
　／＼／＼人ﾊ　　_,.,.,.,.,.,.. 　　　　　__
　＼調　そ　いゝｨ㌫㌫Kkﾐ　　　〈　ヽ
　／　　　　　　　〉"i'ﾟL´ﾟ｀ﾙﾘ　　｜　 |
　＼子　の　い〈　 |にﾌ　〈　　　 _j　　｜
　／　　　　　　　ゝ｀ｰr　　　＞ '´　|　　ヽ＿
　＼だ　　そ゛〉　,ﾉ　　　　　丿 ,　―‐　＼
　／　　　　　　｣／　／　　　 |　〈　　　　　　〉
　＼　　　　　　}/　　　　　　　人　 >ー―〈
　／｀Y＾Y＾Ｙ＾Ｙ〈ﾟ__ノ　＼ﾟ＿__／　 | 〈＿＿＿＿〉
　　　　　　　　　 |　　　　　　　　　〈　〉＿＿＿〈
　　　　　　　　　|　　　　　　　　　人〈＿＿＿__ﾉ
　　　　　　　（ｉl⌒ヽ　；　　　　　 { 　￣￣￣
　　　　　　　〈￣￣￣}〕　　　／　ヽ
　　　　　　　〈￣￣￣}＼　　　　　　',
　　　　　　　〈￣￣￣}爻爻　　　　｀ヽ
.　　　　　　　｀r―'}爻ﾐ､ﾉ　　　　　　＼
　　　　　　　/｀ｰr‐'´　　 }　　　　　　＼
.　　　　　　/　　ヽ_{＿,ノ　　　　　　　　＼
　　　　　　 /　　　　　 /⌒ヽ

159:デフォルトの名無しさん
08/06/23 07:05:06
>>152
スレッド検索登録って3000までじゃなかったっけ

160:デフォルトの名無しさん
08/06/23 08:04:22
>>159
今、自分のを確認したけど、6071　だったよ。

161:デフォルトの名無しさん
08/06/23 08:12:54
どんだけ巡回したらそんな数になるんだよｗ
俺64だぞｗ

162:デフォルトの名無しさん
08/06/23 08:18:03
>>161
y2o2onADD.pl っていうのを使わせてもらっています

163:デフォルトの名無しさん
08/06/23 08:20:18
この板のスレッドを検索登録にしたい場合は

/test/read.cgi/tech/ 2ch.net

で検索すると一気に登録できます。

164:デフォルトの名無しさん
08/06/23 08:20:23
>>160
記憶違いだったかも。すまん。

165:152
08/06/23 10:41:55
スレッド検索登録数　11961
総dat数　　　　　　　　316,549

166:152
08/06/24 00:38:50
スレッド検索登録数　17496
総dat数　　　　　　　　317,381

167:デフォルトの名無しさん
08/06/24 02:13:13
>>155
別の人だけど、スレッド全文検索に o2on のフォルダ指定してみたら、検索可能だった

でもこれ、大文字・小文字区別しないとか、
and検索、or 検索ができなかったり不満点がいくつかある。

168:デフォルトの名無しさん
08/06/24 02:26:35
>>167
URLﾘﾝｸ(frozenlib.net)

こっちならand検索できるみたいよ。

169:152
08/06/24 08:33:49
スレッド検索登録数　21732
総dat数　　　　　　　　317,742

スレッド検索登録数が20000超えた辺りから追記するのが遅くなった。
書き込んでいるときにガリガリ音がする。
これ以上、僕のPCのスペックでは無理みたいです。

一日1000スレくらいは取得できてるな。

170:デフォルトの名無しさん
08/06/24 15:54:47
スレッド検索登録数って管理画面のスレッド検索タブの左上ら辺にある数字のことだよね？
dat収集で全板にしてるんだけどやっぱそっちも入れた方が効率は良いの？

スレッド検索登録数　67
総dat数　　　　　　　　201,257

171:k-u ◆k.u4xwkrx.
08/06/24 18:56:40
ちょいと調べてselect_datcount, select_totaldisksize, analyze は
begin; end; で挟んでやるとすごく速くなりました。謎仕様です。

>>169
検索登録の方はDBとか使ってないですからね
定期的にXMLファイルに書き出してますし
そういう使い方は想定されていないものと思ってください

172:152
08/06/25 05:40:31
>>170
どうかな。多少は収集する効率が上がると思うんだけどな。
読まないdat取得しても意味ないんだけどな。
このまま放置することにします。

o2onを通常に起動しているときはCPUをあまり使わないのですが、
これだけ登録数があると、やはり管理画面を開くときに相当CPUを使います。

普段　約2%
管理画面を開くとき　約60%

Intel Core2Duo E7200(2.53GHz L2 3MB)
メモリ　2GB

スレッド検索登録数　21924
総dat数　　　　　　　　318,773

>>171
作者さん、調子に乗ってすいませんでした。
これからも開発よろしくお願いします。
それでは失礼致します。

173:k-u ◆k.u4xwkrx.
08/06/25 20:54:56
なんとなくアップ　ご利用は自己責任で

URLﾘﾝｸ(o2on.sourceforge.jp)
0044でもロックエラーが出る人に試していただきたくおもいます

174:デフォルトの名無しさん
08/06/25 21:51:53
>>173
　　　　　　　　　　　　 ( ⌒)　　　　 ∩_ _　グッジョブ!!
　　　　　　　　　　　　 /,. ノ　　　　　 i　.,,E）
　　　　　　　　　　　　　　/　/"　　　　　　/　/"
　　_n　グッジョブ!! 　 /　/ _、_　　 ,／ノ'
　（　l　　　_、 _　　/　/　,_ノ` ）／／　_、_　　　　グッジョブ!!
　＼＼　（ <_,`　）（　　　　　　　／（　,_ノ` ）　　　　 n
　　　ヽ___￣￣　ノ　ヽ　　　　　 |　￣　　　＼　　（ E）

175:デフォルトの名無しさん
08/06/26 16:16:50
>>173
差し替えて、dat.dbを削除してから
再構築をしてみましたが
2008/06/26 16:16:31 SQLite error - - database is locked
略
2008/06/26 16:07:37 SQLite error - - database is locked
2008/06/26 15:35:16 P2PServer info - - 停止 (port:xxxxx)

ロックしてます。

176:e ◆CuSO4..R5I
08/06/26 16:48:58
>>173
乙です。
余裕ぶっこいてたら先を越されたぜ。
俺版も明日あたりに出したいです。

PRAGMA synchronous = OFF; よさげ

177:デフォルトの名無しさん
08/06/27 01:21:45
4月あたま以来ひさびさにこのスレに来た俺に、当時から何が変わったのか200文字以内で説明してくれないか？

178:デフォルトの名無しさん
08/06/27 02:05:06
>>177
44b安定しすぎ。サイキョ

179:e ◆CuSO4..R5I
08/06/27 12:35:22
>>113の

>・全部空にして一から再構築
>　→ゴミデータ除去できる
>・dat フォルダの走査と再構築を同期して行う（たぶん build 0031 のような感じ）
>　→インジケータとか、ユーザにわかりやすい
>　→ひたすら INSERT OR REPLACE する関数をでっち上げる
>・再構築中は他の処理による DB アクセス（特に書き込み）を避けたい
>　→少なくとも、従来の更新用スレッドは止めるとか

を実装してみたバージョンです。適当に再構築してみてください。
あらかじめ db フォルダ内の dat.db をバックアップしておくことを強く推奨します。

URLﾘﾝｸ(o2on.sourceforge.jp)

180:e ◆CuSO4..R5I
08/06/27 12:37:32
>>173
>>175同様、我が家でもロックしてました。

181:175
08/06/27 17:35:37
>>179
ただいま、再構築中です。
1000単位で、総dat数が増えていきます。
dat.db-journalが出来る気配がなく
52000まで、登録できました。

2008/06/27 16:54:17 UpdateThread info - - 停止
2008/06/27 16:54:12 P2PServer info - - 停止 (port:xxxxx)

182:k-u ◆k.u4xwkrx.
08/06/27 20:22:01
>>175 >>180
やはり対症療法的なやり方では駄目なようですね

>>179版ご利用の皆様
こちらではまだテストしてないですが、再構築中にスレを読み込んだりしても大丈夫でしょうか
パフォーマンス(再構築にかかる時間)が著しく低下、もしくは改善していないかも可能であれば調べて欲しいです。

>>179
最初の全件削除はSQLで行っていますが、ファイルごと削除(もしくはリネーム)して
create_table からやり直した方がいいのではないかと思います。
微妙な残りカスも完全に消せるし、リネームすればバックアップもとれるので

それとも dat.db.rebuild とかで再構築して最後に差し替えるのがいいかな?

183:175
08/06/27 20:40:14
>>182
307,000までいきました。

> 再構築中にスレを読み込んだりしても大丈夫でしょうか

大丈夫なようです。
このスレ
.\o2on\dat\2ch.net\tech\1212\1212302014.dat
を直接開いてみたところ、きちんと182までありました。

パフォーマンスとしては、よくわかりません
初期バージョンのころDAT構築で、一晩放置しないと終わっていなかったので
こんなものでは？と思っています。

あと、こんなエラーが出ていました。
2008/06/27 20:32:47 SQLite error - - disk I/O error

184:175
08/06/27 21:47:34
2008/06/27 21:39:26 UpdateThread info - - 開始
無事に終わったようです。
総DAT 371,521

185:デフォルトの名無しさん
08/06/27 23:14:35
「スレッド検索」で、チェックを入れたやつを一括削除できるような機能がほしいです。
誰かお願いします。

186:前スレ960
08/06/28 22:34:01
>>179氏
お疲れ様です。まずはご報告～
再構築をストレス無く『完走』できたようです。
今回は詳細なデータを取ってなかったので
明日にでも前回と同様の検証作業をしたいと思います。

その際 >>182氏の言う「再構築中にスレの読み込み」
も検証テーマとしてみます

187:デフォルトの名無しさん
08/06/28 22:53:27
久々にBOINCを回し始めたらo2on 44b落ちまくった
44にして今再構築中♪

188:デフォルトの名無しさん
08/06/29 01:47:27
>>187
BOINCも44bも使ってるけどどっちも落ちたことないな
その他の環境の違いもあるのかな

189:デフォルトの名無しさん
08/06/29 02:25:19
どうでもいいことだが、PHP ThreadSpiderを改良してみた
URLﾘﾝｸ(o2on.sourceforge.jp)

wgetがいらんくなって設定はiniに書くようになったので、
禁断の壺を持ってさえいれば誰でも使えるようになったはず。

190:デフォルトの名無しさん
08/06/29 19:36:30
最近接続ノードの数がちょこっと増えたな
これも多少は普及してる証拠か

191:デフォルトの名無しさん
08/06/30 00:30:20
そんなに大きな宣伝活動もしてない筈だしそれでも普及してきてるのは凄いよな。
俺は友人に勧めてみたが相手にもされなかったがｗ
バカじゃない？ってｗ

いっそ一回宣伝でもしてみるか？

192:デフォルトの名無しさん
08/06/30 00:39:05
いま確認したらノード150もあっておったまげたぁ

193:デフォルトの名無しさん
08/06/30 09:06:41
俺フリーソフト紹介するメルマガ購読してるんだがそこで紹介してたんで入れたぞ

194:デフォルトの名無しさん
08/06/30 14:07:44
管理画面のノード一覧で、項目名の上あたりに水色のグラデーション（dat収集のページに出てるのと同じ色合い）が
出てるんだけど、なんか意味があるんだろうか？

195:デフォルトの名無しさん
08/06/30 18:24:48
収集すればするほど色が濃くなるって意味だと思うよ
俺はそう捉えてるが

196:194
08/06/30 20:58:38
>>195
dat収集のページはそうなんだろうけど、ノード一覧だから意味が分からなかったのです。

これ
URLﾘﾝｸ(o2on.sourceforge.jp)

ごめんなさい、wiki内アプロダのほうにも間違えて上げてしまいました。
今日の日付のo2on.gifってやつです。
削除するのに管理者しか消せないみたいで。

197:デフォルトの名無しさん
08/06/30 21:50:04
gifよりpngのがよくね
gif256色しか扱えないし

198:デフォルトの名無しさん
08/06/30 21:56:35
俺はいつもpng派

199:デフォルトの名無しさん
08/06/30 22:04:43
>>196
Kademliaにおけるk-bucketの埋まり具合を表すんだと思う。

なんて思いながらソースを眺めてたら、O2NodeDB.cppの244行目、
　i, (int)((double)KBuckets[i].count()/(i+1)*100.0));
は
　i, (int)((double)KBuckets[i].count()/KADEMLIA_K*100.0));
の間違いなんじゃないかって気がしてきた。

200:デフォルトの名無しさん
08/07/01 02:05:46
質問です急に
Proxy起動失敗:
bind失敗 (port:8000)

o2onの起動を中止します
とか出て起動できなくなってしまったんですが
なにが原因なんでしょうか

201:デフォルトの名無しさん
08/07/01 02:47:46
port8000が既に使用されてる

202:デフォルトの名無しさん
08/07/01 21:13:25
>>198
やはりパソコン画面のキャプにはpngだよね
jpgはノイズが発生するから嫌い（非可逆圧縮でのjpgでの話、まあjpgが可逆圧縮に対応されていることすら知られてないけど）

203:e ◆CuSO4..R5I
08/07/01 21:26:28
>>182
> それとも dat.db.rebuild とかで再構築して最後に差し替えるのがいいかな?

dat.db.rebuild で再構築して、既存の dat.db をバックアップしつつ
差し替える方向で作業してます。
DB アクセスと差し替えが重なるかもしれないのはとりあえず無視ですが。
# O2DatDB がカオスってきたぞー

204:k-u ◆k.u4xwkrx.
08/07/02 22:36:40
>>199
今日Kademliaの勉強始めたばっかりでよく分かっていないのですが、
244行目が間違いでないとすれば、距離が離れているノードはたくさんあるので
大きな数字で割って、ならそうとしたんではないでしょうか
まあオンラインノードが200も行かない現状ではどちらにしてもあまり代わらないようだけど。

>>203
安定したらコード整理したいですね
#if 0 のやつは消して、1000件分割もやめていいと思う

205:k-u ◆k.u4xwkrx.
08/07/02 23:16:48
参考
URLﾘﾝｸ(o2on.sourceforge.jp)

上の方は常用のo2on、下はデバッグ用ので持ってるノード情報が異なりますが

206:デフォルトの名無しさん
08/07/03 23:49:15
開発乙です。

DatCollectorが折角datを持ってきても取得板を少ししか設定してないから
大量に(ﾟ⊿ﾟ)ｲﾗﾈが出てきて寂しいのでソースを見たのですが。

O2Job_DatCollector.hの82行目付近:
　// 取得する板を決める
　wstrarray boards;
　if (Boards->GetExList(boards) == 0)
　　return;
　CryptoPP::AutoSeededRandomPool rng;
　wstring &board = boards[rng.GenerateWord32(0, boards.size()-1)];
では全板から選択しているようですが、「dat収集」で選択されてない板だった
場合は取得してから捨てる (O2Protocol_Dat.hの206行目) のは勿体ないと思います。
これにはやはり何か理由があるのですか？
どうせなら、最初から選択されている板の一覧から取得する板を決めた方がいっぱいdatが
集まって幸せになれるのではと思ってみたり。

207:前スレ960
08/07/04 00:53:09
アバウトなテストしてみましたのでテストデータ上げときます。
URLﾘﾝｸ(o2on.sourceforge.jp)
前回同様、実のあるテストではないのであまり役に立つとは思えませんが
予めご了承下さいませ。

DB再構築テストの結果から：
　・>>179氏ビルドの o2on は、まさに私の期待する結果をもたらしてくれました
　・再構築中にスレはあまり開かない方がよいと思います
以上です。開発者の労力に比べお粗末なレポですまんのー。

208:デフォルトの名無しさん
08/07/04 12:24:07
＞開発者様
うちに50GBほどのDATがあるのですが、これはあると便利でしょうか？
ただ今バックアップのためにアーカイブ化しているので、必要であればTorrentか何かに放出しますが……

209:e ◆CuSO4..R5I
08/07/04 15:33:45
>>179 に >>203 を入れたバージョンです。

再構築用の DB ファイルを別に作って再構築するようになりました。
再構築を途中で止めたりせずに、最後まで終わった時点で従来のファイルとの差し替えがなされます。

お試しくだしあ。

URLﾘﾝｸ(o2on.sourceforge.jp)

210:e ◆CuSO4..R5I
08/07/04 15:45:56
>>206
dat のやりとりを効率化することが実用化に向けて重要なことですね。
ちょっと見てみます。

>>207
レポ乙です。
PRAGMA synchronous = OFF; の影響なんかも気になっていたのですが、
特に変なことも起こってないようですね。

>>208
ｸﾚｸﾚ

211:k-u ◆k.u4xwkrx.
08/07/04 17:14:57
>>206
とりあえずでっち上げパッチ
URLﾘﾝｸ(o2on.sourceforge.jp)
ごく近辺のコードしか見てないのでこれであってるのかよく分からん
つーかお初にお目にかかるソースです

>>207
なんという優良テスター
スレ読み込むとやはりロックしましたか。
これは>>209の最後で差し替えるバージョンだと起こらないはずです

>>208
2人だったらFTPの方が早いかと思ってローカルに立ててみましたが
3人ならトレントの方がいいかな
正直有効活用できるか分かりませんが、ご面倒でなければとりあえずもらっておきましょうか
PCは今日から明日の朝まで起動させておくことはできます。

>>209
おっつう、ってまだ中身見てないけど

212:デフォルトの名無しさん
08/07/04 17:52:15
開発者様方乙です

213:208
08/07/04 18:25:11
>>210-211
ちょ、ちょっと待って、まだアーカイブ化半分ぐらいしか進行してないっす（汗
rebuilderで作ったdatならすぐにでも、>>209版でリビルドしてのものなら明日の朝までにはうｐれるですが……

次ページ