2ちゃんねるスレッド全文検索・・・ThreadSearch

2ちゃんねるスレッド� ..

274:名無しさん＠お腹いっぱい。
09/04/25 11:25:44 79103AVT0
>>273
それは、ハードウェアのもんｄないじゃな？

275:273
09/04/25 13:52:00 ZLdTgU2r0
>274

うん、自分のPCが悪い気はしてるんだけど、ど素人のボクには
もしかしたらthreadsearch.exeのメモリ確保？になんか変なところが
あるのかなぁと。

276:cen ◆Am9xOgNMYE
09/04/29 12:56:35 0CZb26t80
>>275
モニタが点いていないとうまくいくのであれば、
threadsearchの問題では無いと思います。
メモリ管理などに問題があれば、モニタに関係なく落ちるのではと
思います。

277:名無しさん＠お腹いっぱい。
09/04/29 15:05:21 Ff9+ObSL0
>276
了解しました。

初めてRADEON使ったらどうもグラフィック関係が不安定なので
RADEONのメモリ+マザーメインメモリ+アプリの利用メモリの3連で
不具合が起こってると疑っていました。

278:cen ◆Am9xOgNMYE
09/04/30 20:13:16 07Z10ram0
こんばんは

スレッド全文検索を更新しました。
Ver 2.00になりました。
URLﾘﾝｸ(www.geocities.jp)

・更新点は下記です
　追加検索フォルダが無いと、ウインドウ最大化設定が正しく行えない不具合を修正しました。
　インデックスに本文以外に「名前」「メール」「ID」「スレタイ」を追加(インデックス作成が1.83より多少遅くなります)。
　検索オプションに「1スレあたり1レスのみ」を追加。
　インデックス更新を高速化しました(ファイルリスト作成を効率化)。

インデックスの書き込み方がそれまでと異なるので、旧バージョンをお使いの方は
インデックスを再作成してください。

279:cen ◆Am9xOgNMYE
09/04/30 20:21:18 07Z10ram0
インデックス検索が「本文」「名前」「メール」「ID」「スレタイ」で
できるようになったので、2.00にしました。

あと、インデックス作成速度＜更新速度　が
インデックス作成速度＜＜＜更新速度　くらいになりました。

280:名無しさん＠お腹いっぱい。
09/04/30 21:10:57 WO7lpK6m0
>278
更新おちゅ

281:名無しさん＠お腹いっぱい。
09/04/30 21:57:28 L1Fis0I80
>>278
乙です

282:cen ◆Am9xOgNMYE
09/05/09 18:10:11 NAkmLCh50
このごろ気がつきましたが、「<<」では正しく検索できない
バグがありますね。

283:名無しさん＠お腹いっぱい。
09/05/10 22:41:12 oAh1T93p0
あれ、ウインドウステータスが記憶されなくなってる

284:名無しさん＠お腹いっぱい。
09/05/10 22:51:28 ZdxrF1nL0
何か最小化して終わるとウインドウの大きさが元に戻る

285:cen ◆Am9xOgNMYE
09/05/12 23:27:34 hxHA1+JF0
レスありがとうございます。

ウインドウステータス（サイズ）は2.00では記憶され、
不具合は>>284のみだと思ってます。
2.00でもウインドウサイズが記憶されてないですか？
（最小化は記憶しません）

286:cen ◆Am9xOgNMYE
09/05/12 23:36:48 hxHA1+JF0
>>282と>>284を直します

287:名無しさん＠お腹いっぱい。
09/05/14 22:46:59 msO/aicm0
こんにちは、詳細に検索ができる、と聞きdatEから移行してきました。

少しお聞きしたいのですが、インデックス作成後、検索すると
自動的に既定のブラウザが開き、フレームわけされた検索結果が表示されます。
動作的にはこれでよいものでしょうか？
readme.txtによると検索タブ？で検索結果が開くように見えるのですが…

あと2chブラウザにレスのURLを上手く渡す方法はないかな…。

288:名無しさん＠お腹いっぱい。
09/05/15 00:18:06 7AGrG0tM0
どうも古いの落としてたらしくて、最新版でインデックス再生成してみたのですが、
メモリー食いすぎてスワップしまくって重くなて死ぬかと思いましたｗｗ
今の時代はメモリーは安いし、もっとつめ！で済む話といえばそうなのですが。

インデックス作成中500MBくらいメモリーを食ってましたが、
参考までにこのソフトのインデックス作成、検索のアルゴリズムって何をおつかいなのでしょうか？
datEは検索エンジンはHyperEstraierで、N-Gram使用ということみたいですが…。

289:名無しさん＠お腹いっぱい。
09/05/15 00:20:55 7AGrG0tM0
ごめん、>>52で

> あと、方法は独自と書きましたがほぼngram法です。

とありますね…。
datEだとインデックスが1GB超えるのに、このソフトだと300MB以下で収まるのびっくり。
datEだと検索は数秒とかなり高速ですが、細かい絞込みができないので使い分けという感じがしますね。

290:cen ◆Am9xOgNMYE
09/05/19 02:23:36 qHnc6TOx0
>>283
もう一度動きを見ていると、そうかもですね。
起動（非最大化①）→大きさ変更（非最大化②）→最大化→終了
→起動（最大化）→最大化解除→非最大化①の大きさになる

291:cen ◆Am9xOgNMYE
09/05/19 02:29:43 qHnc6TOx0
>>287-289
どうもです。
>>287は結果が正しく表示されていないです。
今でもそうですか？
そうなら環境を教えていただけないでしょうか。

>>288
このソフトだけだとインデックス作成、更新時に約260MBのメモリを使います。
メモリを沢山使っているなとは思っています。

292:名無しさん＠お腹いっぱい。
09/05/19 21:24:17 IvsovzRX0
>>290
ありがとうございます。メニューの設定の保存を実行しておけば大丈夫ぽいです。

293:名無しさん＠お腹いっぱい。
09/05/20 17:05:00 v9pyh01q0
オマイ等ソフトウェア板の1普通に表示出来てる？
昨日OS再インスコ後に今日始めてソフ板に繋いだんだけど、ソフ板の1が

URLﾘﾝｸ(pc12.2ch.net) 名前：名無しさん＠お腹いっぱい。　[sage]　投稿日：2008/02/27(水) 19:23:59 [夕方] ID:LnN9ZP+r0 (PC)
URLﾘﾝｸ(www.geocities.jp)
他の2chブラウザと連携できるといいな

↓にて上記のように表示されるようになってしまった。
【JaneStyleのバージョン】 Jane Style Version 3.10 (3.1.0.0)
【 Windowsのバージョン】 WindowsXP Professional [Service Pack 3]
【　　IEのバージョン　　】 8.0.6001.18702

ま、このスレとは関係無いんだけどね。

294:名無しさん＠お腹いっぱい。
09/05/22 20:33:14 DlJeQAU70
インデックスのサイズでかくなってきたので別ドライブへ保存できるといいなー

295:名無しさん＠お腹いっぱい。
09/05/23 18:52:57 EedEYsjrO
>>294
ソフトのフォルダごと移動したら？

296:名無しさん＠お腹いっぱい。
09/05/23 21:14:13 xy+m6gtb0
>>250
GbEなら480MbpsのUSB接続HDDよりすでに速いし、
NAS上にインデックス置きたくなっても不思議はないと思う

297:cen ◆Am9xOgNMYE
09/05/27 18:15:57 hz0lJh290
>>294
インデックスだけ別ドライブですか
今はソフトごと別の場所に移動しても問題なく使えます

>>296
NASだとWindowsでネットワークドライブの設定をすると、
普通のドライブと同じように使えるので、今はその方法で使ってください

298:cen ◆Am9xOgNMYE
09/05/31 00:15:12 9J+NwQVY0
こんばんは

スレッド全文検索を更新しました。
Ver 2.01になりました。
URLﾘﾝｸ(www.geocities.jp)

更新点になります

・ウインドウサイズが記録されない不具合を修正しました。
・スレタイを検索条件に入れると、対象スレッド内の一部のみしか
　検索されない場合がある不具合を修正しました。
・結果のHTMLを保存できるようにしました。
・インデックス読み込みを高速化しました。
・検索語句のハイライト表示をできるようにしました。

インデックスの一部がそれまでと異なるので、
旧バージョンをお使いの方はインデックスを再作成してください。

299:名無しさん＠お腹いっぱい。
09/05/31 10:28:34 NRY0vCeI0
乙です！

300:名無しさん＠お腹いっぱい。
09/06/02 16:28:19 i9EHKLsL0
うげろろろろろろろろろろろろろろろろろろろっ

2.01気がつかないで一昨日から18時間ほど掛けて
2.00でINDEX作っちゃった・・・

でも
>298
更新おちゅ

301:名無しさん＠お腹いっぱい。
09/06/02 18:01:18 kyQiNonQP
18時間もかかるのかよ。
永杉。30分ですむやつ作ってやるぜ。

302:名無しさん＠お腹いっぱい。
09/06/02 19:36:38 jkGMrhtY0
2.01で一からインデックス再構築したら、31000スレ強で50分程度でした
CPUはPhenomX4 9150e

303:名無しさん＠お腹いっぱい。
09/06/03 21:32:42 E6j02OSV0
あれ？アレレレレレレレレレレレレレレ？
何時もステップ1の99%で延々待ってからPCリブート(聞く所によると家の環境が糞)したり
ステップ2に行くのに、今回2.01だとあっさりステップ2に行った。
16時30分から作成開始して今ステップ2の1%

304:名無しさん＠お腹いっぱい。
09/06/04 00:17:58 B/Kv7aQ20
だがしかーし
今ステップ2で15%になったばかり orz

305:名無しさん＠お腹いっぱい。
09/06/04 00:35:41 B/Kv7aQ20
PC落ちた・・・
8時間半パー　orz

306:名無しさん＠お腹いっぱい。
09/06/04 05:00:04 zg/SQwriP
>>305
何Ｇログあるとそうなるんだｗ

307:名無しさん＠お腹いっぱい。
09/06/06 15:55:21 SBNVDm330
時間が出来たので再度index作成に挑戦
本日03時開始後放置睡眠。
起床後13時位から動画鑑賞などPC使ってて15時15分にPCリブート。
うる覚えでステップ2の54%超えで12時間がパー・・・
いつまで経ってもINDEXが出来ない　orz

>306
janeログフォルダ(87.4GB)とo2onログフォルダ(76.3GB)の2つを指定。
Q6600でメインメモリ2GB×4枚、XP32BitOS管理外メモリはRAMDISK割り当て。

308:名無しさん＠お腹いっぱい。
09/06/06 17:32:10 33OWE8590
みんなログをため込んでいるんだな
300MBしか無い自分は少数派なのか

309:名無しさん＠お腹いっぱい。
09/06/06 18:22:26 Y2zv0SDD0
俺150Mぐらいだったよ
1年ぐらい使ってタブは常時５０ぐらい開いてるかな

310:302
09/06/06 18:32:23 1ERA79SZ0
＞janeログフォルダ(87.4GB)とo2onログフォルダ(76.3GB)の2つを指定。
すげえ。
サイズにして5GiB強、「ギリギリで無圧縮ではDVD-Rに入らなくなった」とか
嘆いてた自分は甘甘ですわ…

311:名無しさん＠お腹いっぱい。
09/06/06 19:44:09 lGEK3l8b0
o2onってことはp2p経由でも自動でログ貯めてるのかな？

うちは、3万1000ファイルで 1.3GBくらいだた。
全然ヘビーに使ってないけど長年使っている成果けっこういくな…
6,7年はやってる気がするから

312:名無しさん＠お腹いっぱい。
09/06/07 02:29:01 l31z8PMF0
16時から懲りずに作成始めてステップ2の35%位でまたリブート食らった・・・
今からもう一度始めて、これで落ちるようなら使用を諦めるっﾎﾟ

313:名無しさん＠お腹いっぱい。
09/06/07 04:05:58 P5umnzQMP
>>312
>>307で54%超えてたならログフォルダかたっぽずつやれば成功しそうな希ガス

314:名無しさん＠お腹いっぱい。
09/06/07 06:38:22 y9oWhktV0
>>312
試しに、datEでもインデックス作ってみたらどうかな？
Datファイル全文検索ソフト DatE
URLﾘﾝｸ(frozenlib.net)

datEはインデックス化も検索も爆速なのはいいけど、TreadSearchみたいに絞込みが弱すぎるんだよな。
俺は併用してるよ

315:名無しさん＠お腹いっぱい。
09/06/09 21:39:58 XsHZwcGx0
16時間半
パソコンを一切操作しないでおいたらindex出来たよ出来たよ。
(今まではブラウザをいじってるだけでも落ちてた)

316:名無しさん＠お腹いっぱい。
09/06/09 22:22:46 y9FWC8VjP
>>315
勇者超乙ｗ
出来たインデックスは４０Ｇぐらい？

317:名無しさん＠お腹いっぱい。
09/06/09 23:24:39 0/c0BlDE0
>316
正解。
41.6GB

318:名無しさん＠お腹いっぱい。
09/06/10 13:10:22 +wGlmcZn0
インデックス40GBwwww

319:cen ◆Am9xOgNMYE
09/06/13 12:10:58 XWc0+QFPO
こんにちは。
近いうちに次のバージョンに更新します。

>>317
インデックス40GBはすごいですね。

320:cen ◆Am9xOgNMYE
09/06/15 00:19:22 BJwfvxUK0
こんばんは。

スレッド全文検索を更新しました。
Ver 2.02になりました。
URLﾘﾝｸ(www.geocities.jp)

更新点になります

・「メール」「ID」が空欄のままでも、インデックス検索が動作する不具合を修正しました。
・インデックス作成速度が向上しました。(約2倍)
・インデックスサイズを削減しました。(約25%)

インデックス化のプロセスを見直して効率よく動作するようにしました。
それから、インデックスの無駄な部分を削減しました。

321:名無しさん＠お腹いっぱい。
09/06/15 03:29:55 L+SUd0B3P
>>320
乙ですた！
作成速度と容量が削減されるとは>>317の泣いて笑う顔がみえますｗ

作り直して体感してみる？ｗｗ
今度は8,9時間、寝てる間か出かけてる間に終わってる（カモ）

322:名無しさん＠お腹いっぱい。
09/06/15 19:06:20 Q/ivs7gS0
ちょっと要望があるのですが。

検索結果にスレッドURL、もしくはレスURLを表示（もしくはコピー機能）させることってできませんか？
ある単語で検索して、ヒットすればその周辺で関連の話がされていると思うのですが
ヒットしたレスを専ブラで開く方法がないように思えました。

# すでに実装されている機能でしたらごめんなさい。

323:名無しさん＠お腹いっぱい。
09/06/15 21:15:41 FL1LYjT9P
ああそれ欲しかった。

324:名無しさん＠お腹いっぱい。
09/06/15 22:19:37 L+SUd0B3P
>>322
欲しいなー
さらにに検索結果を本文ままにコピー出来たら鼻血でる

例えばこんな感じ
▲＞ 318 ：名無しさん＠お腹いっぱい。：2009/06/10(水) 13:10:22 ID:+wGlmcZn0
インデックス40GBwwww
↓
2ちゃんねるスレッド全文検索・・・ThreadSearch
ｽﾚﾘﾝｸ(software板)
318 ：名無しさん＠お腹いっぱい。：2009/06/10(水) 13:10:22 ID:+wGlmcZn0
インデックス40GBwwww

置換すればいいんだけどまとめてメモっておきたいときに楽、視認性アップです

325:名無しさん＠お腹いっぱい。
09/06/15 22:38:26 L+SUd0B3P
ついでに、2.02でインデックス作り直した結果です、、、
2.00時はうろ覚えで不正確

2.00　ログ約210MB　index 約42MB
2.02　ログ236MB　index 44.8MB

250MBになったらまた確認して正確な結果出します・・ん、2.00に置き換えて作り直せば完璧か！

326:名無しさん＠お腹いっぱい。
09/06/15 22:43:54 L+SUd0B3P
あ、作成速度向上・サイズ削減の比較対象が1.00とかだったり？

327:名無しさん＠お腹いっぱい。
09/06/15 23:10:13 L+SUd0B3P
失礼しますた、うろ覚えすぎたようです

>>325修正
2.00　ログ236MB　index 50.5MB
2.02　ログ236MB　index 44.8MB
時間は計ってませんが、約8.9%の削減率(・∀・)

328:名無しさん＠お腹いっぱい。
09/06/15 23:14:14 L+SUd0B3P
あれ連投お許しをｗｗｗ
約11%の削減率ですた(ﾉ∀・)ｱﾁｬｰ

329:名無しさん＠お腹いっぱい。
09/06/16 17:46:23 C4eV3YqL0
オレメモ
V2.02にて作成時間が呆けてしまった(01:30から始めたと思ったけど脳ﾎﾞｹが始まったぽい。
ﾌｧｲﾙﾘｽﾄ作成が01:30で実際のINDEX作成が2:50なのかな？)
INDEXフォルダのファイル日時02:50最旧時間、最新時間13:47

windowsXPのNTFSフォーマットでフォルダのプロパティにてディスク上のサイズ。
D:\Program Files\Accessories\2ch\2chjanelog\Logsフォルダ内
(画像ｷｬｯｼｭは別ﾌｫﾙﾀﾞだが、janeのﾛｸﾞﾌｫﾙﾀﾞは.idx・.db・その他があるのでﾌﾟﾛﾊﾟﾃｨ役に立たず)
ファイル数933,931個フォルダ数1,528にて 87.6GB

E:\o2on\datフォルダ内
ファイル数717,165個フォルダ数109,044にて 76.7GB

F:\threadsearch\indexフォルダ内
ファイル数5,852個フォルダ数0にて 32.2GB(41.6GBから随分減った)

threadsearch.exe実行にて詳細設定画面
ファイル数1,496,442個との事

330:cen ◆Am9xOgNMYE
09/06/17 00:47:29 lzOTGmvO0
>>322-324
その機能は無いです。
すみませんが、ログのフォルダからURLを特定できないのです。
ブラウザによって推測はできますが、特定できる情報が無いのです。
あると便利だと思いますが、推測のURLを表示したりすることになります。

>>324
なるほどです。
そういうメモがあると便利かもしれないですね。

331:cen ◆Am9xOgNMYE
09/06/17 00:54:38 lzOTGmvO0
>>325-329
書き込みどうもです。
ログとインデックスのサイズの参考になりました。
>>320の比較対象は2.01です。
現状ではインデックスサイズが一番大きくなるのが2.01です。
（memory_index_xx.txt などを追加しているため)

332:cen ◆Am9xOgNMYE
09/06/17 00:56:58 lzOTGmvO0
スレのURLをある程度手動で設定したら、
もしかしたらできるかも？

333:名無しさん＠お腹いっぱい。
09/06/17 18:24:35 7yptC7kI0
>>332
通常、URLからlogファイルパスを特定する時
ボード一覧からsrv＋bbsに一致する部分があれば、そのカテゴリ、板名を取得するって感じだと思うのですが

逆にカテゴリ＋板名から　srv＋bbsを取得するっていうのもできるんじゃないかなぁと。
専ブラのボード一覧とthreadsearchが取得したボード一覧が同じである必要性はありますが。

個人的には推測でもいいのでほしいところです。

334:302
09/06/18 22:44:27 Twsk2Ff50
2.02でまた一から再構築したら、45分に短縮された。
確かに早くなってますな。

335:名無しさん＠お腹いっぱい。
09/06/21 21:01:38 ivShj4AhP
要望です。

外部ツールから起動させるとDLLをロードしません。
カレントディレクトリをEXEフォルダに再設定する機能とかつけられませんか？

336:名無しさん＠お腹いっぱい。
09/06/21 21:28:05 NnvP19Xz0
外部ツールへの要望かよ。

337:cen ◆Am9xOgNMYE
09/06/26 01:30:22 TSvE8NlF0
>>333
レスどうもです。
実際にするとなるとファイル名も「1204107839.dat」などで同じに
する必要がありますが、できなくはないかもですね。

>>334
どうもです。
もしかしたらCPUの種類で短縮できる時間が
違うかもしれないです。

>>335
指摘ありがとうです。
カレントディレクトリの設定は行っていないので、呼び出し元の
ディレクトリがカレントディレクトリになりますね。
考えて見ます。

>>336
こっちであっています

338:名無しさん＠お腹いっぱい。
09/07/05 05:25:20 rCPgZ7Wd0
>>324
>>322 俺もこの機能はほしす･･･
連携させたい。

同じ全文検索ソフトのdatEは2chブラウザ指定して連携できてその点は使いやすい
しかし、こちらはスレタイトルで絞込みとか全然できないｗ

>>330
> ブラウザによって推測はできますが、特定できる情報が無いのです。
あれ？そうなんだ…
datEはどうやってんだろ

339:名無しさん＠お腹いっぱい。
09/07/05 06:43:28 rCPgZ7Wd0
datE参考に適当にアルゴリズムでっちあげた

・thread_number = スレッド番号
・idx_txt = thread_number + ".idx" のファイル名のファイルから中身を読む
・board_uri = idx_txtの6行目を抽出
　( board_urlの例:URLﾘﾝｸ(anchorage.2ch.net) )
・board_uriを以下のように分解
　・uri_scheme: URIスキーマ（例:http）
　・uri_host: ホスト名(例:anchorage.2ch.net)
　・uri_path: パス(例：/livemarket2)
　※C#なら Uriクラスのnewにboard_uriを渡して生成すれば一発で全部取れる
　Uri クラス (System): URLﾘﾝｸ(msdn.microsoft.com)(VS.80).aspx
・tread_uri = board_uriからスレッドURLを組み立てる
　例：tread_uri = sprintf("%s://%s/test/read.cgi%s/%d/", uri_scheme, uri_host, uri_path, thread_number)

あとは、この tread_uri を指定の2chブラウザに渡せばOKのはず

340:名無しさん＠お腹いっぱい。
09/07/05 06:45:02 rCPgZ7Wd0
>>339
はJane依存(.idxファイルが)かもしれないので注意してください

341:cen ◆Am9xOgNMYE
09/07/13 01:24:02 hCCvsHzo0
>>339-340
情報をどうもです。
多分DatEはJane専用のソフト(HPより)なので、その方法で
してるかもしれないですね。
他のブラウザも使えるようにすると、別の方法が必要だと
思っています

342:名無しさん＠お腹いっぱい。
09/07/13 12:43:38 6mSlkssX0
せめて外部プログラムを指定してdatのパスとレス番を渡せれば
スクリプトでもかましてJaneで開くことは出来るんだけど

343:名無しさん＠お腹いっぱい。
09/07/18 08:17:27 Buu+6+Io0
実行ファイルをＮＡＳ上に移したらエラーが出て起動できないんですけど…

344:名無しさん＠お腹いっぱい。
09/07/18 17:32:56 G73DfW4X0
>>343
おかなきゃいい

345:名無しさん＠お腹いっぱい。
09/07/18 17:45:10 Buu+6+Io0
せめてインデックスだけでも別ドライブに置けませんかね…

346:名無しさん＠お腹いっぱい。
09/07/18 23:55:16 Vpvt3MoN0
>>343
>>297

347:名無しさん＠お腹いっぱい。
09/07/20 21:39:30 7jwUlejL0
やっぱりエラーが出るんですけど…

348:cen ◆Am9xOgNMYE
09/07/25 16:54:26 IL4qUKkr0
NASで動かしたらどうなるのか、あまり調べてなかったので
調べてみました。NASは持ってないのでPCをNASのように使ってみました。

①XP PCにThreadsearchをインストール　Vista PCで使用
　[Vista]→使用→[XP(Threadsearch)]

　→起動可能、検索できるが検索結果が正しく表示できない

②Vista PCにThreadsearchをインストール　XP PCで使用
　[XP]→使用→[Vista(Threadsearch)]

　→起動できない

今のところ、全てローカルでソフトを使用することを想定してます。

349:名無しさん＠お腹いっぱい。
09/07/26 01:50:26 jYmGdGPe0
了解しますた

350:名無しさん＠お腹いっぱい。
09/08/02 17:57:25 4xlwp7SfO
あげ

351:名無しさん＠お腹いっぱい。
09/08/08 00:34:31 RoO7dqsf0
検索結果にスレ立て日とか最終書き込み日とかスレ数とか情報を出したり
それで並べ替えとかできるようにならないですかね

352:302
09/08/09 14:15:54 jTRokZLo0
なんか勘違いをしていて、>>334は2.00で計測していたぽいです。
先ほど2.02で再構築した結果(約32500スレ、4.5GB)、30分で終わりました。
インデックスの容量も931MB→836MBと結構圧縮されてますね。

毎度ながら参考まで。