[表示 : 全て 最新50 1-99 101- 201- 301- 2chのread.cgiへ]
Update time : 05/09 09:46 / Filesize : 100 KB / Number-of Response : 353
[このスレッドの書き込みを削除する]
[+板 最近立ったスレ&熱いスレ一覧 : +板 最近立ったスレ/記者別一覧] [類似スレッド一覧]


↑キャッシュ検索、類似スレ動作を修正しました、ご迷惑をお掛けしました

2ちゃんねるスレッド全文検索・・・ThreadSearch



1 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/02/27(水) 19:23:59 ID:LnN9ZP+r0]
ttp://www.geocities.jp/cen_hp
他の2chブラウザと連携できるといいな

75 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/05/09(金) 23:17:30 ID:9tPKF/2D0]
俺も3つの2chブラウザ使ってるから、順番に検索してくれたら助かるな

76 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/05/09(金) 23:39:32 ID:9tPKF/2D0]
ああ、よく考えたらログフォルダ作って全部その下に移動させればいいのか

77 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/05/11(日) 01:14:04 ID:rI+U6KpG0]
.NETじゃなくVCじゃ無理なの?
起動時、糞重くてしょうがないんだが

78 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/05/11(日) 02:16:35 ID:PFNSvUPe0]
VCは.NETに比べて手間が10倍くらいに増えるからな。

起動速度だけのためにそんな手間はかけてられないって感じじゃね?

79 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/05/11(日) 18:51:41 ID:gQon1txW0]
8.4ギガ程のログで3ギガ程のindexが出来ますた。

80 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/05/11(日) 19:14:25 ID:Znmvmy7U0]
DesktopHE
ttp://freemind.s57.xrea.com/desktophe/index.html
↑datはサポート外で、datファイルの表示は固まるかと思うほど遅いすが
探してくるのは速いしインデックスの作り方とか参考にならないでしょうか

81 名前:cen ◆Am9xOgNMYE mailto:sage [2008/05/18(日) 23:15:54 ID:+yfWcw6T0]
>>74>>75
ログフォルダが複数あるときですか。
それは思いつきませんでした。

>>77
大体>>78さんの通り、重いですが作るのが割と楽なので.NETを使っています。

>>80
そういうのもあるんですか。
ちょっと見てみます。

82 名前:名無しさん@お腹いっぱい。 [2008/05/23(金) 20:17:03 ID:UH4K7XDzO]
age

83 名前:名無しさん@お腹いっぱい。 [2008/06/01(日) 14:35:57 ID:iGifQDnZ0]
+   +   ワクワクテカテカ
  ∧_∧  +
 (0゜・∀・)
 (0゜∪ ∪ +   index追加型、急かしてないよ?        
 と__)__) +



84 名前:名無しさん@お腹いっぱい。 [2008/06/01(日) 23:46:08 ID:63eV6hEF0]
急がせてるwwwwwwwwwwww

85 名前:名無しさん@お腹いっぱい。 [2008/06/02(月) 22:00:16 ID:xloWUVFk0]
+   +   ワクワクテカテカ
  ∧_∧  +
 (0゜・∀・)
 (0゜∪ ∪ +   急かしてないよ、ホントだよ?        
 と__)__) +

86 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/06/03(火) 14:01:04 ID:5GdvKxzv0]
Janeログをインデックス化して高速検索する「dat検索」 :教えて君.net
ttp://www.oshiete-kun.net/archives/2008/05/janedat.html
Datファイル全文検索ソフト DatE
ttp://frozenlib.net/DatE/

こっちが2.0ならむこうは3.5か…
誰かユーザーの事考えたC++製の全文検索ソフト作れよ


87 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/06/03(火) 14:31:24 ID:i98vc4zJ0]
Jane系に限定するならJaneViewでも使ってりゃいいじゃない
インデックスサーチなら他の100倍は早い

88 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/06/03(火) 20:13:08 ID:NItC+Ua+0]
ずっとJane使ってたら、メモリ使用量が300Mになった…
V2Cくらいメモリ使用量決められたらいいんだけどなぁ

89 名前:名無しさん@お腹いっぱい。 [2008/06/07(土) 15:31:32 ID:6OP9T2Vu0]
週末きたけどそろそろバージョンくる?

90 名前:名無しさん@お腹いっぱい。 [2008/06/13(金) 22:02:47 ID:+0Vv0YEo0]
週末くるけどそろそろバージョンくる?

91 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/06/13(金) 22:13:22 ID:C4TWwqL/0]
「バージョンくる」の意味が分からなかったのでグッてみた

ver・sion

━━ n. 翻訳, 訳書; (時にV-) (聖書の)…訳[版]; 解釈; 異説; (個人的な観点からの)説明; 翻案, 編曲.


92 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/06/17(火) 00:56:18 ID:Xfg2HjBN0]
たぶん「そろそろバージョン」っていう新しいバージョンが来るんじゃマイカ?

93 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/06/21(土) 00:53:55 ID:yQj9zf0a0]
>86
バージョンこないから試してみようとしたけど起動しないや・・・



94 名前:名無しさん@お腹いっぱい。 [2008/06/22(日) 14:26:00 ID:pB/qsvyu0]
俺は白鴎院理人(はくおういんりひと)。 御茶ノ水に事務所を構える私立探偵だ。
俺は帝都を騒がす怪人物、蜘蛛男を追っている。 奴が目撃され始めたのは数週間前のこと。
はじめは酔客の間で交わされる噂話に過ぎなかった。 夜の帝都を飛び回る不気味な怪人物がいる。
路地裏で人を喰らっているところを見た。 こうした噂話は、帝都では珍しいものではない。
近代化を成し遂げ、震災から復興しても尚、 人々は夜の闇に怯え、怪しげな噂を作り出す。
だが、蜘蛛男の噂は一時に止まらず増え続けた。 それが低級雑誌で取り上げられるようになり、
最近では大新聞までもが蜘蛛男の記事を載せている。 こうなると警察も黙ってはいない。
多くの人員を割いて捜査に当たっているらしい。 しかし、今のところ蜘蛛男の逮捕には至っていない。
それどころか奴が何者で何の目的があるのかさえも、 未だ判明していないのだ。
奴が何者であったとしても、 帝都を騒がす怪人物を放っておくことはできまい。
そこで私立探偵である俺もまた、蜘蛛男を追っていた。 この俺が蜘蛛男を捕えてみせる。
\_____ _________________________________/
         ∨
           ___                _
       / ____ヽ           /  ̄   ̄ \
       |  | /, −、, -、l           /、          ヽ きみ頭だいじょうぶ?
       | _| -|○ | ○||         |・ |―-、       |
   , ―-、 (6  _ー っ-´、}         q -´ 二 ヽ      |
   | -⊂) \ ヽ_  ̄ ̄ノノ          ノ_ ー  |     |
    | ̄ ̄|/ (_ ∪ ̄ / 、 \        \. ̄`  |      /
    ヽ  ` ,.|     ̄  |  |         O===== |
      `− ´ |       | _|        /          |

【 南極堂...断罪アイアンメイデン 】  www42.atwiki.jp/ironmaiden/

95 名前:cen ◆Am9xOgNMYE mailto:sage [2008/06/24(火) 19:11:24 ID:E9lO0sbvO]
どうもです。

ちょっと忙しくてできていないですが、
今はインデックスの方式を考え直しているところです。

96 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/06/25(水) 00:16:50 ID:EIbNz7bk0]
待ってます

97 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/06/25(水) 00:18:37 ID:YlNT0tor0]
待っています。

98 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/07/06(日) 13:26:22 ID:eE09r6G00]
みみずん検索とかは一瞬に近い状態で検索結果が出るけど
これは意外と時間かかるよね?

これってハードウェア性能の違い?それともindexの方式違い?
どっちが原因として大きいんだろ。

indexをRAMディスクに置いて、DATをRAID0・5・6に置いても
とても一瞬じゃ表示出来なそうだけど。


あ、従来の検索と比べたら遥かに恩の字ですから
ケチ付けてるんじゃなく素朴な疑問です。

99 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/07/06(日) 19:54:39 ID:y2E+4QJQ0]
>>98
何言ってる

100 名前:cen ◆Am9xOgNMYE mailto:sage [2008/07/06(日) 23:14:28 ID:q9kMgqrU0]
>>98
どうもです。

このソフトでは保存してる全てのログから、検索語を漏らすこと無く
検索するので他のものより遅いのではと思います。
ソフトの性能かもしれないです。
みみずん検索の仕組みがどういうものか知りませんが・・・

101 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/07/07(月) 00:57:51 ID:5BhNo3f50]
>100
あ、そっか。
みみずん検索は検索板を指定しましたね。
長期使ってないから全板検索だと勘違いしてました orz

102 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/07/08(火) 18:45:38 ID:7pqwNnqn0]
>>98
一般的なWebサーチエンジンは単語単位の検索結果をあらかじめ作ってる。
新しく見つけたページに「2ch」「モナー」という単語があったときは、2ch.txtとモナー.txtにそのページのアドレスを追加する。
「2ch モナー」で検索されたときは2ch.txtとモナー.txt両方に載っているアドレス一覧を表示するといった感じ。
ただし、ここでいう「単語」とはあらかじめリスト化されたものと機械的に認識されたものなので
でたらめな文字列で検索した場合は表示されない可能性もある。

103 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/07/09(水) 00:47:48 ID:cknHTRJD0]
>102
なるほど。
そうしちゃうと今より高速化はしてもindexが肥大しそうですね。

今は8.5Gのログに対しindexが3.2Gです。



104 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/07/13(日) 21:04:23 ID:TYBbxl0u0]
>>103
日本語対応の全文検索インデックスはでかいよー。
特に完全検索用のN-Gramインデックスは、たとえば「本日は晴天なり」って書いてあるテキストが
あったとすると
 本日
 日は
 は晴
 晴天
 天な
 なり
というそれぞれの文字列についてインデックスを作成する。
検索時には、たとえば「本日は」で検索されたら「本日」「日は」の両方にのっているファイルを
検索結果に表示する、という方式。
確実なんだけどでかい。

105 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/07/15(火) 15:00:25 ID:aKLBDNVH0]
みみずん氏でこんなもんか。
ttp://mimizun.com/spec.html

106 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/07/20(日) 02:22:48 ID:AbTJvetU0]
「Windows Vista の検索において、語句が検索されない場合がある」
support.microsoft.com/kb/952003/ja

「アクセスコントロールリスト」 があるのに "コントロール"を検索できません。
これは仕様です。日本人はfindとかfindstrを使いなされ。
 

107 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/07/21(月) 01:11:23 ID:ZxbJSK1r0]
テキストのフィルタが駄目すぎだなあ
IMEの件といい、ほんとMSは日本語に弱くなったな

108 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/07/29(火) 11:45:39 ID:LDh0pw/C0]
そんなんだからMS社員がATOK使いたいとか言い出すんだ。

109 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/07/29(火) 18:21:33 ID:DRzfVr9G0]
中国優先だからな

110 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/07/29(火) 19:00:16 ID:CDdAnnOZ0]
優先というか、メイドインチャイナ

111 名前:cen ◆Am9xOgNMYE mailto:sage [2008/07/31(木) 01:33:49 ID:Au4b/2RR0]
こんばんは

>>104
このソフトのインデックス方法もそういう方法使ってますね。


112 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/08/02(土) 23:36:16 ID:fGnZ88+/0]
屑HDにログ移行したんだけど、残り容量少なくてINDEX作りきれなかった orz

113 名前:cen ◆Am9xOgNMYE mailto:sage [2008/08/03(日) 23:09:35 ID:kqhImIQB0]
今のところ、新しいindexの形式で、index作成と読み込みのテストが
できています。
更新部分を作る前に公開するかもしれません。
何時になるかは不明ですが。

>>112
実験では現在と比べて約40%のindex容量が削減できています。
今よりも多少はディスク容量を使わなくて済む予定です。



114 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/08/03(日) 23:16:21 ID:BhOIA6SJ0]
>>113
乙です
四割もすか、わくわくしながら待っています。

115 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/08/05(火) 00:44:24 ID:WlBy3GoL0]
  ∧_∧ ttp://www.geocities.jp/cen_hp/
 ( ・∀・) ドキドキ
 ( ∪ ∪
 と__)__)

116 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/08/05(火) 07:05:18 ID:YBb9bfzK0]
禁断の壷のDATが検索できないようですが未対応ですか?

117 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/08/05(火) 19:08:19 ID:tQ0LETlx0]
    ∧_∧
    ( ・∀・)ワクワク
  oノ∧つ⊂)
  ( ( ・∀・)ドキドキ
  ∪( ∪ ∪
    と__)__)

118 名前:名無しさん@お腹いっぱい。 [2008/08/08(金) 17:59:32 ID:/1wQ4+P70]
    ∧_∧
    ( ・∀・) ドキドキ
  oノ∧つ⊂)
  ( ( ・∀・) ワクワク
  oノ∧つ⊂)
  ( ( ・∀・)
  ∪( ∪ ∪
    と__)__)

119 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/08/09(土) 06:06:28 ID:oXes19LT0]
                        ,、ァ
                        ,、 '";ィ'
________              /::::::/l:l
─- 、::::;;;;;;;;;`゙゙''‐ 、    __,,,,......,,,,_/:::::::::/: !|
  . : : : : : : `゙'ヽ、:::゙ヾ´::::::::::::::::::::::`゙゙゙'''‐'、. l|
、、 . : : : : : : : : r'":::::::::::::::::::::::::,r':ぃ::::ヽ::::::::ヽ!
.ヽ:゙ヽ; : : : : : :ノ::::::::::::::::::::-=・=-、゙:::   -=・=-:'、
. \::゙、: : : :./::::::::::::::;、-''"::::::::::   ,...,:::,::., :::':、
   ヽ:ヽ、 /:::::::::::::::::::::::::     _  `゙''‐''"  __,,',,,,___
     `ヽ、:::::::::;;;、、--‐‐'''''',,iニ-    _|  、-l、,},,   ̄""'''¬-
   _,,,、-‐l'''"´:::::::'  ,、-'" ,.X,_,,、-v'"''゙''yr-ヽ / ゙゙'ヽ、, ゴリゴリゴリ・・・
,、-''"    .l:::::::::::;、-''"  ,.-'  ゙、"|    /  冫、     ヽ、
       l;、-'゙:   ,/      `| /| |   /. \
     ,、‐゙ ヽ:::::..,.r'゙       (( // | |  /    ヽ.  マズッ・・・
   ,、‐'゙     ン;"::::::.        U  .U  / >>118
  '     //:::::::::            {.
        / ./:::::::::::::            ',
.    /  /:::::::::::::::::.            ',.


120 名前:cen ◆Am9xOgNMYE mailto:sage [2008/08/10(日) 02:40:10 ID:iURE0WpC0]
>>116
どうもです。
検索できるのは、2chのサーバにあるそのままのdatファイル
のみになっています。
こんな感じのファイルです。
pc11.2ch.net/software/dat/1204107839.dat

121 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/08/10(日) 02:51:18 ID:3MKwS0Q50]
壺のdatは少しだけ違うよな。生datではない

122 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/08/10(日) 05:29:10 ID:WVmYSL3q0]
>>120
そうですか・・・
壷はファイルの先端に今取得した時間と前取得した時間とレス数追記して
生DATとは違うファイルになってるから対応するのは面倒そうですね・・・

123 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/08/10(日) 05:36:29 ID:WVmYSL3q0]
壷のDAT見た限り0x88(136バイト)目まで壷DAT用のヘッダー?に上のレスで書いたやつを追記してるみたいですね。



124 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/08/10(日) 05:56:58 ID:WVmYSL3q0]
今手元の壷用DATの先端0x88(136バイト)を削ってDATでThreadSearchを使用して検索できた事を報告しておきます。
使用する時はこれでいきます。
素晴らしいソフトありがとうございます。

125 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/08/10(日) 22:06:13 ID:yPWwed/n0]
へぇ
Jane系だとメタ情報はidxファイルに分けるけどね

>>120
1行目の読み出し時に自動認識できそうな気がしますがいかがでしょうか?

126 名前:cen ◆Am9xOgNMYE mailto:sage [2008/08/11(月) 18:37:08 ID:cL7eaFC40]
できそうな気もしますが、壷を入れてdatをいろいろ見てみないと
いけないので、ちょっとめんどうかも。
それに今作ってるのやつがあらかた出来上がっているので。

127 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/08/13(水) 02:41:42 ID:ZgCCI6gx0]
乙です
>あらかた出来上がっているので
わくわく

128 名前:cen ◆Am9xOgNMYE [2008/08/13(水) 19:08:16 ID:dHKGFOYl0]
スレッド全文検索を更新しました。
Ver 1.60になりました。
www.geocities.jp/cen_hp

更新点は以下です。
 インデックスを改良して高速に作成、検索できるようにしました。
 ウインドウサイズを記憶するようにしました。
 検索結果の下ペインに上ペインのリンクを追加しました。

インデックス化の方法を変えたので、今までのものより
約2〜3倍 高速に検索できます。
場合によりそうでない時もありますが。
あと、インデックス作成時間も短くなりました。

詳しくはこちらを
www.geocities.jp/cen_hp/threadsearch.html

129 名前:名無しさん@お腹いっぱい。 [2008/08/13(水) 21:16:58 ID:tyXgUR9P0]
キタ━━━ヽ(゚∀゚)ノ━( ゚∀)ノ━(  ゚)ノ━ヽ(  )ノ━ヽ(゚  )━ヽ(∀゚ )ノ━ヽ(゚∀゚)ノ━━━!!
        へ )   (  ノ  (  )ノ   (  )   へ  )   へ )    へ  )
          >    >    <      <       <      >      >

130 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/08/13(水) 21:25:48 ID:tyXgUR9P0]
えーすまん。
>詳しくは
と、readme.txtを見たけど、INDEXの追加作成は可能になったの?

131 名前:cen ◆Am9xOgNMYE mailto:sage [2008/08/13(水) 22:55:06 ID:dHKGFOYl0]
>>130
すみません。
書いてなかったです。
今回のバージョンでは追加(更新)の機能は付いていないです。
次回で付ける予定です。

132 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/08/13(水) 22:56:38 ID:tyXgUR9P0]
>131
ありゃ残念。
でも次回更新を楽しみに待ちながらVer1.6使わせていただきます。

133 名前:名無しさん@お腹いっぱい。 [2008/08/17(日) 17:23:51 ID:6fFreaBo0]
age



134 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/08/28(木) 20:58:59 ID:jxwyolAJO]
sage

135 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/09/01(月) 16:11:16 ID:fWSvEAsU0]
アイコンぐらい作って

136 名前:cen ◆Am9xOgNMYE mailto:sage [2008/09/02(火) 00:34:17 ID:acTGZjvR0]
>>135
そういえば、誤反応スクリプト無効化ソフトはアイコン作ってましたが、
これは作って無かったですね。

とりあえず、ぼちぼち更新部分作ってます。
ちょっとトップの説明変えてみた。
www.geocities.jp/cen_hp/threadsearch.html

137 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/09/07(日) 19:48:17 ID:bm0qvVYIP]
>136
楽しみにしてます。

138 名前:cen ◆Am9xOgNMYE mailto:sage [2008/09/14(日) 01:18:55 ID:ZtimSfQL0]
どうもです。

とりあえず、今のところこんな感じです。
sakuratan.ddo.jp/imgboard/img-box/img20080914011755.jpg

139 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/09/14(日) 08:47:05 ID:ALOAkBNV0]
ログの結果が、「日付+時間」のフォルダではなく、指定したフォルダに毎回上書きができるとありがたいです

140 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/09/14(日) 09:29:58 ID:ALOAkBNV0]
要望追加で
検索日付範囲が固定されてしまうとバッチ処理には不便なので
今日のみ とか 何日前まで などができるとありがたいです

141 名前:cen ◆Am9xOgNMYE mailto:sage [2008/09/17(水) 00:19:34 ID:/BQyVYWF0]
レスと意見をどうもです。
ちょっと考えて見ます。

142 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/09/17(水) 13:20:48 ID:5bqPFX5b0]
あのねあのね
デスクトップにショートカット作って置いてるんだけど、
次のバージョンアップでアイコン付けて。

143 名前:cen ◆Am9xOgNMYE [2008/09/21(日) 00:10:11 ID:hfJlKawQ0]
スレッド全文検索を更新しました。
Ver 1.70になりました。
www.geocities.jp/cen_hp

更新点は以下です。

インデックスを更新できるようにしました。
板で絞込みができるようにしました。
検索結果を保存するフォルダ名を指定できるようにしました。
アイコンを付けました。
検索語句を半角スペースで区切ることでAND検索ができるようにしました。
→「AAA BBB」だとAAAかつBBBがあるレスを検索します。



144 名前:cen ◆Am9xOgNMYE mailto:sage [2008/09/21(日) 00:15:00 ID:hfJlKawQ0]
インデックス方法は1.60と同じですので、検索速度はほぼ同じです。
多少インデックス作成時間が短くなりました。

あと、アイコンが下手なのはセンスがないからです。

145 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/09/21(日) 02:17:22 ID:z9hYJDWq0]


146 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/09/22(月) 02:38:15 ID:kpTt79bC0]
ウヒョー
更新乙です。

147 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/09/22(月) 23:51:55 ID:z7yz22TN0]
index作成中もしくはindex一覧?(最初にファイル一覧作るやつ)作成中に
janeで新たにログを取得しちゃっても問題無いのでしょうか?
index作り損ねたログは次回のindex更新に回るから平気?

作成開始から4時間で9%ほどなのでついついjane起動して2ちゃん
巡回始めちゃいました。
もちろん作成終了までソフト停止するつもりはないのですが。

148 名前:cen ◆Am9xOgNMYE mailto:sage [2008/09/23(火) 13:02:36 ID:KQ8g+RNV0]
どうもです。

>>147
問題ないです。
インデックス作成では下の流れになります。
1.インデックス化するファイルリスト作成
2.インデックス作成(ファイルリスト使用)

1が終わってから取得したスレッドは2で反映されませんが、
次回のインデックス更新には反映されます。

149 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/09/23(火) 13:53:13 ID:D7MsH4va0]
>148
了解しますた。

夕べ19時半から始めて現時刻92%
ハァハァあと少しだ。

150 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/09/23(火) 14:12:45 ID:Z7eZQJpB0]
>>149
どんだけ時間かけてるんだww
がんばれー

151 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/09/23(火) 16:29:19 ID:D7MsH4va0]
買い物から帰ってきたらおわってたー。

スレッド全文検索による計上でdatファイルが765,875個あった場合
24時間は掛からないと参考までに。
index作るのに掛かった時間をその回だけでいいから
どこかに記録残してくれると他者の参考になりそうなんだけどね。

152 名前:cen ◆Am9xOgNMYE mailto:sage [2008/09/23(火) 22:53:10 ID:KQ8g+RNV0]
>>151
随分沢山ありましたね。
一応自分の分の結果は参考程度に小さく書いてみてます。
www.geocities.jp/cen_hp/threadsearch.html#7

153 名前:cen ◆Am9xOgNMYE mailto:sage [2008/09/23(火) 23:50:43 ID:KQ8g+RNV0]
一応ですが、インデックスを更新する時には、
現状のインデックスと同じくらいのディスク容量が必要です。
ちょっと気をつけてください。



154 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/09/24(水) 13:54:08 ID:J63SARa20]
>153
テンポラリですかね?
CドライブにOS
DドライブにJaneログ
Dドライブにマウントした実質別ドライブにthreadsearch本体&INDEX
なんですが、どのドライブで空き容量が必要になりますか?
もっともCとマウントしたドライブにはINDEX以上の空き容量はあるのですが。

155 名前:cen ◆Am9xOgNMYE mailto:sage [2008/09/25(木) 00:30:22 ID:brnEV5SB0]
>>154
そうです。
一時的に必要な領域です。
インデックスを参照するので、threadsearch.exe と同じディレクトリに
インデックスとほぼ同じ領域が必要です。

上ならDドライブです。

156 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/09/25(木) 00:38:24 ID:ga5LtC9z0]
やっと規制解除。。。
とても、乙です

新バージョン1.70楽しみー
さぁ、寝てる間に動かそう

157 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/09/26(金) 01:34:43 ID:wK6+AhGE0]
>155
了解っす。

158 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/09/29(月) 19:17:01 ID:mkGHu2sm0]
うーむ、全板のINDEXが17.6GBあり、スレッド全文検索ver1.70内で
指定したターゲットの板ログが4.75GBでファイルが47,182個の中から
「IPv6」って単語を検索し始めて18時間位経ったけどまだ「インデックス読み込み中」
表示でバーがピロピロしてる orz

159 名前:cen ◆Am9xOgNMYE mailto:sage [2008/09/29(月) 23:08:41 ID:6WsFQZ0BO]
>>158
どうもです
まだ検索中ですか?
量が多くてもそれは遅いと思います

他の10文字や20文字などの文字数が多い
言葉でも遅いですか?

そうならバグがあるかもしれないです。

それからインデックスを使うと、検索時に全ての
インデックスを流し読みします。

160 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/09/29(月) 23:51:45 ID:mkGHu2sm0]
結局バーはピロピロ動いているのですが、検索が終了しないので中止しました。
IPv6を指定した板は見た記憶があった程度で本文をと思い検索させたのですが、
今回は一端あきらめて、今度は自作板を指定して必ず検索ワードがある「HighPoint Technologies」を
検索したところ検索終了されるまでは、23時25分52秒開始で23時50分00秒で「インデックス読み込み中」
あ、あれ?落ち着いて考えタスクマネージャを開いたところCPU使用率0%でメモリも32,296Kのまま何も動いて
ないです・・・

indexファイル・17.6GB・ファイル数2247個、自作板ログ・620MB・ファイル数5507個

161 名前:cen ◆Am9xOgNMYE mailto:sage [2008/09/29(月) 23:57:45 ID:503xbjDJ0]
>>160
どうもです。
多分バグがあると思います。
インデックスの作成か読み込みにバグがあるのではと思います。
インデックス化する範囲を狭くするとうまくいくかもしれません

162 名前:cen ◆Am9xOgNMYE mailto:sage [2008/09/30(火) 00:05:33 ID:1GQ2M1Kk0]
CPU100%で無限ルーうかと思いましたがちょっと意外です。
調べてみます。
>>160
threadsearch.exeのあるフォルダの中のindexのフォルダにある、
read_list.txtは検索時に出来ていますか?
あるなら最後の行は何になっていますか?

163 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/09/30(火) 00:09:09 ID:ODvUkBsR0]
AOpenマザーi855GMEm-LFS
PentiumM 1.5G
windowsXP SP3
OSの入ってるHDはマザーIDEマスタに繋いだシーゲートST3320620A
janeログはマザーIDEセカンダリに繋いだシーゲートST3500630A
threadsearch.exeとindexフォルダにあるのはマザーオンボの
Promise PDC20579のSATAポートに繋いだMaxtorの6L200P0をSATA変換で
Dドライブ空きフォルダにマウントって環境です。



164 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/09/30(火) 00:18:21 ID:ODvUkBsR0]
00時10分現在「HighPoint Technologies」も検索されなかったので中止。
で、ご指摘のread_list.txtを見ると、そのファイル無いです・・・

indexフォルダには
file_list_0.txt〜file_list_747.txt、file_time_0.txt〜file_time_747.txt、
maked_path.txt、memory_0.txt〜memory_747.txt、path.txt、search.txt
だけです orz

動作中にもread_list.txtは作成されていません。
(本文のみのチェック、本文と板指定にチェックのいずれも)

165 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/09/30(火) 00:29:40 ID:ODvUkBsR0]
とと、みなさん何も言ってないのであくまで私の環境のみの現象
なんでしょうね。
どうぞごゆっくりお休みください。
当方もindexフォルダを消し再度index作成等やってみますので、何かプログラマ的に
気が付いたら又お願いします。

166 名前:cen ◆Am9xOgNMYE mailto:sage [2008/09/30(火) 00:33:05 ID:1GQ2M1Kk0]
>>164
レスをありがとうございます。
read_list.txtはインデックスを読み込む際に作成されます。
正しくインデックスを読めていません。
プログラムのバグではないかと思います。

とりあえず、インデックス作成フォルダを別のフォルダにしてみて、
インデックスの容量を小さくしてみてください。
想定外のdatファイルをインデックス作成時に読んでいるかもしれません。

167 名前:cen ◆Am9xOgNMYE mailto:sage [2008/09/30(火) 00:35:19 ID:1GQ2M1Kk0]
>>165
せっかく時間かけてプログラム動かして頂いたのに
すみません

168 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/10/01(水) 15:02:00 ID:YgQRkCXW0]
つー事で、ログ容量はそのままにしてindex削除→再度indexを作成、
DドライブマウントをやめてFドライブレター割り当てでもっぺん自作板指定で
「HighPoint Technologies」を検索しながらindexフォルダを見てますが、
やはりread_list.txtというファイルは作成されませんです。

インデックス読み込み中・・・ すぐじゃ作られない?と思い、読み始め10分後に見ても
read_list.txtは作られてないです。

なので今度はINDEXフォルダから手作業で
file_list_0.txt〜file_list_299.txtまでを残し、以降file_list_748.txtまで削除。
file_time_0.txt〜file_time_299.txtまでを残し、以降file_time_748.txtまで削除。
memory_0.txt〜memory_299.txtまで残し、以降memory_748.txtまで削除。
で、再検索後フォルダを見ながら10分待って最新の情報に更新してもread_list.txtは
フォルダに出てこないので検索中止・・・

なので、各99.txtまで残し手作業で削除。
read_list.txt出来ない orz

やけっぱちで各09.txtまで残し以降削除。
read_list.txt出来たー
が削除した各10〜748までのリストの内容までは知らんかったので
read_list.txtの中身は真っ白のファイル。

各10.txtを戻してもread_list.txt出来る。
各50.txtまで戻す、read_list.txt出来る。
各70.txtまで戻す、read_list.txt出来ない&CPU使用率99%から0%になっても「インデックス読み込み中」

169 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/10/01(水) 15:02:39 ID:YgQRkCXW0]
しょうがないので各.txtを70から一つずつ減らして確かめたところ
各52.txtまでread_list.txt出来ました。(各53.txtを戻したり消したりで2回確認)
各53.txtにするとCPU99%から25秒ほどで0%になりread_list.txtも出来ないまま「インデックス読み込み中」表示

PC搭載実搭載メモリ2GB、windowsxp sp3 NTFSオプションデフォルトフォーマット
file_list_0.txt〜52.txt=4,739,593(4,820,992)バイト、file_list_53.txt=89,455(90,112)バイト
file_time_0.txt〜52.txt=651,264(651,264)バイト、file_time_53.txt=12,288(12,288)バイト
memory_0.txt〜52.txt=1,409,772,627(1,409,880,064)バイト、memory_53.txt=20,298,710(20,299,776)バイト
括弧()内はエクスプローラでファイルのプロパティを見たときのディスク上のサイズって方です。
各52.txtまでで1.31GB、53.txtを増やしても1.33GB。

自分で書き出してみたけど搭載メモリ容量はread_list.txtが作られないのに関係無さそう。
古いDATは9桁とかjaneのログフォルダにあったりますが関係ないんでしょうね。
file_list_52.txt・53txtとfile_time_52.txt・53txtに9桁DATは出てきてないですし、
memory_52.txt・53txtは中見ても何々が書いてあるとは言えない暗号文ですね。

素人の書き出し&試しですが、何かの参考になれば幸いです。

170 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/10/01(水) 15:20:26 ID:YgQRkCXW0]
私の環境では現状使えませんが、グーグルの個人情報取得利用などを
ようつべだったかな?にアップされてたのを見ちゃうと、ネットに繋がってる
検索バーでローカルディスクを検索するのはちょっと嫌なので、cenさんが作って
くれてるのはとてもありがたいです。>167

ま、ネット検索はグーグルを使ってますが^^;

171 名前:cen ◆Am9xOgNMYE mailto:sage [2008/10/01(水) 22:41:35 ID:3fA+V5Li0]
>>168-170
調べて頂いてありがとうございます。
インデックス読み込み時のバグだと思います。
おそらくなのですが、以下の原因によりバグが出ています。

・インデックス読み込み時
 「HighPoint Technologies」を検索語として分解すると次の19の部分に分解されます。
 「Hi,ig,gh,hP,Po,oi,in,nt,Te,ec,ch,hn,no,ol,lo,og,gi,ie,es」

 分解した検索語ごとにインデックスを読み、バッファに保存します。
 バッファの必要数は以下の式で出ます。
 必要なバッファ=バッファ「分解した検索語×インデックス数」
 
 バッファの最大数は1024となっています。
 これを超えるとバグになってしまいます。

この場合
 分解した検索語=19
 インデックス数=53(0〜52)
 19×52=1007(1024以下なので正常に読み込み完了)

 分解した検索語=19
 インデックス数=54(0〜53)
 19×53=1026(1024以上なのでバッファを超えてしまう)


バッファが不足している場合を考慮してなかったために、
正しく検索出来ていなかったと思います。
もしかしたら別の原因のバグもあるかもしれません。
次の更新時に修正しようと思います。
バッファは多分1024もあれば十分だと思ってました。すみません

172 名前:cen ◆Am9xOgNMYE mailto:sage [2008/10/01(水) 22:44:50 ID:3fA+V5Li0]
必要なバッファ=バッファ「分解した検索語×インデックス数」

必要なバッファ=「分解した検索語」×「インデックス数」

でした

173 名前:cen ◆Am9xOgNMYE mailto:sage [2008/10/02(木) 22:02:21 ID:vGRFbuOrO]
なので上の場合だと、500近くインデックスがあるので、
検索語が一文字か二文字なら今のバージョンでも
うまくいくはずです



174 名前:名無しさん@お腹いっぱい。 mailto:sage [2008/10/02(木) 23:12:15 ID:Qm1qh5xg0]
ごみ箱から戻したつもりだった各○○.txtが全部戻ってなかったー・・・
いや、新バージョンが来たら再度最初からindex作成するつもりだったので
それは良いのですが。

>検索語が一文字か二文字なら今のバージョンでも
>うまくいくはずです
で、各99.txtまで戻っていたので「HighPoint Technologies」ではなく
「IP」と二文字検索させたらちゃんと検索終了しread_list.txt作成されました。

ご報告まで。

175 名前:cen ◆Am9xOgNMYE mailto:sage [2008/10/05(日) 22:11:36 ID:osxVL/Zq0]
>>174
レスどうもです。
了解しました






[ 続きを読む ] / [ 携帯版 ]

前100 次100 最新50 [ このスレをブックマーク! 携帯に送る ] 2chのread.cgiへ
[+板 最近立ったスレ&熱いスレ一覧 : +板 最近立ったスレ/記者別一覧](*・∀・)<100KB

read.cgi ver5.27 [feat.BBS2 +1.6] / e.0.2 (02/09/03) / eucaly.net products.
担当:undef