全文検索エンジン Hyper Estraier 2

1 名前：名無しさん＠お腹いっぱい。 [2007/04/17(火) 19:56:12 .net] hyperestraier.sourceforge.net/index.ja.html 53 名前：名無しさん＠お腹いっぱい。 [2007/12/06(木) 19:59:56 .net] Chimera Search（キメラ・サーチ） www.osstech.co.jp/product/chimera > 構築コンポーネントに以下のOSS（オープンソースソフトウェア）を利用 > しているため、安価に導入できるのに高性能・高機能を発揮します。 > * プログラム言語： Rubyおよび Ruby On Rails > * 全文検索システム ： Hyper Estraier 54 名前：名無しさん＠お腹いっぱい。 mailto:sage [2007/12/22(土) 14:50:01 .net] 百度でやってるように 會→会 懷→懐 みたいに異体・旧字体・繁体・簡体をまとめてくれるといいのに。 estraier.c のなかの canonize なんとか関数に誰かちょっちょっと書き加えてくれ。 55 名前：名無しさん＠お腹いっぱい。 mailto:sage [2007/12/22(土) 15:24:27 .net] >>53 こういう製品って虚しいよね。 だって、導入６０万、年１２万だったらGoogle MINIの方が 安いし、ハードウェア込みの提供だからメンテフリーだし。 実際，うちの会社はWWW用はGoogleMINI にした。 部内サーバは自分でHyper Estraierをいれた。 56 名前：名無しさん＠お腹いっぱい。 mailto:sage [2007/12/22(土) 17:12:45 .net] >>55 それはそうなんだが、Google MINIってちっとも社内のニーズに合わせてくれなくて不満がでるんだよな。 ページの計算もなんか適当に丸められちゃうし。 57 名前：名無しさん＠お腹いっぱい。 mailto:sage [2007/12/24(月) 16:00:59 .net] コレ使って、某サイトの1万件の記事の全文検索作ったが早いし良いね!! acts_as_searchableの未完成具合に泣いたけどｗｗ Rails系のエンジニアに聞くと皆使ってるし、 結構いろんなサービスでも使ってるみたい。 58 名前：名無しさん＠お腹いっぱい。 mailto:sage [2007/12/27(木) 04:43:21 .net] 最新版のWindows版のバイナリパッケージを配布して欲しい．．． 59 名前：名無しさん＠お腹いっぱい。 mailto:sage [2007/12/27(木) 21:52:28 .net] ありゃ、SennaはともかくHEにもないんだ… 60 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/01/06(日) 02:53:55 .net] (　￣0￣)Ψ　誰かぁぁ　PHP-nativ binding を作ってぇ〜 61 名前：名無しさん＠お腹いっぱい。 [2008/01/29(火) 14:23:57 .net] クローラー＋ノードサーバーを使用した検索をシステムを動かし *****:1978/node/***/search_ui　の形式で検索には成功しました。 次ステップで estraierpure.rb を PHP に移植したという　「EstraierPure for PHP 4.3」を使用し、ClassNodeを利用しましたが、検索結果に同じサイトばかり表示されてしまいます。 １：Pure版には　類似隠匿機能はないのでしょうか。 　　Ruby、Javaにもないようですし.. ２：Binding版（Perl等）には、類似隠匿機能（set_eclipse)があるのですが、classNode　がありません。 　　Binding版で、P2P（ノード）利用した検索をシステムって可能なのでしょうか。 　　CPAN（Search-Estraier）を観ましたが、classNodeがあったのですが、set_eclipseがありませんでした ３：そもそもBinding版とPure版の違いってなんでしょうか。（汗 全く、的外れな質問でしたらお許しください やりたいのは、「P2P＋クローラーでの検索サーバーの構築」です。 62 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/01/29(火) 18:32:53 .net] ノードＡＰＩの場合、est_noderes_eclipse関数。　 Pureには、実装されてないようです。 ＞そりゃ俺がやるから使う側は楽なんだけどさ、面倒くせーことこの上ない。 　ttp://qdbm.sourceforge.net/mikio/rbbs.cgi?id=RA11306060711414945086 63 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/01/30(水) 00:08:19 .net] 5年ぶりになまずを再インストールしたらすごくまともになってた。これでいいじゃん。 64 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/01/30(水) 01:19:12 .net] 5年ぶりかよっ。 65 名前：名無しさん＠お腹いっぱい。 [2008/01/30(水) 02:18:18 .net] 鰤と鯰 66 名前：61 mailto:sage [2008/01/30(水) 14:55:51 .net] 面倒くせーですか.... Ｃでやってみましょうか..１５年ブリ（鬱 67 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/01/30(水) 20:11:19 .net] いくらなんでも鯰でいいはないだろ… 検索漏れ大杉でとても使う木になれん 68 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/01/31(木) 10:15:31 .net] ＞検索漏れ大杉 　ヒント　Mecab 69 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/01/31(木) 14:10:21 .net] namazu+kakasi じゃなくて 鯰＋和布蕪ってこと？ 70 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/01(金) 10:36:19 .net] >>66 Ｃで組むならＱＤＢＭの使いこなしが必要。 関数になれましょう 71 名前：名無しさん＠お腹いっぱい。 [2008/02/07(木) 15:54:15 .net] 景気よくageます. Windows版バイナリパッケージのverは1.4.10で止まったままなんでしょうか. どなたかビルドしておられたらありがたいですが 72 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/09(土) 17:52:06 .net] 1.4.10 で困ることあるのか？ 73 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/10(日) 09:18:20 .net] 辞書データ変換ツール一般についてと (製品版のデータを全部持った)体験版のデータ変換についての話が 入り乱れてないか? 74 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/10(日) 09:19:50 .net] すまん、誤爆した。 75 名前：名無しさん＠お腹いっぱい。 [2008/02/20(水) 02:24:28 .net] これ、データーベース(QDBM）が壊れまくり。 ＤＢが開いた状態で、プロセスが落ちると１００％ぶっ飛ぶ 速いらしいが、こんなん怖くて使えないわ。 どうでもいいような、無くなってもいいデータしか扱えないわ。 さてと、１０００万件のデータ、ゼロから収集だわ（鬱 なんとかならんでしょうかね 76 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/20(水) 02:34:44 .net] なんとかしてみてよ。 77 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/20(水) 08:56:25 .net] 俺もbsfilterでqdbm使ってたらすぐ壊れたんでsdbmに変えた･ﾟ･(つД｀)･ﾟ･ 78 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/20(水) 10:37:59 .net] qdbm.sourceforge.net/mikio/rbbs.cgi?id=RA11226165321819719571 79 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/20(水) 15:07:56 .net] >>77 よかったな! sdbmの方が圧倒的に速いぞ。 80 名前：名無しさん＠お腹いっぱい。 [2008/02/21(木) 13:32:05 .net] まぁ〜、トラック　と ノーヘルどころか、頭蓋骨すらない脳味噌丸出しのバイク便の差。 高速道路で同じ荷物を運んで　どっちの運ちゃんが逝くかは明白。 シートベルト程度の防御は欲しいけど、速さと安全は成り立たないだろね。 ＲＡＭにカキコされたキャッシュ程度のモンよ 81 名前：名無しさん＠お腹いっぱい。 [2008/02/21(木) 18:56:31 .net] >>80 お前喩えのセンスあるな 82 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/23(土) 11:56:39 .net] ＨＥ＋Tokyo Cabinet に変わるまで待てよ 83 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/23(土) 13:45:46 .net] TC ってさらに速さを追求したライブラリなんじゃネーの? 安全性上がるのか? 84 名前：83 mailto:sage [2008/02/23(土) 13:52:41 .net] ああ、 alpha.mixi.co.jp/blog/?p=90 > 耐障害性の向上 : データベースファイルが壊れにくい って書いてあるな。 速度だけでなく安全性も向上するのか。 85 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/23(土) 14:11:07 .net] alpha.mixi.co.jp/blog/?p=98 > QDBMにおいては、データベースを開いているアプリケーションが異常終了した場合、 > もしくはデータベースを適切に閉じずに終了した場合は、データベースが壊れるように > していました。それらは明白なバグであり、アプリケーションの作者やそれを使うことを > 選択したユーザに何らかの意識的な対処を求めることが適切であると考えたからです。 > (中略) > しかし、上記のような理想主義と「上から目線」では現実の問題に対処できないことを > 近ごろ感じはじめました。マナーを守らない/守れないユーザやユースケースも結構な > 割合で存在するのが現実なのです。したがって、TCは、マナーを守らないアプリケー > ションやそのユーザにも宥和する戦略に転換しました。 突然の停電とか当たり前に起こりうる事態なんだから、 バグとかマナーとかそういう問題じゃないと思うんだよな… アプリにバグが無くても OS の不具合で落ちることなんかしょっちゅうだしな。 86 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/23(土) 16:37:48 .net] サバイバビリティの概念がないソフトウェア設計者がいるのか。 能力的に対処できないということはなさそうだから、 実世界の面倒くさいことから逃避するための言い訳か。 > アプリにバグが無くても OS の不具合で落ちることなんかしょっちゅうだしな。 そんな事がしょっちゅうあるようなOSは使わないのが普通。 開発者がアレだとユーザもアレなのが集まるというのを実感しないでもない。 87 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/23(土) 16:53:57 .net] >>86 おまえは Windows を使ったことがないのか? 88 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/24(日) 05:10:28 .net] ●ノードマスタの異常終了（再起動シナイ） 　サーバールートdirの　_pid と　_stop の削除　 ●ＤＢの復旧 　estcmd repair index_path 　 89 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/24(日) 14:10:33 .net] 共有鯖で、クローラーを動かしてますが、突然、 ｢out of memory｣で止まってしまいました。( p_q)エ-ン クローラールートディレクトリ(rootdir)内が飛んだようで 以後、 estwaver crawl rootdir 　で　「could not open」となり起動できません。 メモリが少ないのはわかるのですが、先日までは正常に動作してました。 rootdirの復活方法など対処方法を教えてください　(o*。_。)oペコッ 90 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/24(日) 15:35:47 .net] つ…釣り？ 91 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/24(日) 15:57:55 .net] あるいは「一般人」かも 92 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/24(日) 19:53:33 .net] >>85,86 耐障害性の確保は上位層でやれってことだろ。 オーバーヘッドを減らすためには妥当な技術選択だ。 あんたらが考えてるくらいのことはとっくに考えてるはずだよ。 その例としてTokyo Tyrantでちゃんと耐障害性を確保しているしな。 alpha.mixi.co.jp/blog/?p=147 これベースでHEを作ってくれないかなぁ。 93 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/24(日) 21:47:33 .net] むしろ今後HEが放棄されそうで心配…。 94 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/24(日) 22:47:01 .net] mixi.jp 内で動いているエンジンを表に出して欲しい。 95 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/25(月) 06:44:00 .net] >>92 中見てないけどtokyoestraierってのがそうじゃないの? 96 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/26(火) 12:43:58 .net] >>92 選択肢の一つではあるが、技術的に妥当な選択だとは思わないな。 用途が制約される(上位層やユーザがその要求を履行するのは難しい)という点で。 97 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/26(火) 22:43:32 .net] トレードオフのある技術選択において何が妥当かはユースケース次第だろう。 consistencyを真面目に考えたらそれこそスタンドアロンでは実現できないし。 98 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/02/27(水) 17:41:29 .net] ＨＥはそのまま。 後継は、tokyoestraier（ＴＥ）でしょう。 hyperestraier.sourceforge.net/past/?M=A 99 名前：名無しさん＠お腹いっぱい。 [2008/02/28(木) 13:12:04 .net] DesktopHEでファイルサイズとテキストサイズの上限を調整する方法教えてくれよ。 100 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/03/21(金) 04:12:02 .net] ココもＭＬも過疎ってるし... 101 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/04/03(木) 20:14:51 .net] node配下のインデックスファイルって 別のHEシステムにインポートできないかな。 独立したサーバAで作ったインデックスを 別の独立したサーバBにrsyncで飛ばして してクローン作るとか･･･ 102 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/04/03(木) 21:54:36 .net] rsyncでやってみれば 多分動くでしょ。AとBのアーキテクチャが同じなら 103 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/04/03(木) 23:58:23 .net] Q. ビッグエンディアンもしくはリトルエンディアンのマシン上で動きますか？ A. はい。どちらでも動作します。ただし、双方でインデックスを 共有することはできません。 そうでない場合は共有できるんじゃないの? 104 名前：名無しさん＠お腹いっぱい。 [2008/04/04(金) 10:03:10 .net] > 101 私やってますよ サーバAでestwaverで集めて、サーバBにrsyncで飛ばして、検索はBで ってシステム構築してます AもBも同じPC同じOSですが 105 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/04/04(金) 11:20:55 .net] >>101-102 レス�d バックアップとしても使えそうね てか過疎で誰も居ないかと思ってたけど 人がまだ居て嬉しかった(´；ω；｀)ﾌﾞﾜｯ 106 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/04/04(金) 11:21:29 .net] 安価ミスorz >>102-104 107 名前：名無しさん＠お腹いっぱい。 [2008/04/09(水) 23:28:58 .net] tokyocabinetのwin32版って、どこ？ 108 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/04/10(木) 07:40:41 .net] ttp://tokyocabinet.sourceforge.net/spex-ja.html#faq Q. : Windowsで利用できませんか？ A. : 残念ながらできません。今のところ対応予定もありません。 109 名前：名無しさん＠お腹いっぱい。 [2008/04/10(木) 10:05:57 .net] お、TCのドキュメントでたんだ。 期待age 110 名前：52 mailto:sage [2008/04/17(木) 18:25:17 .net] >>52 >pthreadsライブラリのないシステムで動かしたいんですが Hyper Estraierの前身の Estraierが pthreadsを必要としてなかったのでそっちを入れました。 111 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/04/17(木) 23:37:00 .net] pthはだめなの？ 112 名前：名無しさん＠お腹いっぱい。 [2008/04/18(金) 10:46:20 .net] Windowsで作成したデータベースをFreeBSDにコピーして使用しようと思い「P2Pガイド」の 「初期導入の効率化」を参考にデータベースを作成したのですが、検索が上手くいきません。 FreeBSD側に持っていっても、estsmdでは正常に検索できるのですが、サーバを立ち上げて estcallを使うと、検索結果のヘッダ(ヒット数など)は表示される物の、それに続くはずの 文書一覧が表示されません。 どなたか原因分かる方見えませんか? 113 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/04/18(金) 17:38:32 .net] >>111 GNU pth というのがあったとですか。勉強になりました。 でも本当の UNIX系OSではなくて UNIXエミュレーション環境なので pth では無理かも。 ともかく調べてみます。ありがとね。 114 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/04/24(木) 09:09:51 .net] インデックス作成していたらout of memoryで止まるorz 物理メモリ1GB、仮想メモリ1.4GB使い切る・・・ -ftなんか使う物じゃないんだろうか javaとかのソースコードも見たいんだけどなぁ・・・ 115 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/04/24(木) 23:32:59 .net] インデックス対象に Excel ファイルとか含まれてる? Excel のせいでメモリ不足になってるならこういう話がある pmakino.jp/tdiary/20070501.html#p01 116 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/04/25(金) 00:03:50 .net] なるほど。参考になりました。 大学の研究室のファイルサーバ(約600GB)の検索用に導入しようと試みているんですが 実験のログやそれをとりまとめたxls、論文のdocやpdf、プレゼン用のppt(x)に 実験プログラムなどなど混沌としているため目的のファイルを探すのが容易になればと・・・ -ftじゃなくて.javaなどもテキストファイルとして認識するようにどこか変更すればいいんだろうか。 がんばっていろいろいじってみます 117 名前：名無しさん＠お腹いっぱい。 [2008/05/05(月) 21:20:24 .net] KaMailV3でH.E使っているんですが、mh形式のメールを登録したときに、メール内の添付ファイル名で検索することってできるんでしょうか。 H.E単体で、できないものであれば、あきらめようと思っていますが。 118 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/05/12(月) 02:11:46 .net] Windowsバイナリ版1.4.9を数台のPCに設置＆P2P連携し、 デフォルトの検索インターフェイスやコマンドラインからメタ検索をしているのですが、 似た内容のファイルが複数ヒットすると数件しかスニペット表示されません。 (例えば、5件のファイルがヒットしてもスニペット表示されるのは1件だけとか) 何かオプションを指定するなどしてヒットしたすべてのファイル、 あるいは上位何件かのファイルのスニペットを表示させる、 ということはできないのでしょうか？ 119 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/06/15(日) 02:36:39 .net] Tokyo Estraier hyperestraier.sourceforge.net/past/?M=A てさ、0.0.1とかいうバージョン番号のせいで内容を見る気になってなかったんだけど、 実際見てみたら HE 1.4.13 で Tokyo Cabinet を使えるようにしたものなんだね。 今まではQDBMが壊れやすいせいでHEを敬遠してたのだけど、これは良いかも。 これで実運用してる人とかいるかな？ まあ本命は Tokyo Dystopia なんだけどさ。Rubyバインディングとかつくってほしいなあ。 tokyocabinet.sourceforge.net/dystopiadoc/ 120 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/06/15(日) 18:21:12 .net] 壊れやすいよね。 問題なのは壊れたのに気づかないという・・・ リペアしてもリペア出来てないという・・・ 121 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/06/16(月) 18:24:46 .net] 検索結果をXMLで受け取りたいときはどうしたらいいの？ 122 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/06/16(月) 18:35:51 .net] estcmd なら estcmd search に 　-vxを付けると、属性情報とスニペットをXML形式にして結果を出力します。 ってマニュアルに書いてあるよ。 それ以外は自分でAPI使ってXML返すプログラムを作るってのが 本来の使い方だろうね。 123 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/06/16(月) 18:54:39 .net] APIつくらないとダメかなぁ〜 124 名前：名無しさん＠お腹いっぱい。 [2008/06/22(日) 17:24:43 .net] ２５６Ｍのバーチャルサーバーで動かしてます。 検索時はメモリオーバーになるらしく、プロセスがＫＩＬＬされまくります。 どれくらいのメモリがあれば使えるものですか？ 125 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/06/22(日) 23:17:58 .net] 128M の玄箱 HG でも動いているが… なんか使い方おかしいんじゃね? 126 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/06/23(月) 00:00:57 .net] >>124 バーチャルサーバのスワップはちゃんととってます？ 127 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/06/23(月) 06:32:14 .net] 検索対象拡張子を追加するにはどこいじればいいんだろう？ .javaとかをテキストとして処理するようにしたいんだが・・・ 128 名前：124 mailto:sage [2008/06/23(月) 16:57:29 .net] バーチャルサーバのスワップ？　 どうやって取るんだろ。。( p_q)ﾜｶﾝﾈっす　PLASKサーバーです _conf　の設定が悪いのでしょうか。。P2P（estmaster）で使ってます。 _confにメモリ周辺の設定ってありましたっけ？ 129 名前：名無しさん＠お腹いっぱい。 [2008/06/24(火) 02:03:12 .net] .netからDLLを利用しようと思ってます。 が、検索のAPIがDLL内でmallocしたものを返す仕様になっており、 メモリ解放ができません。 内部で完結するよう関数追加してビルドしなおししかないでしょうか？ 130 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/06/24(火) 21:40:22 .net] DTDって変更したいときは任意の場所に出来るのかな？ デフォルトのファイルを書き換えるだけ？ 131 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/06/24(火) 22:14:59 .net] >>129 どうしたいのか分からんが、間にラッパーを かませればいいんじゃないの? 132 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/06/24(火) 23:50:56 .net] >>131 はい、ラッパー作った方がいいと思います。 ラッパーのビルドもcygwin入れて本体と同じライプラリつかってやるんですよね。きっと。 UNIX系はさっぱりで、makeファイルすらよくわからず、相当時間がかかりそうです。 とり急ぎ直近はSearch系だけestcmdでやっちまおうと思います。 ギャザラはDLL使うのでなんとも不格好なんですが。 133 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/06/25(水) 10:35:07 .net] freeをcrtからインポートすればいいだけじゃないの？ 134 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/06/26(木) 01:02:03 .net] makeの設定とdllの中身見たらmsvcrt.dllでいいみたいですね どうもありがとうございました。 135 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/07/08(火) 20:51:02 .net] 質問です。 windows環境でRailsの開発をしててHyper Estraierを使いたいんですが、 配布されているバイナリパッケージにRubyバインディングが見当たりません。 Cygwinでソースをmakeしても、Hyper Estraier本体は入るんですが、 Rubyバインディングのmakeでコケます。 windowsでは無理？ 136 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/07/12(土) 09:15:52 .net] どうコケのかを言わずに、どう答えて欲しいんだろう 137 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/07/12(土) 17:24:10 .net] >>135 お前にゃ無理だ。 138 名前：名無しさん＠お腹いっぱい。 [2008/07/24(木) 13:28:58 .net] ショボ頭の自分助けて… pdfをインデックス化したいんですけど、30MB超えるpdfだと、 文章の途中までしかインデックス化してくれません。。 特にエラーとか出てないんですけどなんでだろ？ $ estcmd gather -cl -fx ".pdf" "H@estfxpdftohtml" -fz -ic UTF-8 -il ja -lf -1 -lt -1 -sd -cm casket ./ 一応、-lf -1 -lt -1で、ファイルサイズ制限無しとかにしてみるんだけど、 マニュアルとかGoogle先生とか聞いても対処方法もわかんなくて、、 こんなバカ助かるかな？ 139 名前：fumiyas [2008/07/25(金) 12:27:12 .net] >>138 estfxpdftohtml スクリプト中に「ulimit -v 262144 -t 10 2> "/dev/null"」ってのがあるから 「262144」の部分を適当に多くしてみるとどう? 140 名前：fumiyas [2008/07/25(金) 12:55:11 .net] >>114 うちの estmaster もインデックスにデータを投入するごとに肥大化しているような。 お客さんのところでメモリ使用量 1GB 越えも発生したので、調査する予定。(;_;) … その前に Tokyo Estraier を試してみようかしら? 141 名前：名無しさん＠お腹いっぱい。 [2008/07/25(金) 15:21:53 .net] >>139 うぅ、バカに救いの手をありがとうございます。orz 少しインデックス化できた文章が増えたので、イケルか！と思ったんですが、 値を倍位に変更しても、それ以上は増えなくて、やっぱり途中で切れちゃってる。＿|￣|○||| ( -t 10 => 500とかもしてみたけどダメだった…） なにげに、 $ pdftotext -enc UTF-8 -htmlmeta "pdfファイル" これでやってみると、きちんとオワリまで文章がテキスト化されているみたい。 新たに発覚したんだけど、どうもpdf文章の途中でたまたま出てくる「<<」の記号から、 「>>」の所まで、ごっそり文書がインデックス化されてないっぽい。(ﾟﾛﾟ;))((;ﾟﾛﾟ)ｵﾛｵﾛ すまん、かえって混乱させてるかも。。 というか、自分混乱してる。 142 名前：fumiyas [2008/07/26(土) 02:26:06 .net] >>141 ああ、わかった…。(たぶん) pdftotext のバグですね。 pdftotext -enc UTF-8 -htmlmeta "$infile" - 2> "/dev/null" | output の部分を: pdftotext -enc UTF-8 -htmlmeta "$infile" - 2> "/dev/null" \ |sed '/<pre>/,/<\/pre>/{s/&/\&/g;s/</\</g;s/>/\>/g}' \ | output とでも書き換えてみてください。(これだと「pre」が単語として登録されてしまうが…。) # sed 's/ -htmlmeta / -raw -nopgbrk /' /usr/bin/estfxpdftohtml > /usr/bin/estfxpdftotext # chmod 755 /usr/bin/estfxpdftotext とでもして、 $ estcmd gather -cl -fx ".pdf" "T@estfxpdftotext" -fz -ic UTF-8 -il ja -lf -1 -lt -1 -sd -cm casket ./ とするとか。 143 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/07/26(土) 11:00:18 .net] >>142 あんただれ？ 144 名前：名無しさん＠お腹いっぱい。 [2008/07/28(月) 14:06:44 .net] >>142 ホントすいません、付き合って頂いちゃってありがとうございます。 pdftotext のバグですか!? だとすると、こんなド素人に使いこなすのは難しくなっちゃうかも。。現状で満足せなあかんですかね(;´ー`) スクリプトありがとうございます(人-) ただかなり初歩的な部分で分からないところが…(滝汗) そもそも sed がイマイチ分かってないしょっぱい自分… > # sed 's/ -htmlmeta / -raw -nopgbrk /' /usr/bin/estfxpdftohtml > /usr/bin/estfxpdftotext > # chmod 755 /usr/bin/estfxpdftotext estfxpdftohtml や estfxpdftotextは /usr/local/share/hyperestraier/filter にあって /usr/bin には無かったりするんですが、その辺は読み替えろよこんちくしょう的な感じでしょうか…？(ﾟДﾟ;)ｱﾜﾜ それともそのままやっちゃっても大丈夫的な感じでしょうか？ 145 名前：fumiyas [2008/07/29(火) 13:53:59 .net] >>144 まずは pdftotext のバグについて。 pdftotext は -htmlmeta オプションを付けると PDF に含まれる 本文のテキストを簡単な HTML にして、プラス文書情報 (Adobe Reader なら [File] - [Properties] で表示される情報) を HTML の <meta> に 含めてくれますが、PDF 本文のテキストは <pre> で囲まれるだけで その中に含まれる <, >, & を <, >, & に変換してくれません(バグ)。 なので PDF に「<HTMLのタグではない適当な文字列>」という文が含まれていると、 estcmd がそれを HTML のタグと認識してしまい、削除してしまいます。 sed がやっていることですが、<pre>〜</pre> の間の <, >, & を <, >, & に変換しているだけです。 最後に estfxpdftohtml(text) の置き場所ですが、私の手元の Debian の hyperestraier パッケージでは /usr/bin に置かれているというだけで、 そっちの環境で /usr/local/share/hyperestraier/filter なら、 そっちに合わせて ↑ に置くのがいいと思います。 # sed 's/ -htmlmeta / -raw -nopgbrk /' \ /usr/local/share/hyperestraier/filter/estfxpdftohtml \ >/usr/local/share/hyperestraier/filter/estfxpdftotext >>143 ハンドル(?)をググると出てくるので、そっちをどうぞ。:-) 146 名前：fumiyas [2008/07/29(火) 13:57:46 .net] ありゃ? 「＆ｌｔ；」(実際は半角)とかが「<」に変換されちまった…。 どうしたらいいの? ま、いいか。 147 名前：fumiyas [2008/07/29(火) 15:56:25 .net] 初心者板で聞いてきました。「&amp;amp;」って書くのね…。 pdftotext -enc UTF-8 -htmlmeta "$infile" - 2> "/dev/null" \ |sed '/<pre>/,/<\/pre>/{s/&/\&amp;/g;s/</\&lt;/g;s/>/\&gt;/g}' \ |output その中に含まれる <, >, & を &lt;, &gt;, &amp; に変換してくれません(バグ)。 148 名前：名無しさん＠お腹いっぱい。 [2008/07/30(水) 18:50:03 .net] >>147 す・すすごい!!できたできました!!(･∀･∀･) ごっそり抜けちゃってた文章も、タグだと誤解されてしまってたんですね。 きちんとインデックスに戻ってきました、戻ってきましたよ！！щ(゜ロ゜щ) カモ-ン 天才ですかfumiyasさま… (ｼ_ _)ｼ ネ申 >>147 ほんにありがとうございます。 確かにインデックスの方には <pre> が単語化されているようですが、 これはもう、しょうがないですよ…ね…？ はぁぁ、感動しちゃいました。(；∀；　) 149 名前：fumiyas [2008/08/01(金) 01:35:58 .net] >>148 解決されたようでなによりです。 「pre」が気になるようなら、上で書いたように estfxpdftohtml の代わりに estfxpdftotext でもどうぞ。estcmd の -fx オプションの 値を変更するのを忘れないように。 150 名前：HE@SHE [2008/09/27(土) 02:48:36 .net] Hyper Estraierで、URI属性をフレーズ検索の対象とする方法はありますでしょうか。 151 名前：名無しさん＠お腹いっぱい。 [2008/10/02(木) 13:47:11 .net] すみません教えてください。 ファイルサーバ（Xとか入れてません）として使っているetchにHyper Estraierを入れてわりと経つのですが、 pdfの日本語がインデックスに入っていないことに気付きました。 いろいろ調べて、ひとまずpdftotextが日本語を変換してくれてないのだ、と分かりました。 degas@debian:~$ pdftotext 日本語入りのpdf.pdf Error: Unknown character collection 'Adobe-Japan1' 　： Error: Unknown character collection 'Adobe-Japan1' ってな状況ですorz。xpdfはapt-getでhyperestraierをインストールするときに 推奨パッケージでxpdf-utilsを入れたので、大丈夫だと思っているのですが…。 念のためいまxpdfも入れてみましたが、同じエラーが出ます。 指針が有ればお願いしますm(_ _)m。 152 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/10/02(木) 14:23:09 .net] Unknown character collection 'Adobe-Japan1' でググっても解決しないの？ xpdf-japanese とやらを入れてる？ 153 名前：名無しさん＠お腹いっぱい。 mailto:sage [2008/10/02(木) 14:29:43 .net] ttp://www.foolabs.com/xpdf/download.html にある xpdf-japanese.tar.gz は入れた？

---

---

[ 続きを読む ] / [ 携帯版 ]

read.cgi ver5.27 [feat.BBS2 +1.6] / e.0.2 (02/09/03) / eucaly.net products.
担当:undef