- 1 名前： ◆Meriken//XXX [2013/09/15(日) 12:32:11.22 ID:yp7r3EBt0]
- こちらはMERIKEN's Tripcode Finderの本スレです。動作報告・質問・要望等は
こちらでどうぞ。
Meriken's Tripcode Finderは2013年8月現在で最速の12桁トリップ検索ツールです
(最高速の記録は11112.48M tripcodes/s)。CUDA対応のNVIDIAのビデオカード、
もしくはHD 5xxx以降のAMD Radeonシリーズのビデオカード等のOpenCL対応デバイスを
使用すれば非常に高速に検索を行うことができます。特徴は以下の通りです。
・ビデオカードのGPUによる超高速検索。
・CPUによる高速検索。
・GUIとCUIの両方に対応した柔軟なユーザーインターフェース。
・強力な正規表現による検索パターンの指定。
・漢字等のShift-JIS文字を含むキーの探索。
・ヒット率、ヒットまでの平均時間等のさまざまな情報の表示。
・検索パターンの数の制限の撤廃。
・10桁トリップ検索への対応。
・検索速度の実行時の最適化。
・配布パッケージに同梱された検索ルーチンのソースコード。
■入手先
◆MERIKEN4.kのウェブサイト
www.meriken2ch.com/programming/merikens-tripcode-finder
■前スレ
【トリップ検索】MERIKEN's Tripcode Finder その4
anago.2ch.net/test/read.cgi/software/1373110438/
- 396 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/13(日) 23:29:37.53 ID:KYI8bH6i0]
- >>394
>[AIUEO]{12} これだけでも 約2^28 ですよｗ
一応、元々のコードでは「母音か拗音組が三連続したら弾く」というルーチンが
含まれていたので、そいつを組み込んだら行数が半分以下に。ただ、それでも
メモリ食い過ぎで検索できないのは変わらず。念のため、
[aiueo][aiueon][kstnhmr][aiueo][aiueon][aiueon][kstnhmr][aiueo][kstnhmr][aiueo]
だけ書き込んで回してみると、展開に4分ほど掛かった末にメモリを720MBほど消費しましたｗ
そりゃ無理ゲーだわ、と言うか確か最初に作った時(今年の1月始め)は待て屋で回してたような……
- 397 名前：名無しさん＠お腹いっぱい。 [2013/10/13(日) 23:29:47.39 ID:oUFnliXQ0]
- 「ロリ・義母
ンデレ・孕ま
- 398 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/13(日) 23:34:55.01 ID:KYI8bH6i0]
- >>395
www.pixiv.net/member_illust.php?mode=medium&illust_id=12189369
ですね。
>>397
勘違いしないでよね！ 全体のフォルダ名は
「ロリ・義母・ツンデレ・孕ませ・寝取られ･･･すべての萌えは源氏物語が産んだ！」
blog.livedoor.jp/geek/archives/50949346.html
なんだから！！
- 399 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/13(日) 23:46:02.97 ID:KYI8bH6i0]
- :::::::::::.: .:. . ∧＿∧ . . . .: :::::::: ちなみに、>>396で書いたパターンを待て屋で回したら
:::::::: :.: . . /彡ミ゛ヽ;)ヽ、. ::: : :: メモリ消費量僅か5MB……現実は非情である
::::::: :.: . . / :::/:: ヽ、ヽ、i . .:: :.: :::.
￣￣￣（_,ノ ￣￣ヽ､_ノ￣
- 400 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/13(日) 23:47:17.62 ID:B/E+227R0]
- 待て屋ってソース公開されてたっけ？
それなら、メモリ消費の少ないその方法を採用してみるとか。
- 401 名前：混沌 ◆Chaos/geeeIV mailto:sage [2013/10/14(月) 00:06:18.79 ID:HNICMWPj0]
- >>400
自分は ずっと前のトリッパーをちょこちょこ使っていた程度で、待てやとかも使ったことはないんですが
ただ、展開するから高速にマッチ出来るんじゃないかと思うｗ
このスレの過去ログとかほとんど見てないけど、初期はパターン数制限あったのがある時期に制限がなくなったってのが
たぶんその時に、パターンを展開して（おそらくはマッチする法のトリップも相当数メモリに展開してからまとめて）
アルゴリズム検索（２分検索みたいな？）を取り入れたんじゃないかと予想
メモリ展開して最適化するからこその、大量検索パターンを高速にマッチできてるんだと思いますよｗ
- 402 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/14(月) 02:51:29.17 ID:Ehj1Nv8O0]
- 一応、パターン作成＋結果からトリップ抽出＋ローマ字変換＋篩い掛けできるセットを配布しておきます。
ソースコードも添付しますので、参考までにどうぞ。
ttp://www1.axfc.net/u/3057797.zip
- 403 名前： ◆ISONOIIISI mailto:sage [2013/10/14(月) 02:52:29.66 ID:Ehj1Nv8O0]
- あ、私はID:KYI8bH6i0です。
- 404 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/14(月) 03:17:32.75 ID:a2gerbx00]
- >>391
>>> 正規表現の場合、展開数で制限を設ける方式ですか？
>> おおまかに言えばそうですね。
>> 厳密に言えばハッシュ値の数で決まります。
> toro.2ch.net/test/read.cgi/esite/1379214816/100-101
なんかもう全部展開しちゃってる感じ？
>>401
先にメモリに展開する場合、展開したテーブルがキャッシュやメモリから溢れると思いっきりロスしそう。
展開数が一定範囲を超えたら正規表現とのマッチ処理をJITするのが最速なのかな・・・
- 405 名前： ◆Meriken//XXX mailto:sage [2013/10/14(月) 04:18:18.49 ID:cHLdpSNUP]
- MTFではパターンの一部(5文字)からハッシュ値を作成していて、
ハッシュ値の生成に必要な分は最初に全て展開しています。
この方法だと非常に強力な正規表現が使える代わりに
メモリの消費量は大きいです。
正規表現の部分は2年前に作ってからほとんどいじっていないので
改善の余地がかなりあります。待て屋のマッチングのアルゴリズムは
かなり特殊なのですが、これについては鳥屋氏にいろいろ教えて
いただいたので、ぜひMTFに取り込みたいところです。
- 406 名前： ◆Meriken//XXX mailto:sage [2013/10/14(月) 04:22:38.64 ID:cHLdpSNUP]
- >>369
どもども。10桁トリップ検索のAVX2対応の作業がおわったら新しい開発版を
うｐするのでお楽しみに。
- 407 名前： ◆Meriken//XXX mailto:sage [2013/10/14(月) 04:34:56.58 ID:cHLdpSNUP]
- >>389
> まあもともと256bit化したときにキャッシュに乗り切るようにあんな構造にしたので。
なるほど、そういうことだったんですね。流石です。
> 107MTPSあたりで頭打ちになります。
これはおかしいですねえ。ちょっとMTFがどうなってるか調べてみます。
- 408 名前： ◆Meriken//XXX mailto:sage [2013/10/14(月) 05:17:58.05 ID:cHLdpSNUP]
- 10桁トリップのAVX2対応のルーチンがようやく動きました。
AVX(8スレッド): 23.65M TPS
AVX2(8スレッド): 43.44M TPS
AVX2(4スレッド): 39.04M TPS
>>383よりだいぶましになりました。
CPUを定格に戻せば48.40M TPS出る計算です。
HTの効きは今ひとつなので、まだキャッシュの使い方に
改善の余地がありそうです。
あとは最終転置やキー生成の処理の見直しですね。
- 409 名前： ◆Meriken//XXX mailto:sage [2013/10/14(月) 05:39:05.79 ID:cHLdpSNUP]
- >>389
12桁トリップ検索はこんな感じです。速度が出ないのはなかなか謎ですねえ。
AVX(8スレッド): 117.31M TPS
AVX2(8スレッド): 215.71M TPS
AVX2(4スレッド): 184.12M TPS
- 410 名前： ◆Meriken//XXX mailto:sage [2013/10/14(月) 08:45:16.44 ID:cHLdpSNUP]
- キー生成のルーチンを見なおして、10桁トリップ検索の速度が
少し上がりました。
AVX2(8スレッド): 43.44M TPS -> 46.02M TPS
定格で51.28M TPS相当なので、まずまずといったところでしょう。
もうちょっと搾り取れそうな気もしますが、かなり疲れたので
取りあえず休憩することにします。
|
 |
