- 1 名前： ◆Meriken//XXX [2013/09/15(日) 12:32:11.22 ID:yp7r3EBt0]
- こちらはMERIKEN's Tripcode Finderの本スレです。動作報告・質問・要望等は
こちらでどうぞ。
Meriken's Tripcode Finderは2013年8月現在で最速の12桁トリップ検索ツールです
(最高速の記録は11112.48M tripcodes/s)。CUDA対応のNVIDIAのビデオカード、
もしくはHD 5xxx以降のAMD Radeonシリーズのビデオカード等のOpenCL対応デバイスを
使用すれば非常に高速に検索を行うことができます。特徴は以下の通りです。
・ビデオカードのGPUによる超高速検索。
・CPUによる高速検索。
・GUIとCUIの両方に対応した柔軟なユーザーインターフェース。
・強力な正規表現による検索パターンの指定。
・漢字等のShift-JIS文字を含むキーの探索。
・ヒット率、ヒットまでの平均時間等のさまざまな情報の表示。
・検索パターンの数の制限の撤廃。
・10桁トリップ検索への対応。
・検索速度の実行時の最適化。
・配布パッケージに同梱された検索ルーチンのソースコード。
■入手先
◆MERIKEN4.kのウェブサイト
www.meriken2ch.com/programming/merikens-tripcode-finder
■前スレ
【トリップ検索】MERIKEN's Tripcode Finder その4
anago.2ch.net/test/read.cgi/software/1373110438/
- 369 名前： ◆JouJaku.IYSv mailto:sage [2013/10/12(土) 15:59:07.38 ID:SgElHHWv0]
- >>366
お疲れ様です。
同じCPUで定格(3.7GHz)だと約120MTPSなので、ほぼ倍のスピードが出ていますね。
水冷だとサーマルスロットリングは起きないだろうから、楽しみです。
- 370 名前：混沌 ◆Chaos/geeeIV mailto:sage [2013/10/12(土) 17:28:36.27 ID:+NNdeoDL0]
- >>367
VAXを知らない畑にいたわけじゃないけど
直接端末に触れた事はほとんどない・・・
ただ、あいつがあるコンピュータルームってのは肌寒くてねぇ・・・ｗ
触れたこともほとんどないから、VAX Barなるものもはじめて聞いたんだけどググってみたよｗ
感想は、メリケン野郎の考えることはクレイジーだぜｗ って感じｗ
メリケンさんに引っ掛けたけど、別に罵倒でも卑称でもないのであしからずですｗ
っていうか、メリケンさんの名前 ハンドルはその意味から取ってて、今住んでるのもソッチのほうなんだろうけど日本人ですよね？
- 371 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/12(土) 19:44:19.02 ID:XeWEbd3E0]
- VAX って、VAX/VMS の事？？
それなら懐かしいな・・・
- 372 名前：混沌 ◆Chaos/geeeIV mailto:sage [2013/10/12(土) 20:41:37.86 ID:+NNdeoDL0]
- >>371
ですですｗ
- 373 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/13(日) 01:11:31.43 ID:KYI8bH6i0]
- 今更なことですが、検索文字列がヒットしたら、該当する依頼を無効にする
(ゆぐちゃんではなくローカルでの話)機能って付けられますかね？
- 374 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/13(日) 01:34:02.23 ID:xoBD38890]
- グラボごとの速度をまとめたWikiとかってどっかにありますか？
- 375 名前：混沌 ◆Chaos/geeeIV mailto:sage [2013/10/13(日) 04:58:52.86 ID:fqcxyF9L0]
- ローマ字っぽい４文字を適当に作ってみる正規表現の超適当版
^[KSTNHMRGZDBP][aiueo]([kstnhmrgbp][aiueo]){3}/
こんな感じで検索回してみたものの・・・
確かにローマ字なんだけど、まともな単語が出来る確率の低さにがっかりｗ
- 376 名前：磯の良い石 ◆ISONOIIISI mailto:sage [2013/10/13(日) 05:20:16.81 ID:KYI8bH6i0]
- >>375
昔、ローマ字のみで意味が通るトリップを生成するための正規表現を自作したことがある
1文字の類(母音)、2文字の類(母音以外の1文字カナ)、3文字の類(拗音を含む類)を
長さが12桁(or10桁)になるように並べたデータをプログラム組んで用意して、
patterns.txtに書き込んで回したもんだ……展開が物凄いことになったがな！
で、上に出ている酉がその成果の一つだったり……
- 377 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/13(日) 05:35:30.40 ID:KYI8bH6i0]
- >>374
データの蓄積自体は相当量ありますが、なにせアップグレードでガンガン速度向上しますもので……
このスレだけ見ると、
「HD6990+HD7970+HD7990≒11.1GTPS」(>>3、Ver.0.10)
「HD6850≒805MTPS」(>>19,Ver.1.1FEα2)
「HD 5570/5670≒340MTPS」(>>94,Ver.1.1FEα5)
「GTX660≒536MTPS」(>>98,Ver1.1FEα4)
「GTX650≒207MTPS」(>>101,Ver1.1FEα5)
「GeForce610M≒64.3MTPS」(>>114,Ver1.1FEα5)←参考記録
「GTX650≒9.24MTPS」(>>154,Ver1.1FEα7)←！？
といった感じですかね。他は前スレを当たることをお勧めします
- 378 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/13(日) 05:44:41.91 ID:JeVY24vu0]
- >>377
> 「GTX650≒9.24MTPS」(>>154,Ver1.1FEα7)←！？
これは10桁ですよ
- 379 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/13(日) 05:46:37.71 ID:KYI8bH6i0]
- >>378
あ、本当だﾃﾍｯ
- 380 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/13(日) 05:54:58.91 ID:+cbnuJwL0]
- >>377
グラボ、ドライバ、バージョン、設定値・・・手集計はミスが怖いし、
ゆぐちゃんでグラボと速度の情報とって公開してくれたら面白そう
- 381 名前： ◆Meriken//XXX mailto:sage [2013/10/13(日) 09:04:25.37 ID:EU+GIsqgP]
- >>370
日本人ですよ〜
- 382 名前： ◆Meriken//XXX mailto:sage [2013/10/13(日) 11:34:03.90 ID:EU+GIsqgP]
- 10桁トリップ検索のAVX2への対応がなかなかうまく行きません。
ぐぬぬぬぬ…
- 383 名前： ◆Meriken//XXX mailto:sage [2013/10/13(日) 13:53:21.35 ID:EU+GIsqgP]
- 一応AVX2対応の10桁トリップ検索のルーチンは動くようになったのですが、
なかなか思ったような速度が出てくれません。
AVX(8スレッド): 23.95M TPS
AVX2(8スレッド): 37.98M TPS
AVX2(4スレッド): 35.09M TPS
まあそれなりに速くはなっているのですが、L1Dキャッシュが潰れているみたいで、
倍の速度にはなりませんでした。ちなみに8スレッドから4スレッドにても
あまり速度は落ちていません。やはりキャッシュの使い方を工夫するしかないですねえ。
- 384 名前：混沌 ◆Chaos/geeeIV mailto:sage [2013/10/13(日) 14:31:17.44 ID:fqcxyF9L0]
- >>376
10桁の方はまだマシなんですが、12桁だと特に
ちょっと無茶なパターンを作ると、すぐに展開サイズがシャレにならない事になって
MTFで検索開始しても、パターンを展開中・・・ まではまだ何とか動いても
そのあとのパターンを処理中で帰ってこなくなってｗ
帰ってきても、なぜかその後のユグと通信に失敗して何分後に再通信しますとなって、その時間になると展開から再開になって繰り返すのよねｗ
なんかエラーのアラート窓が出た時もあったな・・ｗ 10秒くらいでその窓消えちゃったから内容確認できなかったけど・・ｗ
まぁそんな感じで、パターンは展開後のサイズがあんまりでかくなり過ぎないように気をつけているのと
パターン定義の入力欄、一応長い定義も書き込めるみたいだけど入力窓あんまり大きくないし、どうせ表示も表示窓の横幅までだから
あんまり複雑な定義もなーって思ってたけど
patterns.txtに直接かーｗ
patterns.txt って、相当長くなってしまってもしっかり読み込んでくれるのかな（使用可能なメモリの上限チェックとかもろもろ、そういう処理コミコミで）
というか、上記のエラーとか不安定だったのはグラボのメモリの制限なのかなって、自分のグラボを今更ながらみてみたら2Gもメモリあるのね・・・ｗ
7990が6Gも積んでて信じられんとおもったけど、2Gでも十分に信じられないレベルだったｗ
閑話休題
古い人間なもので、「グラフィックシステム」でユーザープログラムを動かす なんていうと
FM-7のグラフィックサブシステムにYAMAUCHIコマンドで数バイトの共有メモリを使ってプログラムを転送して・・・ｗ
なんてイメージが湧いてきちゃうのですよｗ（「YAMAUTIコマンド」はググると出てくるはずｗ）
とはいえ、今のグラボにユーザー処理させるってのも、やっぱり転送して走らせるとかするのでしょうね
動かすプログラムは・・・・・・・むむっ・・・ｗ うーん、スレみてるとアセンブラに置き換える話がでてきてるのはわかるんだけど
GPUに対応したコード吐くコンパイラとかあるって事なのか・・
うーん、我ながら話が飛びまくったわけのわからんレスに・・・ｗ
- 385 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/13(日) 14:58:50.97 ID:KYI8bH6i0]
- >>384
昔書いた展開用コードを引っ張りだしてみました。
まず、ローマ字でカナを表現すると、
・アルファベット1文字 ([aiueo]|n)
・アルファベット2文字 ([kstnhmyrwgzjdbp][aiueo]|sh[aiuo]|ts[aiuo]|ch[aiuo]|fu|oh)
・アルファベット3文字 ([kstnhmrwgzjdbp]y[aiueo]|kwa|gwa)
となります。流石にこのままだとハズレ率が半端なくなるので、実際には
[aiueon]と([kstnhmr][aiueo]|y[auo])と[kstnhmr]y[auo]に限定していましたが。
後は「3322」「13231」など長さ「のみ」記述したデータをループ回しで全生成し、
数字部分を上記正規表現文字列に置換すれは完成です。
ちなみに今適当に回したら10桁用で1760行ありました……。
まあこれですらハズレまくるのは目に見えている(感覚としては砂金採りに近い)ので、
あらかじめ豚辞書(フリーの単語リスト)データから「文字の組み合わせ」情報を抽出し、
それに当てはまらないような文字列(日本語っぽくならなさそうなもの)を弾くコードを別に書いて篩に掛けました。
最終的には、ヒットした結果の文字列ファイルを用意すると、
ワンクリックでかな変換→篩に掛けて出力までしてくれるようなものまで作った思い出があります。
結論：HSP様々。なんならお手軽検索キットでも送りましょうか？ｗ
- 386 名前： ◆Meriken//XXX mailto:sage [2013/10/13(日) 15:24:46.07 ID:EU+GIsqgP]
- 皆さん私が考えてもみなかったような使い方をされてますね。
かなり新鮮ですｗ
- 387 名前： ◆Meriken//XXX mailto:sage [2013/10/13(日) 15:27:45.22 ID:EU+GIsqgP]
- キャッシュを潰さないためにお蔵入りになったルーチンを引っ張り出してきました。
AVXだけだと微妙に遅くなるのですが、このさい文句はいってられません。
これをAVX2で書き直せばそれなりの性能が出るはずです。
- 388 名前：混沌 ◆Chaos/geeeIV mailto:sage [2013/10/13(日) 15:51:14.32 ID:fqcxyF9L0]
- >>385
ローマ字じゃなく
英文生成もどきみたいなのも、ちょっと考えてみようとしたんですけどねｗ
(名詞A|名詞B|名詞C)(動詞A|動詞B|動詞C)(名詞D|名詞E|名詞F) とか
適当な構文と品詞の組み合わせで・・・ｗ
そんな風に考えたんだけど、既に検索中の正規表現だけでも
たとえば
^i[il][il][iIl][iIl][iIl][iIl][iIl][iIl][il][il]i$ とか
^[.]*[vwW]+[.]*$ とか
これでもあんまりサイズがでかくなり過ぎないようにセーブしながら作ってはいるんだけど
それでも地味に容量食うパターンが大量にあって気軽にパターンを増やせない状況になってて英作文正規表現はおあずけ中ですｗ
- 389 名前： ◆znjnB.IJwZLU mailto:sage [2013/10/13(日) 17:43:41.60 ID:J8269aFW0]
- >>387
Haswell導入おめでとうございます。
DESですが私のほうではあのcryptをそのまま256bit化して素直に倍の50MTPS出てます。
まあもともと256bit化したときにキャッシュに乗り切るようにあんな構造にしたので。
それよりもSHA-1で躓いてます。
アセンブラで書いてみたのはいいんですがハイパースレッディングがある状況ではあまり恩恵がありません。
イントリで書いてコンパイラに投げても同じ速度が出ます。
まあ、HT切るとスレッドあたり3MTPS差が付くんですが、HTがあると実行ポートを埋めきってしまえるみたで
107MTPSあたりで頭打ちになります。
アセンブラのほうは一週間かけてバイトコードと睨めっこしながら手動パイプライン化までしたのに・・・泣。
- 390 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/13(日) 20:07:00.46 ID:2IRlbwYd0]
- >>372
> ですですｗ
あれって、何かバッチファイル的な言語があったよね。
あれで擬似ログアウト画面を作って、色んな人のユーザ名とパスワードを集めまくった思い出が・・・
VAX/VMS 上でのクロス開発はかなりやったので、本当に懐かしいわ。
- 391 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/13(日) 20:25:28.75 ID:KYI8bH6i0]
- :::::::::::.: .:. . ∧＿∧ . . . .: :::::::: 引っ張りだしたコードを元に、自動生成した
:::::::: :.: . . /彡ミ゛ヽ;)ヽ、. ::: : :: patterns.txtを食わせてみたらメモリ不足で落ちた……
::::::: :.: . . / :::/:: ヽ、ヽ、i . .:: :.: :::. ttp://up3.viploader.net/desktop/src/vldesk007817.jpg
￣￣￣（_,ノ ￣￣ヽ､_ノ￣. 左のタイマは検索実行と同時な。4GBほどメモリ食ってから
落ちたことからして、よほど工夫しないと検索不可能かもorz
参考までにpatterns.txtをば：www1.axfc.net/u/3057287.txt
- 392 名前：混沌 ◆Chaos/geeeIV mailto:sage [2013/10/13(日) 20:49:06.63 ID:fqcxyF9L0]
- >>390
フィッシング詐欺の手法のハシリみたいなかんじですなｗ
今となっては、セキュリティとかパスワードとか、色々そういう考え方が社会的に認知されてきたりしているけど
そもそも一般の人は銀行の暗証番号以外、パスワードで何かを守るなんてこと自体がなかったような時代だし
根本的に考え方が違ってた気がしますねぇｗ
- 393 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/13(日) 22:44:36.72 ID:r9Dbzyno0]
- >>391
いろいろと酷い
- 394 名前：混沌 ◆Chaos/geeeIV mailto:sage [2013/10/13(日) 23:00:40.77 ID:fqcxyF9L0]
- >>391
展開後のパターンじゃなく、途中まで展開した正規表現群みたいな感じですねｗ
12桁でこれを全パターンやったら、そりゃキますわｗ
[AIUEO]{12} これだけでも 約2^28 ですよｗ
これに加えて、1文字目から12文字目まで母音が入るパターンまで加えたらそりゃ大変なことにｗ
- 395 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/13(日) 23:26:46.46 ID:2IRlbwYd0]
- >>391
壁紙が気になる・・・
- 396 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/13(日) 23:29:37.53 ID:KYI8bH6i0]
- >>394
>[AIUEO]{12} これだけでも 約2^28 ですよｗ
一応、元々のコードでは「母音か拗音組が三連続したら弾く」というルーチンが
含まれていたので、そいつを組み込んだら行数が半分以下に。ただ、それでも
メモリ食い過ぎで検索できないのは変わらず。念のため、
[aiueo][aiueon][kstnhmr][aiueo][aiueon][aiueon][kstnhmr][aiueo][kstnhmr][aiueo]
だけ書き込んで回してみると、展開に4分ほど掛かった末にメモリを720MBほど消費しましたｗ
そりゃ無理ゲーだわ、と言うか確か最初に作った時(今年の1月始め)は待て屋で回してたような……
- 397 名前：名無しさん＠お腹いっぱい。 [2013/10/13(日) 23:29:47.39 ID:oUFnliXQ0]
- 「ロリ・義母
ンデレ・孕ま
- 398 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/13(日) 23:34:55.01 ID:KYI8bH6i0]
- >>395
www.pixiv.net/member_illust.php?mode=medium&illust_id=12189369
ですね。
>>397
勘違いしないでよね！ 全体のフォルダ名は
「ロリ・義母・ツンデレ・孕ませ・寝取られ･･･すべての萌えは源氏物語が産んだ！」
blog.livedoor.jp/geek/archives/50949346.html
なんだから！！
- 399 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/13(日) 23:46:02.97 ID:KYI8bH6i0]
- :::::::::::.: .:. . ∧＿∧ . . . .: :::::::: ちなみに、>>396で書いたパターンを待て屋で回したら
:::::::: :.: . . /彡ミ゛ヽ;)ヽ、. ::: : :: メモリ消費量僅か5MB……現実は非情である
::::::: :.: . . / :::/:: ヽ、ヽ、i . .:: :.: :::.
￣￣￣（_,ノ ￣￣ヽ､_ノ￣
- 400 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/13(日) 23:47:17.62 ID:B/E+227R0]
- 待て屋ってソース公開されてたっけ？
それなら、メモリ消費の少ないその方法を採用してみるとか。
- 401 名前：混沌 ◆Chaos/geeeIV mailto:sage [2013/10/14(月) 00:06:18.79 ID:HNICMWPj0]
- >>400
自分は ずっと前のトリッパーをちょこちょこ使っていた程度で、待てやとかも使ったことはないんですが
ただ、展開するから高速にマッチ出来るんじゃないかと思うｗ
このスレの過去ログとかほとんど見てないけど、初期はパターン数制限あったのがある時期に制限がなくなったってのが
たぶんその時に、パターンを展開して（おそらくはマッチする法のトリップも相当数メモリに展開してからまとめて）
アルゴリズム検索（２分検索みたいな？）を取り入れたんじゃないかと予想
メモリ展開して最適化するからこその、大量検索パターンを高速にマッチできてるんだと思いますよｗ
- 402 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/14(月) 02:51:29.17 ID:Ehj1Nv8O0]
- 一応、パターン作成＋結果からトリップ抽出＋ローマ字変換＋篩い掛けできるセットを配布しておきます。
ソースコードも添付しますので、参考までにどうぞ。
ttp://www1.axfc.net/u/3057797.zip
- 403 名前： ◆ISONOIIISI mailto:sage [2013/10/14(月) 02:52:29.66 ID:Ehj1Nv8O0]
- あ、私はID:KYI8bH6i0です。
- 404 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/14(月) 03:17:32.75 ID:a2gerbx00]
- >>391
>>> 正規表現の場合、展開数で制限を設ける方式ですか？
>> おおまかに言えばそうですね。
>> 厳密に言えばハッシュ値の数で決まります。
> toro.2ch.net/test/read.cgi/esite/1379214816/100-101
なんかもう全部展開しちゃってる感じ？
>>401
先にメモリに展開する場合、展開したテーブルがキャッシュやメモリから溢れると思いっきりロスしそう。
展開数が一定範囲を超えたら正規表現とのマッチ処理をJITするのが最速なのかな・・・
- 405 名前： ◆Meriken//XXX mailto:sage [2013/10/14(月) 04:18:18.49 ID:cHLdpSNUP]
- MTFではパターンの一部(5文字)からハッシュ値を作成していて、
ハッシュ値の生成に必要な分は最初に全て展開しています。
この方法だと非常に強力な正規表現が使える代わりに
メモリの消費量は大きいです。
正規表現の部分は2年前に作ってからほとんどいじっていないので
改善の余地がかなりあります。待て屋のマッチングのアルゴリズムは
かなり特殊なのですが、これについては鳥屋氏にいろいろ教えて
いただいたので、ぜひMTFに取り込みたいところです。
- 406 名前： ◆Meriken//XXX mailto:sage [2013/10/14(月) 04:22:38.64 ID:cHLdpSNUP]
- >>369
どもども。10桁トリップ検索のAVX2対応の作業がおわったら新しい開発版を
うｐするのでお楽しみに。
- 407 名前： ◆Meriken//XXX mailto:sage [2013/10/14(月) 04:34:56.58 ID:cHLdpSNUP]
- >>389
> まあもともと256bit化したときにキャッシュに乗り切るようにあんな構造にしたので。
なるほど、そういうことだったんですね。流石です。
> 107MTPSあたりで頭打ちになります。
これはおかしいですねえ。ちょっとMTFがどうなってるか調べてみます。
- 408 名前： ◆Meriken//XXX mailto:sage [2013/10/14(月) 05:17:58.05 ID:cHLdpSNUP]
- 10桁トリップのAVX2対応のルーチンがようやく動きました。
AVX(8スレッド): 23.65M TPS
AVX2(8スレッド): 43.44M TPS
AVX2(4スレッド): 39.04M TPS
>>383よりだいぶましになりました。
CPUを定格に戻せば48.40M TPS出る計算です。
HTの効きは今ひとつなので、まだキャッシュの使い方に
改善の余地がありそうです。
あとは最終転置やキー生成の処理の見直しですね。
- 409 名前： ◆Meriken//XXX mailto:sage [2013/10/14(月) 05:39:05.79 ID:cHLdpSNUP]
- >>389
12桁トリップ検索はこんな感じです。速度が出ないのはなかなか謎ですねえ。
AVX(8スレッド): 117.31M TPS
AVX2(8スレッド): 215.71M TPS
AVX2(4スレッド): 184.12M TPS
- 410 名前： ◆Meriken//XXX mailto:sage [2013/10/14(月) 08:45:16.44 ID:cHLdpSNUP]
- キー生成のルーチンを見なおして、10桁トリップ検索の速度が
少し上がりました。
AVX2(8スレッド): 43.44M TPS -> 46.02M TPS
定格で51.28M TPS相当なので、まずまずといったところでしょう。
もうちょっと搾り取れそうな気もしますが、かなり疲れたので
取りあえず休憩することにします。
|
 |
