- 1 名前： ◆Meriken//XXX [2013/09/15(日) 12:32:11.22 ID:yp7r3EBt0]
- こちらはMERIKEN's Tripcode Finderの本スレです。動作報告・質問・要望等は
こちらでどうぞ。
Meriken's Tripcode Finderは2013年8月現在で最速の12桁トリップ検索ツールです
(最高速の記録は11112.48M tripcodes/s)。CUDA対応のNVIDIAのビデオカード、
もしくはHD 5xxx以降のAMD Radeonシリーズのビデオカード等のOpenCL対応デバイスを
使用すれば非常に高速に検索を行うことができます。特徴は以下の通りです。
・ビデオカードのGPUによる超高速検索。
・CPUによる高速検索。
・GUIとCUIの両方に対応した柔軟なユーザーインターフェース。
・強力な正規表現による検索パターンの指定。
・漢字等のShift-JIS文字を含むキーの探索。
・ヒット率、ヒットまでの平均時間等のさまざまな情報の表示。
・検索パターンの数の制限の撤廃。
・10桁トリップ検索への対応。
・検索速度の実行時の最適化。
・配布パッケージに同梱された検索ルーチンのソースコード。
■入手先
◆MERIKEN4.kのウェブサイト
www.meriken2ch.com/programming/merikens-tripcode-finder
■前スレ
【トリップ検索】MERIKEN's Tripcode Finder その4
anago.2ch.net/test/read.cgi/software/1373110438/
- 231 名前： ◆MOYASHI/Go mailto:sage [2013/10/04(金) 21:14:55.45 ID:Ohb6dumk0 BE:4454085877-2BP(7)]
- お、Merikenさんおかえりなさい。
>>220
2ch書き込み規制等の場合は、したらばのMerikenさんの掲示板の辺りへ移動かな？
でも、したらばって12桁トリップ使えないんでしたっけ？う〜ん…
>>230
環境や状況等を詳しく書いた方がいいかも。
- 232 名前： 忍法帖【Lv=3,xxxP】(1+0：8) ◆Meriken//XXX mailto:sage [2013/10/05(土) 01:03:32.26 ID:V671iDXLP]
- >>230
こういう場合はまずハードウェアがらみなんですけど、
エラー処理を見なおしたほうがいいかもしれませんね。
ハードウェアの構成を教えていただけると助かります。
- 233 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/05(土) 01:07:57.88 ID:R6g1pM6d0]
- 7970の場合だと90℃を超えた辺りで不安定領域
95℃まで行ったらまずGPUが脱落する
保護回路かな？
動作保証のあるメーカー品でも強烈な連続負荷が掛かるので油断出来ない
- 234 名前： 忍法帖【Lv=3,xxxP】(1+0：8) ◆Meriken//XXX mailto:sage [2013/10/05(土) 01:39:01.21 ID:V671iDXLP]
- >>231
緊急時にはとりあえずしたらばに移動ですね。
2ちゃんねるVPNを使えば海外規制は回避できるんですが、
有料だし不便なのでできれば避けたいところです。
- 235 名前： 忍法帖【Lv=3,xxxP】(1+0：8) ◆Meriken//XXX mailto:sage [2013/10/05(土) 03:21:44.19 ID:V671iDXLP]
- とうとう4770とM6Eをポチってしまいました。
これで思う存分AVX2をいじれます。ぐへへへへ…
- 236 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/05(土) 04:34:59.02 ID:R6g1pM6d0]
- 私はFX-9370をポチってしまいました
TDP200Wゴクリｗ
- 237 名前： ◆Meriken//XXX mailto:sage [2013/10/05(土) 04:55:00.35 ID:V671iDXLP]
- AMDのCPUもきちんと書いてやれば>>67のようにちゃんと速度が出ますしね。
何より独立したコアが8個あるのは魅力的です。楽しみですね〜
- 238 名前： ◆Meriken//XXX mailto:sage [2013/10/05(土) 09:10:12.59 ID:V671iDXLP]
- 1日かけてAVXのルーチンのkey scheduleをコードに展開してみました。
で、うまく動いたのは良かったのですが、速度はかえって落ちてしまいましたorz
やはりSTFみたいにDES crypt(3)の二種類のラウンドを畳み込んでやらないと
今度はコードがキャッシュから溢れてしまうようです。
- 239 名前：やんやん ◆yanyan/Pails mailto:sage [2013/10/05(土) 09:29:04.34 ID:V9+sfTd+0]
- 最近のCPUは投機的実行したりパイプライン深かったりだから、
アセンブラレベルでの高速化って大変そうだな。
- 240 名前： ◆Meriken//XXX mailto:sage [2013/10/05(土) 11:05:48.38 ID:V671iDXLP]
- 確かにかなり難しいですねえ。畳み込みも試してみましたが、それでも書き換え前の
速度には届きませんでした。アセンブラのルーチンはほとんどSTFと
おなじになってしまったので、>>179で教えていただいたとおりに
やってるはずなのに速くならないのはかなり謎です。
- 241 名前： ◆Meriken//XXX mailto:sage [2013/10/05(土) 11:17:38.50 ID:V671iDXLP]
- まあいいや、また今度STFのルーチンを試してみようっと。
そうすれば少なくとも問題の切り分けはできるはず…
- 242 名前： ◆JouJaku.IYSv mailto:sage [2013/10/05(土) 15:26:49.76 ID:TQdt57zm0]
- >>235
おぉ、遂にですね。
アマゾンで購入する時には極力ゆぐ経由で注文していたのですが、少しは足しになりましたかね?
M6Eの一番下のPCIeに、2若しくは1.5スロット幅のカードが刺さるかどうか教えて下さい。
Z87 Extreme 9を使っているのですが、一番下のPCIeはスイッチケーブル等が干渉して水枕付きの7990が刺さらないのです。
- 243 名前： ◆Meriken//XXX mailto:sage [2013/10/05(土) 18:24:43.38 ID:V671iDXLP]
- >>242
確実に足しになっていますよ。ありがとうございます。
写真を見る限りでは干渉するようですが、一応届いたら確認してみます。
検索君1号でも干渉しているのですが、R.O.G.シリーズのマザボは
電源ボタンが別に付いているので私は普段はそれを使っています。
- 244 名前： ◆Meriken//XXX mailto:sage [2013/10/05(土) 18:46:04.08 ID:V671iDXLP]
- あれからいろいろ実験してみたのですが、>>179のようにL1Dキャッシュを
有効活用するためにはキー生成とヒット判定のルーチンに相当手を入れないことが
いけないことが分かりました。◆znjnB.IJwZLUさんはかなり色々工夫されているようです。
まあでも原因がわかったので、取りあえずこの件は置いておくことにして、
AVX2対応の準備を勧めることにします。
- 245 名前： ◆Urotsuki/1Ca mailto:sage [2013/10/06(日) 22:27:59.59 ID:on3hVRef0]
- 着々と高速化されていて期待する日々
ちょっとだけぶん回す
- 246 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/06(日) 22:59:18.76 ID:vgIX48Ma0]
- 熱と電気代の壁を乗り越えて頑張ってください
- 247 名前： ◆QZaw55cn4c mailto:sage [2013/10/06(日) 23:07:39.77 ID:tfHzXDW00]
- 熱はこれからの季節ではともかく電気代の壁には参っております，いつ脱落してもおかしくない‥‥
- 248 名前： ◆Urotsuki/1Ca mailto:sage [2013/10/07(月) 00:02:30.75 ID:jF8JVd0Q0]
- 電気代のほうが深刻です
1〜2時間フル稼働が限界かも
- 249 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/07(月) 00:24:06.99 ID:dlpjmzEs0]
- ラスボス：電気代
- 250 名前： ◆Meriken//XXX mailto:sage [2013/10/07(月) 02:29:43.10 ID:kkyn89W/P]
- ハイエンドのグラボを2枚使って24時間稼働させると
電気代は月10000円前後なのでたしかに痛い出費ですねえ。
長い目で見たら1枚だけ使って電気代を抑えたほうがいいのかもしれません。
7970 1枚だけでも現在のゆぐちゃんでは十分トップクラスですしね。
私としては無理の無い範囲で長く続けていただきたいところです。
- 251 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/07(月) 17:32:57.57 ID:/IUR/xz60]
- 嫌な感じだな。
そこまでして・・
- 252 名前： ◆Meriken//XXX mailto:sage [2013/10/07(月) 19:16:23.56 ID:kkyn89W/P]
- まあもともと本格的なトリップ検索にはお金がかかりますしね。
他にもっとお金のかかる趣味なんていくらでもあるし、
人の趣味にケチを付けるのは無粋というものです。
- 253 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/07(月) 19:49:49.65 ID:T8R7cFdS0]
- GPU を使う場合はともかく、最近の CPU は一杯コアがあるし、
PC の電源が入っている間は、一部のコアでずーっと検索させてても
全く何の問題もないよね。
２つ位コア開けておけば、通常の使用に影響出ないし。
- 254 名前：SilentPC ◆SilentPCIePC mailto:sage [2013/10/07(月) 19:51:37.30 ID:YIb5KFv+0]
- まあだからこその、分散処理なんですよね。
自分一人で1垓のトリップの中から好きなトリップ1個を探し出すのにかかる電気代と、
50人で1垓のトリップの中から好きなトリップをそれぞれ探し出すのにかかる電気代では、
単純計算で前者の50分の1の電気代で済むわけですからね。
皆で協力する事で必要経費も人数分の一に分散出来て、それでいて人数分の一の時間で必要なものも見つけられる。
お互いが得する大変良い仕組みだと思います。
開発頑張って下さい。
- 255 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/07(月) 19:58:08.91 ID:T8R7cFdS0]
- ところで、検索は完全にランダムにやってるんだと思うけど、何故か、頻繁に見つかるトリップと、
全く、一切、全然、ちっとも見つからないトリップがあって、かなり偏るんだよね。不思議だ。
- 256 名前： ◆YSRKEN.ceVZZ mailto:sage [2013/10/07(月) 22:05:18.86 ID:XMrah83C0]
- >>255
短い回数だと乱数が偏ったように見えることはよくあること
ところで、前にも聞きましたが、この状態だと検索時間が16倍速なんですよね？
ttp://up3.viploader.net/net/src/vlnet016276.png
- 257 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/07(月) 22:17:15.13 ID:ruVVZ61g0]
- 16・倍・速！ 16・倍・速！
- 258 名前： ◆Meriken//XXX mailto:sage [2013/10/07(月) 22:28:15.09 ID:kkyn89W/P]
- >>256
なんか妙に台数が増えてた時間があったのはYSRKENさんだったんですねｗ
> この状態だと検索時間が16倍速なんですよね？
違います。同時に何台稼働しても検索時間は一緒です。
- 259 名前： ◆YSRKEN.ceVZZ mailto:sage [2013/10/07(月) 22:32:53.07 ID:XMrah83C0]
- >>258
なん、だと……！？
まあこのキャプ撮りたいがために16台を一時的に乗っ取ったのですがｗ
- 260 名前： ◆Meriken//XXX mailto:sage [2013/10/07(月) 22:35:08.34 ID:kkyn89W/P]
- >>254
分散トリップ検索は長い間あたためてきたアイディアなので、
実現できて結構嬉しいですｗ トリップ検索はパターンの数が増えても
速度は急に落ちないので、実に分散処理向きといえます。
- 261 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/07(月) 22:44:56.42 ID:8uRwwq3r0]
- 17時前後の青グラフと"max: 31"があなたの仕業ですかー！
ttp://up3.viploader.net/net/src/vlnet016277.png
- 262 名前： ◆YSRKEN.ceVZZ mailto:sage [2013/10/07(月) 22:55:15.52 ID:XMrah83C0]
- >>261
そうでーすｗ
トライして気がついたのですが、これってWeb上では同じ「4MTPS」でも、
ソートする際は小数点以下も含めているんですか？
- 263 名前： ◆Meriken//XXX mailto:sage [2013/10/08(火) 02:44:29.87 ID:Be50s5DTP]
- >>262
そうですよ。
- 264 名前： ◆YSRKEN.ceVZZ mailto:sage [2013/10/08(火) 02:59:16.21 ID:hGdMdaDn0]
- >>263
良かったです。このソフトでは小数点以下を切り捨てているわけじゃなかったんだね！
- 265 名前： ◆Meriken//XXX mailto:sage [2013/10/08(火) 06:16:31.85 ID:Be50s5DTP]
- 今日あたりHaswellが届いているはずだけど、ちょっと見に行ってみるか。
- 266 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/08(火) 08:12:07.30 ID:uiAIodMh0]
- >>256
> 短い回数だと乱数が偏ったように見えることはよくあること
いや２４時間３６５日検索してるんだけど・・・
- 267 名前：ねこ ◆TheWorld.o [2013/10/08(火) 08:59:54.97 ID:wwRsWuFO0]
- ロト7を毎週1年買っても当たらないようなものです
- 268 名前：SilentPC ◆SilentPCIePC mailto:sage [2013/10/08(火) 11:37:45.44 ID:ruHOMK/b0]
- >>266
トリップってA-Za-zの26*2文字＋0-9の10文字＋./の2文字＝64文字で構成されているんだろ？
12桁ならそれが64＾12のパターン数、64^12=(2^6)^12=2＾72=(2^10)^7.2≒(10＾3）^7.2=10^21.6
10垓(ガイ)=Z(ゼタ)の単位の数の中から、ちょっと取り出した程度で偏りが無くなるわけないじゃないか。
例え1京(ケイ)=10P(ペタ)パターンのトリップを発見したとしても、それは全体の万分の一以下の数でしかない。
- 269 名前： ◆Meriken//XXX mailto:sage [2013/10/08(火) 14:50:47.22 ID:Be50s5DTP]
- >>255
もうちょっと具体的に書いてもらえれば詳しいことがわかると思いますよ。
MTFのバグという可能性もありますしね。
- 270 名前：名無しさん＠お腹いっぱい。 mailto:Sage [2013/10/08(火) 15:54:01.93 ID:U2rkGsnVO]
- 例えば9桁完全一致トリップが欲しいとして、
12桁で検索するのと10桁で検索するのでは、
どちらが確率が高いのでしょうか？
- 271 名前： ◆YSRKEN.ceVZZ mailto:sage [2013/10/08(火) 19:37:18.73 ID:hGdMdaDn0]
- >>270
確率は同じだが普通は前者の方が高速に検索できるからお勧め
ユーYggdrasil に依頼しちゃいなYO
- 272 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/09(水) 00:11:52.59 ID:qMpebiGr0]
- ゆぐちゃんの実績から言っても12桁ですよねー
ttp://tripcode.net/yggdrasil/
平均検索時間(12桁):13.9日(9文字)
平均検索時間(10桁):1.4ヶ月(9文字)
- 273 名前： ◆Meriken//XXX mailto:sage [2013/10/09(水) 01:07:35.35 ID:lCvxi2JOP]
- YSRKENさん、ときどき名無しで書き込んでますね。
- 274 名前： ◆Meriken//XXX mailto:sage [2013/10/09(水) 01:18:50.00 ID:lCvxi2JOP]
- Haswellが届いたことは確認済みなので、これから取ってきます。
今日はちょっと用事があるので組み立ては明日あたりかな。
- 275 名前： ◆YSRKEN.ceVZZ mailto:sage [2013/10/09(水) 01:31:41.77 ID:hjmT6Azw0]
- >>273
えっと、はいそうです。とは言っても、
「専ブラでコテハン記憶しているはずなのになぜか消えてて面倒になった」
というのが主な理由ですが。
>>274
遂にMerikenさんがHaswellに挑戦するんですね……ﾄﾞｷﾄﾞｷ
- 276 名前： ◆Meriken//XXX mailto:sage [2013/10/09(水) 01:47:33.39 ID:lCvxi2JOP]
- >>275
そうですか。まあ何事もほどほどに、ね。
- 277 名前： ◆QZschizo.ptH mailto:sage [2013/10/09(水) 03:59:47.55 ID:lS/PIDax0]
- >>270
12桁の方がトリップ生成速度が格段にはやいし（環境によるけど）、なんだか12桁ってあんまり「安全」じゃないような気がしてきた‥‥
- 278 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/09(水) 04:35:29.68 ID:wuthnGWj0]
- >>277
前方数文字が同じで「ぱっと見で似ている」トリップ探すなら12桁の方が危険かもしれないけれど、
完全一致なら空間的にも時間的にも12桁の方が安全性は高いと思うよ。
検索速度が何倍で、トリップ数が何倍か計算してみよう。
トリップ数ではなく使用可能な鍵空間で計算してみても良い。
あーでも捻ってないからレインボーテーブル的なアプローチには弱いかも。
- 279 名前： ◆Meriken//XXX mailto:sage [2013/10/09(水) 04:37:19.41 ID:lCvxi2JOP]
- 検索速度は12桁のほうが数倍速いですけど、10桁トリップのキー空間の狭さを考えたら
12桁トリップのほうがはるかに安全ですよ。12桁トリップの数は2^72個ですけど、
10桁トリップはキーが56bitだから最大で2^56個しかありません。
キーがShift-JISの場合はさらに少なくなります。
- 280 名前： ◆Meriken//XXX mailto:sage [2013/10/09(水) 04:55:24.64 ID:lCvxi2JOP]
- >>378
2^34TPS (≒16G TPS)で検索しても12桁トリップをすべて出すには
最低で2^38秒(≒87世紀)かかるのでまあ大丈夫でしょう。
- 281 名前： ◆Meriken//XXX mailto:sage [2013/10/09(水) 04:56:51.56 ID:lCvxi2JOP]
- >>280は>>278さん宛でした。
- 282 名前： ◆QZschizo.ptH mailto:sage [2013/10/09(水) 04:57:40.03 ID:lS/PIDax0]
- 確かに鍵空間的に2^16 違うのであれば、不安がる根拠はありませんね、いろいろ教えていただきありがとうございます
- 283 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/09(水) 08:12:00.69 ID:c6EX+6rR0]
- 時代は12桁
- 284 名前： ◆YSRKEN.ceVZZ mailto:sage [2013/10/09(水) 08:15:12.78 ID:hjmT6Azw0]
- >>278
>前方数文字が同じで「ぱっと見で似ている」トリップ探すなら12桁の方が危険かもしれない
前に「いや先頭合ってるだけで誤解されかねないからそれはそれでマズい」って声があったような……
でもまあ完全一致や全桁対象の酉（例：全数、二構）だと10桁の方が断然見つけやすいんですけどね
- 285 名前： ◆Meriken//XXX mailto:sage [2013/10/09(水) 08:51:52.85 ID:lCvxi2JOP]
- >>283
そのかわりきれいなトリップは10桁のほうが断然出しやすいですけどね。
一長一短といったところです。
- 286 名前：混沌 ◆Chaos/geeeIV mailto:sage [2013/10/09(水) 09:19:45.48 ID:P0BLzLC00]
- >>285
10桁酉の場合、最後に使える文字が16種類しかないってのが
きれいな酉を探すにはネックになるかもしれないですけどねｗ
- 287 名前： ◆Meriken//XXX mailto:sage [2013/10/09(水) 12:06:51.46 ID:lCvxi2JOP]
- >>286
でも12桁で最後まで揃っているトリップを出すのは至難の業ですからねえ。
もうちょっと速度を向上させたいところです。
- 288 名前： ◆Meriken//XXX mailto:sage [2013/10/09(水) 13:19:42.59 ID:lCvxi2JOP]
- Haswellちゃんが届いたのでさっさと検索君1号にインストールしてしまうことに
しました。マザボとCPUを交換してから試しに立ち上げてみたら平然と動いていますw
OSを再インストールしなくていいのには助かりました。うまく行けば今日中に終わるかな。
- 289 名前： ◆Meriken//XXX mailto:sage [2013/10/09(水) 15:06:43.48 ID:lCvxi2JOP]
- 試しにi7-4770で10桁トリップのCPU検索を動かしてみましたが、
定格の3770Kよりちょびっと遅いぐらいです。
しかしなぜか3枚目の7970が認識されません。むぐぐ…
- 290 名前： ◆Meriken//XXX mailto:sage [2013/10/09(水) 15:13:29.70 ID:lCvxi2JOP]
- システムもイマイチ安定しなかったので結局OSを再インストール
することにしました。やっぱりサボろうとするといけませんねえ。
- 291 名前： ◆QZschizo.ptH mailto:sage [2013/10/09(水) 18:33:25.41 ID:lS/PIDax0]
- >>251
keyword: 浪漫
- 292 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/09(水) 18:44:03.56 ID:rG8iFpjW0]
- 男のマロン
- 293 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/09(水) 19:00:49.17 ID:gUimoTt50]
- 中々
ttp://www.youtube.com/watch?v=_rzNFvJIF28
良い歌だよね。
- 294 名前：混沌 ◆Chaos/geeeIV mailto:sage [2013/10/09(水) 19:37:13.05 ID:P0BLzLC00]
- 8bit機が現役でどんどん新作でていた頃 はっきりしないけど25年も昔だろうか・・ｗ
HDDが20Mで20万とかした記憶があるｗ
1Tあたりに換算すると100億くらいか・・
今のHDDは1Tあたり4000円程度
容量単価で250万分の1くらいｗ
12桁トリップ全保存計画を実行しようとすると
2^72の空間でキーとトリップのペアが24バイト
2^72*24
2^40が1Tで、その1000億倍くらいｗ 4,000,000,000,000,000 ＝4000兆円
日本の国家予算の10倍くらいかなｗ
でも容量単価が250万分の1になれば・・・
2^40 * 2^32 * 24
100,000,000,000 / 2,500,000 = 1,000,000/25 = 40,000 今の1Tハードディスク4万個分くらいの予算
4000*40000=1億6千万円
25年後 1億6千万円分のHDD容量で12桁のキーとトリップのペアを全部保存できる？
計算合ってるかな？
どこかの自治体のプロジェクト予算って感じか・・・ｗ
さらに25年後 250万分の1の値段になると
160,000,000 / 2,500,000 = 1600 / 25 = 64円 ｗｗｗ
２ちゃんねるが出来てから、既に14年たっているんだよねー
月日が立つのは速いｗ
- 295 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/09(水) 19:38:14.38 ID:sMw4vpEq0]
- リアルではかなえられないような夢や冒険に憧れる気持ちを込めて、
「男のロマン」などということもあります
- 296 名前：混沌 ◆Chaos/geeeIV mailto:sage [2013/10/09(水) 20:29:50.05 ID:P0BLzLC00]
- >>294
＞2^40が1Tで、その1000億倍くらいｗ 4,000,000,000,000,000 ＝4000兆円
ここで桁間違えているな 400兆円だな
そうすると、25年後は1600万円か
物好きな小金持ちの年寄りでも出来ないことはない感じか・・・ｗ
- 297 名前： ◆YSRKEN.ceVZZ mailto:sage [2013/10/09(水) 20:50:39.62 ID:hjmT6Azw0]
- でも、保存しようにも計算が追っつかない気が……真面目に計算してないからよく分からないけど
- 298 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/09(水) 21:05:58.94 ID:LbcdLs8/0]
- ずっと前にどこかで似たような話を見たと思ったら
anago.2ch.net/test/read.cgi/software/1205766220/529
だった
- 299 名前：混沌 ◆Chaos/geeeIV mailto:sage [2013/10/09(水) 21:22:42.31 ID:P0BLzLC00]
- >>297
現状では、検索パターンに指定したパターン以外は全て捨てて
新たにパターンを探す時は最初から検索しなおしているわけだけど
保存計画は、計算済みのトリップをかたっぱしから保存していくので
計算済みのトリップならばデーターベースに検索命令入れるだけで1発で取り出せることｗ
とはいえ、高速ループで生成し続けるトリップを、生成する速度で未保存トリップか否かをチェックして未保存なら保存していく処理はスタンドアロンでは難しそう
こういうことにこそ、分散処理が威力を発揮しそうですよね
分散処理でトリップ範囲を分担し
ループで計算しながら、挿入ソートでメモリ展開しつつ、担当範囲の分担PCに計算済みトリップを分配していく
>>298
既出の話題でしたか＾＾；
- 300 名前： ◆Urotsuki/1Ca mailto:sage [2013/10/09(水) 21:26:31.44 ID:NxgWXisV0]
- 結構夢があっていいですねー
SSDがもっと早くなってかつ低価格化すれば実現可能性は十分あります
現状のネックである消費電力と速度を打開してくれるのがSSDですから 価格面ならHDDですけど
- 301 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/09(水) 21:30:18.36 ID:wuthnGWj0]
- >>294>>296
そこでレインボーテーブルのアプローチですよ。
始点トリップ+終点トリップで72*2/8=18byte
長さ2^20(1MTrip)で(2^72/2^20)*18=72PiB
トリップの頭20bit=0(平均長さ1M)を終点にして残りをオフセットとして読めば
始点トリップ=9byteで9*2^(72-20)=36PiB
1Tあたり4000円で計算するなら1億4745万6000円
20MTPSくらいは出てるようだし平均1分の1GTPSを目標にすれば
始点トリップ=9byteで9*2^(72-30)=36TiB
1Tあたり4000円で計算するなら144万4000円……うん、中々現実的な範囲じゃない？
テーブル作成に掛かる時間は普通に全トリップ計算に掛かる時間(…を超える？)なので、そっちで死にますがｗｗ
- 302 名前：混沌 ◆Chaos/geeeIV mailto:sage [2013/10/09(水) 21:54:48.06 ID:P0BLzLC00]
- >>301
む〜ん、レインボーテーブルが理解できない＞＜
ウィキペディアみてみたけどちんぷんかんぷんでした＞＜
1回総当りでテーブル作るって事はわかるんだけど
なんでその時作ったテーブルが、別のハッシュから結果を取り出すことに使えるのか想像できないｗ
そこでつまづくから、その先の容量削減とかチェイン化とかちんぷんかんぷん
（っていうか、微積とか行列とかの記号出てくると、そっちでお手上げｗ）
- 303 名前：SilentPC ◆SilentPCIePC mailto:sage [2013/10/09(水) 22:21:49.95 ID:K2oUYBuJ0]
- トリップと遂になるハッシュ値を保存して行く時に、トリップ12桁全部をDBに保存せずにトリップ最初4文字でソート＋ハッシュで保存していくとか？
残り8文字はDBから取り出したハッシュ群から計算して探す。12桁の残り8文字一致だけなら結構速く計算出来ると思う。
そうすると1トリップに付き8文字分データを減らせる。
- 304 名前：混沌 ◆Chaos/geeeIV mailto:sage [2013/10/09(水) 22:26:10.85 ID:P0BLzLC00]
- >>303
あーーっｗ
言われてみれば、トリップは保存しないでもアドレスから一意に決まる事に出来ますね
ディスクは半分で済みそうです
トリップから一意に決まるアドレス位置に そのトリップを計算するのに使ったキーを保存していけばいいのね
- 305 名前：SilentPC ◆SilentPCIePC mailto:sage [2013/10/09(水) 22:32:50.29 ID:K2oUYBuJ0]
- ああ、更に削る方法もあるかな？
例えば最初1文字までにして、2文字目は大文字か小文字か数字か記号で4パターン(00：01：10：11の2ビット)に分ける。
更に3文字目も同じく分ける。更に4文字目も…
そうやってトリップを区分分けする事で、残りの文字列のパターンを分類し、探すハッシュの数を絞っていくとか？
- 306 名前：混沌 ◆Chaos/geeeIV mailto:sage [2013/10/09(水) 22:42:47.54 ID:P0BLzLC00]
- >>305
トリップ ◆AAAAAAAAAAAA のトリップキーはアドレス0に保存
トリップ ◆AAAAAAAAAAAB のトリップキーはアドレス1に
こんな感じで、トリップから一意に決まる保存アドレスにキーだけを保存していく感じで良さそうｗ
- 307 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/09(水) 22:46:57.59 ID:wuthnGWj0]
- >>302
自分も全容や応用までは把握はできてないのですが…
まずH(key)→hashなハッシュ関数(SHA-1関数の先頭72bit)と、C(hash)→keyな変換関数(仮にBASE64関数)を準備。
適当な始点hashから「H(C(hash))→hash」を複数回チェインして終点hashを得るってのを沢山やって終点hash→始点hashのテーブルを作って保存しておく。
検索時は「H(C(hash))→hash」な処理を延々繰り返して、記録済みの終点hashと一致するまで検索を続ける。
一致する終点hashを見つけたら対応する始点hashから「H(C(hash))→hash」を繰り返して、H(C(hash))が目標と一致したらそのときのC(hash)が目的の値。
…ってのがレインボーテーブルの概要だったはずです。終点hash→始点hashのペア情報だけでチェイン回数分のハッシュを代用できるのが利点ですね。
C(H())チェインがキレイに全ハッシュ空間が一周するC()を組めれば繰り返し長を固定して探索時間の保障が出来ますが、
H(C())の鎖が短い繰り返しで一周してしまう部分とかをテーブルに含ませる(または検索時にループを発見する)必要もあり、
C()の出力鍵空間内でH()が衝突すると鍵空間＜ハッシュ空間になって全てのハッシュを網羅できなくなる問題もあり、
その辺の工夫とかが多分レインボーテーブルのキモになるところだった筈です。
ハッシュ衝突とかは…異なるC()を使ったテーブルで補完するとかでしたっけ。
>>304
ちな301で書いた「トリップの頭20bit=0(平均長さ1M)を終点にして残りをオフセット」ってのもそれです。
↑に書いてるC(H())チェインが短くて頭20bit=0等が出ないと悲しい事になりますorz…ケチらず72TiB使うべきか。
>>305
単純にハッシュの頭nbitを削るだけでも行けそうですね。
- 308 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/09(水) 23:36:27.79 ID:MTyJscGe0]
- >>306
似たようなことコンテストの重複チェックルーチンでやったー懐い
FDDの物理アドレスだからエラーになったらおしまいという綱渡り・・・若かった
脇からすまそ
- 309 名前：混沌 ◆Chaos/geeeIV mailto:sage [2013/10/10(木) 00:25:16.04 ID:2gxQn/T50]
- >>308
まぁ何もOSのFAT管理を無視してトラックセクタ直指定するわけでも
ましてやトラックのギャップにデーター入れるわけでも（笑）ないので
単に、巨大なデータファイル（別に単一ファイルじゃなく適当な大きさのファイル郡でいいのですが）に
先頭からのオフセットで位置を決定するっていうだけなのでｗ
トリップ文字列からキーの保存オフセットに変換する関数を１つ用意するだけで
知りたいトリップのキーを保存するオフセットアドレスをトリップから直接得ることが出来るですよｗ
- 310 名前： ◆Meriken//XXX mailto:sage [2013/10/10(木) 03:26:47.92 ID:1qnGPo+xP]
- 盛り上がってますね〜
私はいまだに検索君1号の調整中です。
これ、ちゃんと使えるようになるのかな…
- 311 名前： ◆Meriken//XXX mailto:sage [2013/10/10(木) 06:11:07.20 ID:1qnGPo+xP]
- MTFを起動しようとするとatimpag.sysでBSOD(0x00000116)が発生。
やっぱGPUが5個もあるのがいけないのかなあ。弱った弱った。
- 312 名前： ◆Meriken//XXX mailto:sage [2013/10/10(木) 06:36:09.28 ID:1qnGPo+xP]
- いろいろいじってたらいつの間にか動くようになりましたｗ
後は微調整だけど、取りあえず動作確認は出来たので一安心です。
- 313 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/10(木) 06:43:37.09 ID:wd4utxMC0]
- 何て贅沢で羨ましい悩み。ｗ
- 314 名前： ◆Meriken//XXX mailto:sage [2013/10/10(木) 07:05:19.03 ID:1qnGPo+xP]
- さすがにちょっとやり過ぎかもしれませんｗ
あれからまた安定しなくなったのでもっと調整が必要なようです。
実に難しいですねえ。
- 315 名前：混沌 ◆Chaos/geeeIV mailto:sage [2013/10/10(木) 07:38:15.24 ID:2gxQn/T50]
- おはようございます
いい感じに設定作業が進んでいそうですねー
- 316 名前：やんやん ◆yanyan/Pails mailto:sage [2013/10/10(木) 08:18:22.69 ID:9IgIyU1y0]
- Linux版の予定ってありますか？
- 317 名前： ◆Meriken//XXX mailto:sage [2013/10/10(木) 08:42:56.48 ID:1qnGPo+xP]
- >>315
いやあ、それが結局あれから全然安定しなくて、とりあえず
7970をはずしちゃいました。残念なことにM6Eだと5GPU以上だと
安定しないようです。これまで使ってたCrosshair V Formula-Zが
特別だったのかもしれません。
ちょうどAVX2の次はGCNのアセンブラに取り組もうと考えてたので、
7970は開発機に移してしまうことにします。GCN版はかなりの長丁場になりそうなので、
まあ妥当なところでしょう。
- 318 名前： ◆Meriken//XXX mailto:sage [2013/10/10(木) 08:43:40.37 ID:1qnGPo+xP]
- >>316
私自身がLinux版を作ることはないで〜す。
- 319 名前： ◆Meriken//XXX mailto:sage [2013/10/10(木) 10:14:48.60 ID:1qnGPo+xP]
- 7970を外してもまだ調子が悪いので、今度は7990だけにしてみました。
6990が原因だとまだ助かるんだけど、マザボの初期不良というのだけは勘弁して欲しいなあ。
- 320 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/10(木) 12:08:33.38 ID:LHshhmTP0]
- 皆様お疲れ様です
すいませんが質問させて頂きます
トリップの回文と双連の違いは何でしょうか？
宜しくお願いします。
- 321 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/10(木) 12:37:06.54 ID:jg8QWjDo0]
- 回文 abcdeffedcba
双連 aabbccddeeff
- 322 名前：混沌 ◆Chaos/geeeIV mailto:sage [2013/10/10(木) 12:48:04.01 ID:2gxQn/T50]
- 現時点で12桁トリップ全てを保存するのは非現実的ってのはわかったけれど
現実問題として、計算しながら、計算した分をどんどん保存していくということを考えた場合どうなるのか・・・
現時点でユグが調子いい時で20GTpsくらいかな
1年スパンで考えた場合
20G=2^30*20
1年＝311万秒≒2^20*3
(2^30*20)*(2^20*3) = 2^50*60
とりあえず計算しやすいってことと、速度増加見込みってことで4倍の速度 80GTpsを見込めると仮定して
2^50*2^6 = 2^56
80GTpsで1年間ぶん回すと2^16 T = 65536Tのトリップを生成
うーん、分散処理で実現するには容量以外にもネットワーク負荷の事や
>>294の用に全空間分容量のHDDに記録していくわけじゃないので
ハッシュインデックス化する必要があり、それを記録分担する仕組みを考えるとか
色々課題はあるものの
1年で65536T*12 のトリップキー容量とハッシュインデックス化に必要なインデックス容量考えただけで
現時点ではまだ厳しそうですね・・・ｗ
- 323 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/10(木) 13:02:30.82 ID:hf+1FSU2P]
- HDDに1か所保存とか分散だと失われる可能性高そう
1キーでも失われたらそれを再びみつけるのはものすごく大変だろうなー
- 324 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/10(木) 13:14:55.98 ID:LHshhmTP0]
- >>321
分かりやすい説明
ありがとうございますm(_ _)m
- 325 名前： ◆Meriken//XXX mailto:sage [2013/10/10(木) 14:43:28.90 ID:1qnGPo+xP]
- せっかく買ったM6Eですが、カードの選り好みが非常に激しく
なかなか性能を出せません。とりあえずうまく動いた7990と7970の
組み合わせで10桁トリップ検索専用にしておきました。
まあもともと種類の違うグラボを挿すこと自体かなり特殊なのですが、
この展開は完全に予想外です。やっぱり実際にやってみないとわかりませんねえ。
- 326 名前： ◆Meriken//XXX mailto:sage [2013/10/10(木) 14:55:16.83 ID:1qnGPo+xP]
- まあいいや。今後どうするかはAVX2版の開発が終わってから考えようっと。
- 327 名前： ◆JouJaku.IYSv mailto:sage [2013/10/10(木) 19:09:27.72 ID:56mjdoXX0]
- >>325
ご愁傷様です。
私も同じZ87チップセットですが、7990とTITANx2の混在で何も問題無くさくっと動きました。
謎ですねぇ。グラボと配線が干渉するので、これ以上追加して試すことは出来ません。
しかし、7990+TITANx2より7990+7970の方が速いって・・・。
- 328 名前：名無しさん＠お腹いっぱい。 mailto:sage [2013/10/10(木) 19:25:36.93 ID:QtlpUHtc0]
- Maxwell世代でMTFでもGeForceがRadeonに逆転したりしなんですかね
- 329 名前： ◆Meriken//XXX mailto:sage [2013/10/10(木) 22:08:10.37 ID:1qnGPo+xP]
- >>327
7990を一番上のスロットに挿さないとまともに動かないし、
これまで使っていたPCIeの延長ケーブルとM6Eの相性も良くないようです。
AMDのドライバも最新のものでないと動きませんでした。不思議なもんです。
- 330 名前： ◆Meriken//XXX mailto:sage [2013/10/10(木) 22:31:07.18 ID:1qnGPo+xP]
- そうか、M6Eは開発機にまわして、検索君1号はこれまで通りでもいいのか。
時間かかるけどそうしよっかな。
- 331 名前： ◆Meriken//XXX mailto:sage [2013/10/10(木) 23:42:11.44 ID:1qnGPo+xP]
- 今調べたら電源のPCie用のケーブルの端子の先が少し溶けてました。
どうも不安定だった原因の一部はこれにあるようです。
やっぱり無茶させすぎですね。新しいのを注文することにします。
これでうまく行けばかなりおいしいけどどうかな〜
|
 |
