- 1 名前：名前は開発中のものです。 [03/07/10 00:10 ID:6FQp6G+O.net]
- 比較的地味なボードゲーム専用のスレが欲しくて立ててみました。
私はc言語で作ったデータベースを使って人間と対戦できる将棋かチェス
みたいなソフトを作りたいと思ってますが、グラフィックインターフェースの
作り方がわからなくてつっかえているレベルです。
- 578 名前：名前は開発中のものです。 mailto:sage [2016/10/02(日) 18:53:33.45 ID:8lzQrfNi.net]
- すいません。
オーダリングとはよさそうな枝を先に読むってことでしたっけ？
なぜそれで計算量が削減できるんでしたっけ？
最終的に全部読むなら結局同じのような…
素人考えですが。
- 579 名前：名前は開発中のものです。 mailto:sage [2016/10/02(日) 19:09:19.16 ID:8lzQrfNi.net]
- 完全ソルバと対戦させると誤った学習をしてしまってるように見えます。
悪い手を良い手と思ってる。
うーん。
学習量が足りないだけなんだろうか？
- 580 名前：310 mailto:sage [2016/10/02(日) 20:32:53.90 ID:n86BxDyi.net]
- >>578
αβ刈りしているでしょ。
最初に読んだ手でα値が最高値になる。
次の手を１段読んだ時、それを超える手が出ないので、全ての手がβカットの対象となる。
本当に一番良い手を選べるんなら、そもそも読む必要がないけど、何らかのヒューリスティック
な基準でよさそうな手から読むと、それが正解だった時に、βカットが大量発生して、実際に
読む事になるノード数が激減する。
αβ刈りみたいな方法は、後ろ向き枝刈と言って、完全読み切りに必要が無い手を読まずに
済ます手法。
- 581 名前：名前は開発中のものです。 mailto:sage [2016/10/02(日) 20:59:00.22 ID:8lzQrfNi.net]
- レスありがとうございます。
αβですか〜。
実はあれ、私、理解してないんですよね。
説明読むとなんとなくわかった気になるんですけど
いまだ実装できたことない。orz
MinMaxなら実装できるんですけどね。
- 582 名前：名前は開発中のものです。 mailto:sage [2016/10/02(日) 21:29:32.92 ID:8lzQrfNi.net]
- αβが最高に上手く働けばMinMaxの倍の深さ読めるんでしたっけ？
それなら２０手行けそうですね。
- 583 名前：535 mailto:sage [2016/10/03(月) 00:03:31.42 ID:5qtC3pHr.net]
- 完全ソルバでいろいろ試してるんですが、
Connect 4って思ったよりずっと底の浅いゲームのような気がしてきましたｗ
□□□□□□□
□□□○□□□
□○□●□○□
□●□○□●□
□○□●□○□
□●□○□●□
この配石が必勝法の骨格のようです。
ここさえ押さえればあとは自動的に勝つる。
- 584 名前：310 mailto:sage [2016/10/03(月) 01:55:16.80 ID:alBluDZI.net]
- >>582
深さはなんとも言えないけど、オセロで言えば、αβだけでノード数は1/100くらいに
なるってどこかのサイトに出ていたかな。1/100だとアバウト２〜４手くらい深く読めるはず。
置ける箇所が結構絞られるゲームなので置換表入れたら更にいけるかもしれない。
あとはビットマップの実装だね。
ゲームの規模的には（ネットチラ見だけど７兆パターンって書いてあった）完全解析を
ターゲットにしても良い気がする。軽はずみ発言だけど。
- 585 名前：310 mailto:sage [2016/10/03(月) 02:02:27.60 ID:alBluDZI.net]
- ちなみに。当方、Sparse正則化付AutoEncoderの実装に不安が付きまとった挙句、
MNISTという手書き数字認識のテストで動作確認をするという遠回りな事をしてます。
というか、何をしたら認識率改善するのかという事を考えて、色々といじって時間を
食ってました。
結果、オセロの方が盤面は狭いけど、良く現れる状態の数と、その特徴の複雑性が
圧倒的に違うので、やはり畳み込みのような、盤面の特徴の解釈の仕方を外から
与える方向に行く必要がありそうだという事になりました。
いままでも薄々気づいていたんですが。
ただ、画像解析や囲碁のように隣接するノードとの関係性からスタートしても意味がなさ
そうなので、その辺の工夫をしてみようと思っています。
- 586 名前：535 mailto:sage [2016/10/03(月) 22:00:29.42 ID:5qtC3pHr.net]
- 完全解析はできるに越したことはないですが、
Connect 4やってるのは勉強の意味あいが強いので
Connect 4以外では通用しないようなヒューリスティックで強くなるのは
出来るだけ避けたいです。
理想的には汎用的な手法で完全解析レベルまでもっていきたいですね。
αβもそろそろ片づけなければいけない宿題ですね。
- 587 名前：460 mailto:sage [2016/10/04(火) 00:53:57.08 ID:OTRn7xTU.net]
- コネクト４、軽く実装してみましたが（ほとんどオセロの流用）
単純アルファベータ、置換無しオーダリング無し、
評価関数が連続している数だけ考慮・・・だと8手涛ﾇみは一瞬ですｂｪ、12手読みはｂｷでにきついでｂｷね。。
末ｾ日評価関数を給lめてみてとりｂえず8手読みで535さんのAIと対戦してみる予定ですｗ
- 588 名前：535 mailto:sage [2016/10/04(火) 21:18:36.22 ID:dRd+Ucp+.net]
- おお！楽しみですね。
ありがとうございます。
工夫無しの８手読みなら勝ちたいですねｗ
ちなみに私のＡＩは結構思考時間が長いのでｗ
統計といえるほどの試合数はこなせないと思いますが期待しちゃいます。
よろしくお願いします。
- 589 名前：460 mailto:sage [2016/10/05(水) 00:36:10.60 ID:JvSO0BT6.net]
- >>588
結果ですが、ぼこぼこにされましたｗ
ヒューリスティックだとやはり限界ありますね〜
- 590 名前：460 mailto:sage [2016/10/05(水) 11:21:34.44 ID:WWXbBFqc.net]
- オセロは大体やることはやったので、そろそろ将棋か囲碁に着手してみようかと思っています。
ルールの実装が楽なのは囲碁なのかな…
自身が囲碁を打ったことがないのでルールから調べないとですがw
- 591 名前：310 mailto:sage [2016/10/05(水) 12:08:04.26 ID:Iif/OHnc.net]
- やっぱ囲碁行きたいですよね。
昔調べた感じでは、日本ルールと中国ルールで勝敗の判定が微妙に違って、日本
ルールだと曖昧なところがあるので、AI開発は中国ルールでしているみたいです。
ルールの実装は着手禁止点が少なくて拍子抜けするくらいですが、その先が・・・
色々と一筋縄ではいかないようです。
オセロの評価関数ですが、AutoEncoderの限界を感じ、DCNNの実装を始めていますが、
バックプロパゲーションがスパゲッティでわけわからん状態になっています。しばらくは
紙と鉛筆で考える必要がありそうです。DCNNがある程度できたら、僕も囲碁に行って
みようかな。
その前にConnect4に脱線してみたい気も（汗
- 592 名前：535 mailto:sage [2016/10/05(水) 19:29:25.92 ID:KcSrUkxH.net]
- >>589 >>590
ん。ＩＤが違いますね。
>>589は偽物ですかね?
- 593 名前：535 mailto:sage [2016/10/05(水) 19:48:59.89 ID:KcSrUkxH.net]
- >>591
囲碁は終局判定させるのも結構難しいみたいですね。
セキの判定とか。
Connect 4は易しすぎず難しすぎずいい塩梅のゲームだと思います。
完全解析も狙えますしｗ
- 594 名前：460 mailto:sage [2016/10/05(水) 21:34:13.58 ID:JvSO0BT6.net]
- >>592
同一ですよ！
スマホから書き込んだのでID変わってしまいました
- 595 名前：535 mailto:sage [2016/10/05(水) 21:53:19.85 ID:KcSrUkxH.net]
- ん〜そっちのＩＤ使って同一って言われても。
>>590のIDで書き込みお願いします。
- 596 名前：名前は開発中のものです。 mailto:sage [2016/10/05(水) 22:05:36.36 ID:KcSrUkxH.net]
- まあ、こんな過疎スレでわざわざ嘘をついて騙るひともいない気もしますが…
- 597 名前：名前は開発中のものです。 mailto:sage [2016/10/05(水) 22:31:22.88 ID:KcSrUkxH.net]
- >>590の書き込み時間からすると学校や職場から書き込んだ可能性もありますね。
とすると>>590のIDでは今は書きこめないかもしれませんね。
- 598 名前：460 mailto:sage [2016/10/06(木) 20:28:59.44 ID:1mBat3Ee.net]
- 460の名前があるものは偽物ではないので大丈夫です・・・
コテ付けた方がいいかもですけど、まぁこの人数ですし、そこまでする必要もないかなと思いますー
囲碁ですが、ネットから集めた棋譜をざっと見てみましたが、投了がほとんどなんですね・・・
中押し勝ち？はて・・・？となって調べるくらいルールを理解していないという；；
投了だとするとロジスティック回帰でないとあんまり良い精度は出なさそう・・・？
というより一般的な機械学習のアプローチで良いのかも微妙ですね。
やはりディープランニングなのでしょうか。。。腰が引けますｗ
- 599 名前：535 mailto:sage [2016/10/06(木) 21:04:20.88 ID:/7+JrWaw.net]
- >>598
ん〜そうですか。
それは失礼しました。
- 600 名前：310 mailto:sage [2016/10/06(木) 22:11:43.15 ID:2nbHwrUk.net]
- >>598
投了は将棋用語で「参った」です。むしろ中押し勝ちと同じ意味です（汗
将棋の場合、詰まれるまで粘る事はみっともないこととされているので、
入玉とか千日手、反則負けなどの特殊なケースを除けば全て投了です。
囲碁は、逆に終局まで打つ事があって、「数え碁」と呼ぶみたいです。
この間のアルファ碁ｖｓセドルの試合見て覚えました（笑）
オセロのように必ず最後まで打って、得点差がはっきりと出るゲームの
方が珍しいのかも知れません。
オセロみたいなmin-Max＋評価関数は既にダメ認定されてます。
アルファ碁までは、MTCS（モンテカルロツリーサーチ）が主流で、
モンテカルロ系には評価関数はありません。着手順決定のための
ヒューリスティックが大事になります。
アルファ碁の登場で、一気にディープラーニングにシフトしていますが、
基本骨格はMTCSです。着手順のヒューリスティックに「次の１手を返す
DCNN」と、評価値たるモンテカルロの勝率に、補助的に「勝率を返す
評価関数としてのDCNN」を組み合わせているようです。
- 601 名前：310 mailto:sage [2016/10/08(土) 22:22:06.53 ID:wBSLMo4h.net]
- あ、MTCSじゃねー。MCTSだ。
>>600書きながら、Q-Learningなるものの存在を思い出して、調べ始めたら、
やっぱりDQN（ブロック崩しで有名になった奴）はQ-Learning＋DeepLearning
だった。
興味津々だけど、どんどん発散しちゃうなぁ。
- 602 名前：535 mailto:sage [2016/10/10(月) 19:51:24.57 ID:WonRpXhk.net]
- なんかモチベーションあがらんなぁ
三連休まるまるさぼってしまった。
- 603 名前：名前は開発中のものです。 mailto:sage [2016/10/10(月) 22:22:05.27 ID:WonRpXhk.net]
- 将棋電王戦あったみたいですね。
- 604 名前：名前は開発中のものです。 mailto:sage [2016/10/10(月) 22:38:31.22 ID:WonRpXhk.net]
- 優勝はポナンザか。
一発勝負のトーナメントなのに強え。
- 605 名前：名前は開発中のものです。 mailto:sage [2016/10/10(月) 23:10:57.87 ID:WonRpXhk.net]
- ん？
一発勝負じゃないのか？
- 606 名前：310 mailto:sage [2016/10/13(木) 11:06:43.08 ID:f6Nd8WJL.net]
- ここ数日、気分転換でConnect4やってました。
ビットマップ方式の置換表付αβのオーダリング無し。リーチ状態のみ後方枝刈。
完全解析ができそうか確認してました。
全４２手でルートから３０手くらい置換表適用すると、序盤はかなり良いペースで探索
してくれますが、数時間で置換表パンク。置換表を２０手くらいまでにとどめると、びっくり
するほど速度低下。手順の前後で簡単に同形が生じるので、置換表が肝なのは確か。
というか、手順前後の同形を排除する仕組みが作れればメモリ節約可能になる。
けど、それを一般化した処理が置換表なので、全てカバーしなくても３手以内くらいで
排除すれば状況はかなり改善するかも知れない。
あと、パンク前も探索が進むにつれて徐々にnpsが低下していきます。原因不明。
書きながら気づいたのですが、置換表のハッシュ値はオセロのものを流用しています。
Connect4はビット数が少ないので、ハッシュ衝突が頻発して、格納効率が低下して
領域拡張が頻繁におきて、探索速度も落ちている可能性があります。
というわけで、現段階では置換表周りを工夫しないと完全解析は厳しそうです。
一方で、空２６箇所くらいの終盤探索なら実用的な速度が出そうな感触です。
>>569の完全ソルバは、評価値表示機能があるけど、あの表示の仕方だと、証明数
探索みたいな手法を使っているのかなぁ。ほぼノータイムで最善手のみ着手してくる
ので。完全ソルバの出現で終わっちゃってるゲームなんでしょうね。
で、このゲームってMCTSの練習台にちょうど良いのではないか？とふと思いついて
しまいまして・・・。更に脱線しようかなと思います。Playout関数は作りましたが、ツリー
展開の仕方に疑問があり、まだ調べ中です。
- 607 名前：名前は開発中のものです。 mailto:sage [2016/10/13(木) 21:15:41.15 ID:XMNeJMFS.net]
- 310氏もConnect 4 参戦か〜
- 608 名前：535 mailto:sage [2016/10/13(木) 21:53:14.86 ID:XMNeJMFS.net]
- 名前書き忘れた。
終盤２６手読み行けそうというのは流石ですな。
完全解析ってConnect 4だと簡単そうに見えますがこれが意外と手強いんですよね〜
- 609 名前：310 mailto:sage [2016/10/15(土) 13:58:53.52 ID:iZ3eY/zy.net]
- NPS低下問題はやはりハッシュ衝突のようで、ちょこっと直したら解消しました。
Connect4は手順前後しても同じ形になる事が多いゲーム（DAG問題多発）なので、
置換表を上手く使わないと、７兆種類あると言われている盤面を何度も重複探索して
しまう事になります。が、置換表探索と登録のオーバーヘッドは結構大きく、メモリ
パンクでスワップ多発の問題も起きます。
今の設定だと残り２７手探索くらいなら難しい問題で１分程度で解けそうです。
NPSは２０メガくらい。が、メモリパンクや重複探索の問題があるので、その速度を
もとに完全解析に要する期間を推計するのは無理っぽい感じです。
というわけで、完全解析はこの辺にして、MCTSの方に行きます。
- 610 名前：535 mailto:sage [2016/10/15(土) 20:55:10.85 ID:jn3cHMWR.net]
- >>609
多分純粋なMCTSだけではあまり強くならず、
プレイアウトになにがしかの工夫を入れる必要が出てくると見てます。
逆にプレイアウトさえ改良できればMCTSはびっくりするくらい強くなる。
しかしそれでも完全ソルバには届かない。みたいな感じだと思います。
- 611 名前：310 mailto:sage [2016/10/15(土) 21:29:59.48 ID:iZ3eY/zy.net]
- MCTS（UCT）多分できました。STL様様です。
探索時間１秒で４０万プレイアウト。
playout部をnegamax的に書いたので、ちょっと混乱しました。
まだ終局判定とかいい加減で、引分近辺で落ちる可能性あります。
オセロでも１秒で１０万プレイアウト以上いけるんじゃないかなぁ。
探索時間固定できるのでオセロ序盤〜中盤で使えるかも。
>>535さんのプログラムはもうダウンロードできないですね。
- 612 名前：535 mailto:sage [2016/10/15(土) 21:54:42.38 ID:jn3cHMWR.net]
- 秒速40万プレイアウト！？すげぇぇぇぇ
1プレイアウト=1手てことですか？
1プレイアウト=1局てことですか？
- 613 名前：535 mailto:sage [2016/10/15(土) 22:17:47.78 ID:jn3cHMWR.net]
- 460氏もオセロで10000Knps〜15000Knpsとか言ってるし、まじか〜
やっぱ本気でやってる人達は違うのかな…
- 614 名前：535 mailto:sage [2016/10/15(土) 23:46:45.43 ID:jn3cHMWR.net]
- NPSは２０メガって書いてありますね…
すいません。
- 615 名前：310 mailto:sage [2016/10/16(日) 01:32:06.03 ID:KTdXBWLt.net]
- プレイアウトなので１局です。色々ごにょごにょはありますが、ランダム着手で、
とりあえず勝負がつくまで打ちます。これで１プレイアウト。
速度が出るのはビットマップとBMI命令などのX64命令を使ってるからだと思います。
が、Perfect Solverに先手で勝てません（汗。５手目に必ず間違えます。
評価値を眺めても、当たり前のように、正解（真ん中列）が最下位になります。
パラメータをそこそこいじってみましたが、状況は変わらないです。
一本道には弱いって事かなぁ。
とはいえ、自分がやると、さっくりと負けてしまいます（汗
- 616 名前：310 mailto:sage [2016/10/16(日) 13:25:18.14 ID:KTdXBWLt.net]
- mobility周りにバグがあって直したところ、１秒読みでPerfect Solverに先手で勝ちました。
昨夜は１２０秒読みでも同じ手順で負けていました。
とはいえ、乱数が絡むので引き分ける事もあります。
まだ若干問題があります。１本道を交互に着手していくと自動的に勝ちが確定する盤面
なのに、評価が引き分けになっています。プレイアウトの終局判定で何かの条件が抜け
ていて、勝ちと判定されていない感じです。
直したらまた勝てなくなったりして（汗
C++の診断ツールを今回初めて使ってみました。
関数ごとの使用時間がわかるようで、速度アップの検討に重宝します。
が、どうもUCB1の計算で使うsqrtとlogを使ってる箇所でCPUを９割くらい使っている
感じです。見方が良くわからないけど、多分そういう状況。速度アップ難しい。
- 617 名前：535 mailto:sage [2016/10/16(日) 16:43:19.50 ID:Ts0NTtMt.net]
- 一秒読みで完全ソルバに勝とかまじか〜
やっぱ積み上げてきた基礎力が違うんだろうな〜
- 618 名前：310 mailto:sage [2016/10/16(日) 17:19:15.26 ID:KTdXBWLt.net]
- どもです。評価値問題は治りました。
乱数じゃなくて、ある手順で引き分けな手を選んでしまう事が判明したので探索時間
を延ばしてみたら、逆に序盤で負け手順を選んでしまうようになりました（汗。
ツリー部の地平線臭い感じなのかなぁ。
というわけで、たまたま選んだ１秒が良かっただけかも知れませんorz
MCTSも理論的には探索回数を∞にすると、最善手を必ず導き出す事は保証されて
いるらしいのですが、中途半端な回数の時は保証されていないんですよね。
- 619 名前：535 mailto:sage [2016/10/16(日) 21:36:30.64 ID:Ts0NTtMt.net]
- なんか将棋で評価値を深く探索した時の評価値に近づけるっていう学習方法があるみたいですね。
ちょっと興味あります。
- 620 名前：310 mailto:sage [2016/10/16(日) 22:45:31.89 ID:KTdXBWLt.net]
- なんか、デバッグ報告みたいな状況になってすみません。
地平線臭い状況を調べていたら、負ける寸前なのに評価値が勝ちになってます。
つまり負けを認識していない。
着手を間違えるのはこの辺も原因かも知れません。
ぱっと思いつく原因が見当たらないので、しばし長考します。
- 621 名前：535 mailto:sage [2016/10/17(月) 22:03:40.14 ID:B9d5KHtX.net]
- connect 4序盤ブック作ってみようかな。
完全ソルバ丸パクリでｗ
- 622 名前：310 mailto:sage [2016/10/18(火) 00:57:04.06 ID:k8M1GDOc.net]
- 色々直して、ほぼバグは取れたと思います。
で・・・強くなったはずですが・・・PerfectSolverに先手で勝てなくなりました。
かつて勝てたのはたまたま上手くバグっていたという事みたいです。
１秒設定は途中で間違えて引き分け、１０秒設定は初手で負け確定（真ん中以外に着手）。
１秒設定で初手真ん中を選択するのはたまたまかもしれません。
初手だけ調べると１５０万プレイアウトくらいで間違えはじめ、１５億プレイアウトまで確認
しましたが、雰囲気的には当分正しい答えに戻ってこないようです。
評価値の推移を見ると、一本道問題に引っかかっているように見えます。
DAG問題がやっぱり気になるので、ハッシュと組み合わせて合流できるようにしてみます。
多少は改善するかも知れないし、逆にもっと早く真ん中から外れるかも。
- 623 名前：名前は開発中のものです。 [2016/10/18(火) 17:50:18.00 ID:7idTlLLA.net]
- 読めば読むほど弱くなるとは不思議
ucbの計算間違えてるとかでは？
- 624 名前：名前は開発中のものです。 [2016/10/18(火) 19:31:31.87 ID:4bRvdGb+.net]
- ボードゲームのオリジナルオーダー制作
www.logygames.com/logy/ordermade.html
簡単に本格自作ボードゲームが作れる時代到来！！
jellyjellycafe.com/3869
100円ショップでボードゲームを自作しよう
https://sites.google.com/site/jun1sboardgames/blog/makeyourbg
ノーアイデアでボードゲームを作ろう第1回「100円ショップで物を買う」
boardgamelove.com/archives/boardgame-make-1/
自作ゲームをゲームマーケットで売って来た
portal.nifty.com/kiji/160418196277_1.htm
「街コロ」はカードゲームに興味ありな初心者の入門用に最適、サイコロを振って
カードを集めどんどん自分の街を発展させて勝利を目指せ
news.livedoor.com/article/detail/10962802/
ようこそ「男の世界」へ。『ダンジョン オブ マンダム』試されるカードゲーム
www.moguragames.com/entry/dungeon_of_mandum/
かわいいひつじを増やして増やして増やしまくれ！ “一人用”カードゲーム『シェフィ』
www.moguragames.com/entry/shephy/
- 625 名前：535 mailto:sage [2016/10/18(火) 22:30:42.36 ID:5rT5zFZw.net]
- 完全ソルバから定石パクるの意外とめんどくさいな。
クローラーみたいにして自動でパクれるようにしようかな。
でも迷惑かかるかな？
- 626 名前：535 mailto:sage [2016/10/18(火) 23:07:54.58 ID:5rT5zFZw.net]
- なんか本末転倒だからやめとくかｗ
- 627 名前：310 mailto:sage [2016/10/19(水) 02:53:35.54 ID:YWnebdEb.net]
- まさかの場所にバグ発見。
プレイアウトでランダムに１手選ぶところがバグってました。
良く動いていたものだと思う反面、MCTSってそういう所がある事も薄々感じてます。
が、状況はほぼ変わらず。初手真ん中と、５手目真ん中。この２か所が鬼門。
まだバグがあるのかも知れない。やっぱり自分が一番信用できないですね。
DAG問題対策でノードの合流を実装しました。枝とノードを分離して、ノードをハッシュ
にして、ノードの下に次の枝をぶら下げました。同時に、ハッシュキーに細工して、
左右同形も合流させてます。あまり変化はない気が。
速度低下が酷いです。
- 628 名前：310 mailto:sage [2016/10/20(木) 00:37:06.99 ID:yz39woaL.net]
- ５手目真ん中以後どうなるのか１秒探索検証。６手目２列目に対しては、勝利（全て
最善着手）。６手目１列目に対しては、５列目着手で引き分け進行に入り、引分終了。
この時の手順では、全箇所が最善手という盤面ばかり通っていくように感じています。
つまり、MCTS的に勝利期待値が最大になりやすい手です。という事で、まあ、そんな
に間違った手は打っていないかなと。
また、プレイアウトを繰り返して手がどう変遷するのか見ていくと、最善手である真ん中
は、ある一定数からほとんど選択されなくなっています。結果、その手で枝の分岐が起き
ない事から、いつまでたっても評価が更新されず正解に戻らないと推測できます。
そこで、試行回数に圧倒的な差ができても、下位の手も一定回数は試行されるように
できないかと、手の選択基準をucb1の大きい順から、ソフトマックス関数を通して確率
分布に変えて、乱数で選択してみました。
結果は・・・。expの計算がある事からか、速度が激減。PVに割り当てられる試行回数は
2/3程度になり、その時点の最悪手でもそれなりに試行されるようになりましたが、それ
でも手の選択は微妙な感じです。この程度の効果なら、他のパラメータいじった方が
速度低下も無く良かったかも（汗
というわけで、本日のトライアルも失敗。
気が進まなかったけど、やっぱりucb1計算の検算をしてみます。
あと、部分的にmin-Maxを適用するとか。
- 629 名前：310 mailto:sage [2016/10/23(日) 09:58:44.72 ID:qEEwIK82.net]
- UCB1の計算は合ってました。
プログラムがC++的に美しくない事が気になりだし始めて、全部書き直ししてました。
書いた端から美しくないのが気になりだしましたが（笑）
UCTで後方枝刈というか、小枝の勝敗が確定していたら、ツリーを縮小していく処理を
追加。一本道問題が多少緩和するかと期待。対戦はちゃんと動いているっぽい。
デバッグ情報をファイル出力する処理書いて確認。
間違え方はあまり変わっていないのが残念というか、安心というか（汗
モンテカルロで１手目から最善手順が確実にわかったら、それはそれでゲームが
簡単すぎるって事になっちゃうので、大きく間違えないんなら、それで仕方ないかな。
というわけで、COM１手目は真ん中に固定。
プレイアウト部を高速化できる気がしていますが、やってみないとわかりません。
プレイアウトの末端部分に完全読みを数段入れるのも良いかと思っています。
DAG問題対応と左右対称チェックを入れて毎秒２０万プレイアウトくらい。
評価値の算出方法でちょっと悩み中。
そこそこ落ち着いたらオセロの中盤探索に応用してみます。
- 630 名前：310 mailto:sage [2016/10/26(水) 20:47:59.29 ID:H5ji3apJ.net]
- また美しくない病が出て、書き直したところ、びっくりするほど弱くなってしまった。
しばらくデバッグで悩みそうです。
- 631 名前：535 mailto:sage [2016/10/26(水) 20:59:11.78 ID:+YpzcPTO.net]
- Connect 4は一旦休止して別のゲームのＡＩ書いてます。
マイナーゲームですが囲連星というゲームで囲碁と五目並べを混ぜたようなゲームです。
簡単に言うと、七目並べれば勝ち、囲った石は取れるというルールです。
ついさっき黒番で公式ＡＩのLV0に１勝できました。
(;SZ[19]
;B[jj];W[kj];B[jl];W[ji];B[ik];W[km];B[kk];W[ki]
;B[ii];W[lj];B[ll];W[mm];B[hh];W[gg];B[im];W[ih]
;B[ig];W[jh];B[ij];W[in];B[lk];W[gi];B[hk];W[gk]
;B[mk];W[nk];B[hn];W[hl];B[jn];W[io];B[lm];W[jo]
;B[go];W[fp];B[gh];W[hi];B[fg];W[ko];B[gf];W[ln]
;B[hg];W[jg];B[ff];W[gj];B[gg])
囲連星AIはこちらで配布されてます。
www.vector.co.jp/soft/win95/game/se401975.html
- 632 名前：535 mailto:sage [2016/10/27(木) 22:26:16.59 ID:CgNWWTgQ.net]
- LV2からも黒番で一本取りました。
キセキが起きたｗ
(;SZ[19]
;B[jj];W[ik];B[ji];W[hj];B[jh];W[jk];B[kk];W[jl]
;B[gi];W[il];B[ll];W[hm];B[ii];W[hh];B[hi];W[ki]
;B[mm];W[nn];B[li];W[in];B[kh];W[fi];B[mi];W[io]
;B[kj];W[lj];B[ki])
- 633 名前：535 mailto:sage [2016/10/27(木) 22:53:05.70 ID:CgNWWTgQ.net]
- 黒番でLV3からも一本取りました。
なかなかいい感じ。
ここからどう高めるか。
(;SZ[19]
;B[jj];W[ji];B[ij];W[kj];B[kk];W[ii];B[ki];W[lj]
;B[lk];W[jk];B[ik];W[kh];B[li];W[mj];B[lh];W[hl]
;B[mk];W[hj];B[jl];W[hk];B[ok];W[nk];B[nj];W[hh]
;B[nl];W[km];B[jk];W[lm];B[nk])
- 634 名前：310 mailto:sage [2016/10/27(木) 23:41:56.56 ID:KUg+LQ1A.net]
- バグ取れました。わかればどうという事はないですねorz
左右対称はデバッグが面倒くさいので省きました。どうせ序盤でした
意味がありませんので。
初手真ん中は、多分モンテカルロでは答えを出すのが相当厳しいです。
５手目真ん中は、乱数次第みたいな感じで、１００万プレイアウトくらいまでに
出るか、１億プレイアウトしても出ないかみたいな感じになります。
一応、DOS窓ベースでプレイできるようにして、途中でMTCSのツリーを
色々と確認したり、追加のプレイアウトをしたりできるようにしましたが、
本質的にモンテカルロなので、完全に近いけど完全じゃないし、乱数の
具合によって着手する手もバラつくという事で勝手に納得してしまいまして、
せっかく作ったデバッグルーチンも禄に活用していません。
高速化も、一時期は４０万プレイアウト毎秒くらいまで出たように感じて
ましたが、最終的に２０万くらいで落ち着いてしまいました。
次のステップでオセロに応用と思ったのですが、その前に並列処理化を
してみようかと思います。上手くやれば探索ノード数は３倍強（自分のPC
では）くらいにはなりますが・・・数段深く読んだとて、結論にはあんまり大差
が無いのかなと。まあ練習ですな。
というか、min-Maxとモンテカルロのノウハウ、仕事で使えそうだなぁ。
- 635 名前：名前は開発中のものです。 mailto:sage [2016/10/27(木) 23:46:29.29 ID:CgNWWTgQ.net]
- >>310氏はプロのプログラマなのか。
まあ納得。
- 636 名前：310 mailto:sage [2016/10/28(金) 10:50:00.21 ID:/58y3Hfc.net]
- いや。趣味の深夜プログラマです。
物流業務改善の会議で提案してみて、わからんと言われたら
ソース見せて動作検証してやろうかなと。
システム屋さんからすると、とてつもなく面倒くさいクライアント
だと自覚しておりまするorz
- 637 名前：535 mailto:sage [2016/10/29(土) 21:09:01.77 ID:4znFYNwN.net]
- 囲連星、公式ＡＩとガッツリ対戦してみました。
LV0はdll化されてないので対戦できませんでしたが。。。
結果はLV1には大きく勝ち越しましたがLV2,LV3には敵わなかったです。
airandom.dllが私のAIです。
50局目
黒(airandom.dll)の勝利回数: 44
白(ai-lv1.dll)の勝利回数: 6
50局目
黒(ai-lv1.dll)の勝利回数: 10
白(airandom.dll)の勝利回数: 40
50局目
黒(airandom.dll)の勝利回数: 20
白(ai-lv2.dll)の勝利回数: 30
50局目
黒(ai-lv2.dll)の勝利回数: 41
白(airandom.dll)の勝利回数: 9
50局目
黒(airandom.dll)の勝利回数: 15
白(ai-lv3.dll)の勝利回数: 35
50局目
黒(ai-lv3.dll)の勝利回数: 44
白(airandom.dll)の勝利回数: 6
私のＡＩが長考するのでこの対戦するのに丸一日以上かかってしまいましたｗ
- 638 名前：310 mailto:sage [2016/10/29(土) 21:13:21.87 ID:hyv6QOjp.net]
- 並列化してみました。
色々やり方ありますが、まあ順当なやり方という事で、ツリー単位の並列化です。
が、４コアに対して４並列でむしろ速度低下。排他で怪しいところを色々変えてみて
ようやく若干（１０〜２０％程度）の速度アップにしかなりません。並列数を減らすと
速度低下していくので、排他待ちが原因ではなく、並列化オーバーヘッドの模様。
ノード＆ツリーの構造で複雑な分、オーバーヘッドが大きくなっているのか、オセロの
時の効果には大きくおよびません。
ルート単位の並列化で、一定時間ごとにツリー統合（合算）というやり方もあるような
ので、次はこちらを試してみます。
もしかしたら、一番効果が無さそうな、プレイアウトのみ並列化の方が効果出たりして。
- 639 名前：310 mailto:sage [2016/10/29(土) 21:14:51.22 ID:hyv6QOjp.net]
- MTCSは並列化と相性が良いとは思えないなぁ。
- 640 名前：535 mailto:sage [2016/10/30(日) 23:47:35.70 ID:11nwLD7b.net]
- return文忘れててめちゃくちゃな値返してた。
この不可解なバグ潰すのに３時間かかったorz.
関数の終わりでreturn文無かったら警告だしてよコンパイラ（泣
まあコンパイラオプション付けてない俺が悪いんだがｗｗｗ
- 641 名前：310 mailto:sage [2016/10/30(日) 23:54:19.10 ID:vT6Vi1L+.net]
- 結局ツリー部の並列化はやめてプレイアウトだけを並列化しました。
ツリー統合も気になりますが、とりあえずこれで末端の評価が正確になります。
プレイアウト部分は処理時間が短いので、プレイアウト回数は大幅に増えます。
MCTSは面倒でも、モンテカルロは並列化向きです。
１００回プレイアウトして、そのスコアでまとめて更新。
ところが、バグを発見してしまいました。
勝ち手順で進めていたのに、最後の最後に１手間違えて引分。
もうプレイアウトではなくツリーの勝敗が確定している状態で、間違えるはずがない。
勝敗確定時のフラグ設定がおかしいようです。
そこから色々見直しを始めたら、negaMax的な処理の扱いに完全に混乱して
しまいまして…。これだと思って修正すると、おかしくなってしまいます。
どこか根本的に勘違いしているみたいなので、しばし長考に入りますorz
- 642 名前：535 mailto:sage [2016/10/31(月) 00:37:25.82 ID:KdjBytFw.net]
- なかなかいい感じのルーチンが書けた。
まだ結果に結びついてないけどこれはあと一捻りいれればかなりいい線行くんじゃないか？
- 643 名前：535 mailto:sage [2016/10/31(月) 21:35:59.05 ID:KdjBytFw.net]
- おかしいな。
石の流れは良くなってるのになかなか勝利に結びつかない。
- 644 名前：535 mailto:sage [2016/10/31(月) 22:47:38.80 ID:KdjBytFw.net]
- パラメータ微調整地獄ｗ
機械学習に切り替えないと限界が…
- 645 名前：535 mailto:sage [2016/11/01(火) 21:33:50.00 ID:pQxzEPLf.net]
- あかん。
完全にバランスを失った。
一から出直しだな。orz
- 646 名前：名前は開発中のものです。 [2016/11/03(木) 03:15:09.64 ID:x7yDYWU2.net]
- ボードゲームのオリジナルオーダー制作
www.logygames.com/logy/ordermade.html
簡単に本格自作ボードゲームが作れる時代到来！！
jellyjellycafe.com/3869
100円ショップでボードゲームを自作しよう
https://sites.google.com/site/jun1sboardgames/blog/makeyourbg
ノーアイデアでボードゲームを作ろう第1回「100円ショップで物を買う」
boardgamelove.com/archives/boardgame-make-1/
ボードゲーム市場がクラウドファンディングの出現で急成長を遂げ市場規模を拡大中
gigazine.net/news/20150820-board-game-crowdfunding/
- 647 名前：310 mailto:sage [2016/11/04(金) 15:36:30.74 ID:zGiY9OSz.net]
- 長考の結果、もう一度作り直し（笑）していたら、混乱の原因がわかりまして。
勝敗の持ち方を逆にしたらすっきりしました。
あと、終盤の手順の前後で、あと３手粘れるのに１手で負けるという現象を調べた
結果、ツリー部で負けと判定している以上、何手先に負けるか関係ないというプロ
グラムになっていた事も判明。バグじゃありませんでした。とはいえ気持ちが悪いので、
なるべく長く粘るようにしてみました。
そこでわかったのは、Perfect Solverの数字は、４２手２１ターン目の引分から何ターン
前に勝負がつくのかを表していて、プラスは勝ち、マイナスは負けという事です。先手で
＋１と出たら最善を尽くせば４１手目の自分の着手で勝つという事のようです。
つまりスコアを勝敗決定ターンにしたmin-Maxで、速度考えるとDB化してるんでしょう。
で、MCTSですが、まあやはりモンテカルロなので間違えます。試しに１０手目程度
の間違えた局面から、シミュレーションを続行してみたところ、億単位の探索（プレイ
アウトとしては１０倍）で、間違えた手が本当は悪かった事に気づいた様子で、そこから
正しい答えに向かって行きました。なので、まあプログラムは間違っていない模様です（汗。
DAG対応とか、自殺手禁止プレイアウトとか、色々やった結果、選択手のばらつきが
減って、「たまたま正解手順を引く」事がなくなって、自信満々に間違えるようになっ
た印象です。それでも、時間をかけて探索を続けると、いつかは正しい答えにたどり着くと。
今となってはあまり意味が無いですが、せっかくなので、ここまで積み上げて来た
ノウハウで、今一度Solver作ってみようかなと。
- 648 名前：535 mailto:sage [2016/11/04(金) 23:52:18.01 ID:lKhN7bKh.net]
- 色々ぐちゃぐちゃやってたら計算時間がとてつもないことになってしまった。
- 649 名前：310 mailto:sage [2016/11/06(日) 13:49:29.22 ID:Z4kqE5wB.net]
- Solver作りました。
PerfectSolverにならって評価値を、４２手目から何手手前で勝敗がついたかにしました。
お蔭さまで、null window searchが使えるようになり、mtd(f)で高速化しました。
あと、初段のみ単純な並列して、残り２８手で６秒強となりました。
そろそろオセロに戻ります。
- 650 名前：535 mailto:sage [2016/11/06(日) 17:53:47.27 ID:B23WCzGo.net]
- 終盤28手読み6秒とか凄い
こっちはというとそろそろαβ刈りを習得しなければ…
- 651 名前：535 mailto:sage [2016/11/07(月) 00:12:13.27 ID:vL8wkeAF.net]
- αβできたっぽいです。
というかwikiの疑似コードを完コピしたらうごいたっぽい？という感じで
理解したとはいいがたいですが。
- 652 名前：535 mailto:sage [2016/11/07(月) 22:06:07.74 ID:vL8wkeAF.net]
- え、もしかしてminmaxに比べてαβめちゃめちゃ速い？
なんか間違ってんのかな…
- 653 名前：310 mailto:sage [2016/11/08(火) 00:02:22.02 ID:CUgV7Bvg.net]
- 安心してください。めちゃ早いですよｗ
後ろ向き枝刈系のアルゴリズムはほとんどがαβを前提にしています。
自分の最初は擬似コードコピペしました。
すぐ忘れちゃいますが、１回は真剣に動作を追っておくと良いですよ。
- 654 名前：535 mailto:sage [2016/11/08(火) 22:35:11.27 ID:BlAmLHY6.net]
- 評価関数が致命的に狂ってる気がする。
手動で直すのは限界があるから機械学習したいがさてどうするか。
- 655 名前：310 mailto:sage [2016/11/10(木) 20:55:19.87 ID:gpSCAC4W.net]
- オセロでUCTをしてます。コピペでちょいちょいと思っていたらパスの処理が面倒で、
思った以上に動作速度が落ちてしまいました。
その後、デバッグしてたらおかしな現象を発見。探索ツリーでプラスになるべき数字が
マイナスに。しかも１か所だけ。発生条件を絞り込めず、なんだかんだと数日間。
原因は整数のオーバーフローでした。設定時間におけるプレイアウト回数でのスコア合計
がちょうど境目にきて、本当に微妙にオーバーフローしていたので、スコアの正負がひっく
りかえったように見えていたのでした。
俺の時間を返せorz
終盤５手読みくらいならすぐにUCTのツリーが終局まで達して、完全読み同等の答えを
返してくれるのですが、１０手だと結構時間がかかり、２０手だと全く歯が立たない。
評価関数を使った中盤探索の置き換えに使えないかと想定しているのですが、やはり
簡単に精度は出ない感じです。
プレイアウトでありがちな手を優先的に着手するように、ヒューリスティックな評価関数を
用意して、プレイアウトの精度を高められるか試してみたいと思います。あと、スピード
アップもしないと・・・。
- 656 名前：535 mailto:sage [2016/11/10(木) 23:14:15.10 ID:4tjjzH07.net]
- Zenは治勲と三番勝負か〜
Zen勝ちそうｗ
- 657 名前：535 mailto:sage [2016/11/13(日) 00:19:43.02 ID:otFLKKMJ.net]
- doubleの有効桁数が足りなくておかしくなってたorz
評価値に差をつけようとして極端にデカい数値を設定してたら
小さい数値が無視されてた
- 658 名前：310 mailto:sage [2016/11/13(日) 00:47:25.03 ID:Be0ooFvL.net]
- DeepZenGo楽しみですね。
ポストアルファ碁の今となってはZenが２勝できなかったらちょっと悲しいかな。
こちらはオセロのモンテカルロツリー探索がほぼできました。
当初かなり速度ダウンしていたのですが、何とか改良できました。vectorが遅かった。
数か所工夫して、テストデータで正解を早く導けるようにしてみましたが、調整が面倒そう。
とりあえずネタ切れなので、次は探索済ツリーを再利用できるようにして、対戦できるよう
にする予定です。で、今一度終盤読み切りルーチンと、序盤の定石DBつけて完成としたい。
しかし、相変わらず評価値をどう計算したら良いのかわからない。
単純に、着手する手の平均スコアだと、探索の進み具合によってあなりブレてしまい
意味がある数字になりそうにない。アルファ碁はDCNNの評価値を使ってるのかなぁ。
- 659 名前：310 mailto:sage [2016/11/13(日) 20:49:23.63 ID:Be0ooFvL.net]
- ちょっと疑念が湧いてきたので数か所工夫したところを全てコメントアウトしてみたところ
やらない方が遥かにマシという結論に（汗。下手な考え休むに至りでした。
全部外してしまうと一旦最善手から外れてまた戻ってくるような事もなくなり、探索時間が
長い方が良いと単純に言えるようになります。
また、評価値ですが、モンテカルロならやはり点差を考慮しない「勝率」であるべきでは
ないかと思い始めています。今は、「点差」を返しています。「勝率」で選ぶ手は、「もっと
良い手があった」となりますし、「点差」で選ぶ手は「欲張りすぎた」となりそうです。
探索済ツリーの再利用の仕組みができました。まだパスがらみのテストはしてませんが、
多分大丈夫でしょう。
ボード関連のクラスをかなり作り直してしまったので、終盤読み切りルーチンや序盤定石
処理を作り直さないといけません。というか、評価関数を持ってないので、終盤探索は
オーダリングの仕方を変えないといけません。
あと、人間側入力待ちの間も探索を継続できるようにしてみたいと思っています。
モンテカルロだと、いつでも停止したり再開できるので、ぜひとも導入したいものです。
- 660 名前：310 mailto:sage [2016/11/16(水) 01:01:14.01 ID:2m1pjf8n.net]
- 人間の入力待ちの時のバックグラウンド探索を実装しました。
並列処理はPPLを使ってるので、思いのほか簡単にできましたが、入力待ちのまま
放置されると、数時間でメモリーを食いつぶしてしまう事に気づきました。
パンクしそうになったらツリーをルートに近い順に削除するようにしましたが、メモリー
リークしてそうでちょっと怖いです。
コンピュータ同士で対戦させてみたところ、まあそれっぽくは打ちますが、序盤で定石
から外れてしまいます。終盤は結構正確に見えます。
評価値の件、独自ロジックを外したところ、それっぽい値を表示するようになりました。
- 661 名前：310 mailto:sage [2016/11/16(水) 09:03:26.60 ID:uZWbEwsE.net]
- 自分のつたないオセロ力では、モンテカルロが着手した手が良いのか悪いのか
わからないので、どうしようかと寝ながら考えました。
まず考えたのは、完全読み切りルーチンを作って、終盤に限っては正解着手も
探索してみる事。でも、最終的には終盤は完全読み切り使った方が、正確で早い
ので、そちらを使用。中盤や序盤の具合がわからない以上、ほぼ意味なし。
続いて、WZebraにある「解析機能」を実現できないかと考えました。中身はわからない
ので想像。使用して感動した経験あり。
「後ろから解析」なら、αβを後ろから回し、自分が着手した手より良い手が無ければ
βカット、あればそれで生じたスコアの増減を記録という形で、中盤のある程度のところ
までは、遡りつつ誤着手を検出できるんじゃないかなと。棋譜にある着手はこのロジック
で評価が定まっているので、探索を省く事ができます。評価関数を持っていないので、
遡れても３０〜３５手目くらいまでかと思いますが、読み切りルーチンをいじれば作れ
そうなので、トライしてみようと思います。
誤着手率がわかっても、簡単に直らないのがモンテカルロですが…。
- 662 名前：535 mailto:sage [2016/11/19(土) 18:30:11.32 ID:X8ZFdPyh.net]
- ん〜Zen負けちゃった。
期待してたんだが。
- 663 名前：310 mailto:sage [2016/11/19(土) 20:47:46.55 ID:F+e1LSRb.net]
- とりあえずWZebra相手に戦ってみたのですが、全滅しない程度に負けますｗ
評価値が全然違うというか、自分は有利なつもりで進んでいても、Zebra的には
＋５０とかになってます。４０〜５０手目付近で末端までツリーを展開してようやく
気づくみたいな。そこまで行くと、ほぼ間違えなくなる（当たり前）のですが、序盤
中盤があまりに酷いので、定石ルーチンで助けられないレベルかなと。
そもそも評価値が間違いまくりで、自分のAIは少し有利くらいの勝率になっている
のに、zebraは既に＋３０とか＋５０とか。形を見ても、素人目にも全く不利な形に。
ランダム着手で勝率や平均スコア求めても意味が無いかも、という本質的な
課題に突き当たってしまいました。
ツリー依存度を上げようと閾値を下げてツリー展開しやすくすると、あっという間に
メモリが溢れてしまいますので非現実的。本来はucb1の計算が機能して、変な
ツリーに手を回さないのですが、むしろ変な手にロックオンしてしまいがち。
囲碁みたいに、１手の価値や、最終的な形が同じなら着手する順番関係ないよう
なゲームじゃないと厳しいのかなと思い始めています。
相手の入力待ちの時のバックグラウンド探索では、敢えて初手についてのみ全て
の手に均等に割り振って、ツリー展開を進めさせてみたのですが、これもやりすぎ
ると簡単にパンクしてしまうので、ほどほどにという感じです。
アンドゥ機能を消して、終わったツリーをバサバサ消す仕様に変更です。
というわけで、解析とか後回しして、強さを上げられないか検討です。
ヒューリスティックな手法で、プレイアウトをもう少し現実的に。同様にUCB1に多少
細工して、よさそうな手の割り当てを増やせないか検討してみます。といっても、
相手の着手可能位置の数を減らすような手を優先するくらいしか、アイデアはあり
ませんが。
- 664 名前：310 mailto:sage [2016/11/20(日) 16:54:24.84 ID:4i7ILKOH.net]
- 「相手の打てる箇所が少ない手を確率的に増やす」程度では全くダメでした。むむむ。
脳内では、プレイアウトの次の１手を決めるのにDCNNでみたいな…本末転倒な対策が
渦巻いてきています（汗。手元にある囲碁のモンテカルロ本（彩の解説、技術的な種本）
でも、自分の石の周辺のパターンを統計的に処理して着手確率を計算みたいな事をして
いまして。オセロでいうと評価関数みたいな事をしていたりします。
オセロは、着手する石の価値が重すぎるので、モンテカルロが向かないって当たり前の
結論ではあるのですが。それにしても、あまりに弱い。
というわけで、ダメ元でプレイアウト時に開放度で着手確率を変える方法を試してみつつ、
技術的勉強で、もう一度、きちんとツリー並列で並列化を実装してみようかなと思ってます。
- 665 名前：535 mailto:sage [2016/11/20(日) 21:28:29.17 ID:gm8FgHLO.net]
- も〜インテルさん早く１ThｚのCPU出してよ〜w
- 666 名前：535 mailto:sage [2016/11/23(水) 19:46:23.65 ID:/Z9U4oFa.net]
- Zen負けちゃったか〜
でも一勝しただけでもすごい。
- 667 名前：310 mailto:sage [2016/11/23(水) 23:37:07.28 ID:wq9OFZ+n.net]
- うむぅ。アルファ碁があるから期待高いけど、互先で１勝したのは凄いよね。
まだ伸びしろありそうだから、次回に期待ですね。
こちらは、モンテカルロがあまりにダメダメで悩み中です。
煮詰まってしまったので、ツリー並列をきちんと実装したり、終盤探索作ったりしてました。
終盤探索は、ようやく>>460さん指摘の偶数理論を実装しました。どうやるのかなかなか
思いつかなかったけど、手を動かしだしたらわかるものですね。Zebraとかのソース見て
いないので、もっと良いやり方があるかも知れませんが。
- 668 名前：535 mailto:sage [2016/11/25(金) 20:21:12.84 ID:udjtSdAy.net]
- 終盤の打ち方はまあまあいいんだが序盤が致命的すぎる。
思考時間もめちゃめちゃ長いし。
あと強化学習やりたいけどアイディア湧いてこないなぁ。
- 669 名前：535 mailto:sage [2016/11/26(土) 14:07:56.90 ID:3TEfCPcy.net]
- LV2が思考速くて強いからってLV2の棋譜大量に集めたら学習が偏りそう？
- 670 名前：310 mailto:sage [2016/11/28(月) 13:44:46.30 ID:moEHPVOW.net]
- >>669
やってみないとわからないけど、棋譜は質が良くて偏らないってのが基本だからね。
間違えたら間違えたなりに、負けてくれる棋譜じゃないと、変な学習しちゃうかも。
この辺の兼ね合いが難しい。
ただ、スタートの棋譜をその辺にして、だんだん更新しつつ、強くしていくって方法も
あるかと思う。
こちらは、終盤探索に手こずっています。
AVX2命令をオペレーターオーバーロードして使っているのですが、グローバルなのが
気持ち悪くて、クラスに変更。ついでに見直しをしていたら、過去にどうしてもわからなくて
別の方法で逃げてしまったバグをようやく解消。速度には大した影響ないですが。
一番の問題は、評価関数を持っていないので、MPCが使えない事。MPCのスレッショルド
を広げながら置換表使って、moveorderを最適化していたので。他の方法で速度アップを
考えないといけない。逃げてを考えると、結局、NNなりなんなりで別の評価関数なり、次の
１手ヒューリスティックが欲しくなります。もともとNN方面に行ったのは、そこが目的だった
事を思い出しました（汗
モンテカルロは、プレイアウトを疑っているので、いずれきちっとやり直してみます。
- 671 名前：535 mailto:sage [2016/11/28(月) 22:46:28.36 ID:nf8GSvVi.net]
- NN興味ありますねぇ。
Zenチームの人とかがわかりやすい解説本書いてくれないかなぁ。
- 672 名前：535 mailto:sage [2016/12/02(金) 21:41:56.73 ID:Vv9WnV3F.net]
- モンテカルロはやはりプレイアウトの質がカギか？
軽くて良いヒューリスティックが欲しいところだ。
- 673 名前：535 mailto:sage [2016/12/02(金) 22:02:53.36 ID:Vv9WnV3F.net]
- モンテカルロは良い枝をカットしないこともかなり重要とみた。
- 674 名前：310 mailto:sage [2016/12/04(日) 20:20:17.67 ID:E6FCgpFL.net]
- うーん。モンテカルロはFFOなんかで残り２０手くらいから戦うと、結構まともな着手を
するんだけど、１０〜３０手目付近がわざとじゃないかというくらい悪い手ばかり選択する。
残り１０手くらいまで行けば完璧。
序盤は次の１手が多すぎるのと、プレイアウトで回す回数が単純に多いので、ツリー部が
なかなか深くならないし、あまり簡単に深くするとすぐにメモリーオーバーフローしちゃうし
で難しい。
>>673
UCTではカットはしません。単純にプレイアウトの割り当ての順番がなかなか回ってこなく
なるだけです。良い手に優先的に割り当てさせるためには、やはりプレイアウトで良い手は
良いと、悪い手は悪いと評価できなきゃならんわけで。それが難しいからモンテカルロだと
言う矛盾。
まあ、オセロの場合は、伝家の宝刀評価関数があるので、プレイアウトを２０手くらいで
打ち切って、評価値を返すとか…MPCみたいな事をして無駄な着手を回避させるか…
と、本末転倒な妄想をしてます（汗。良くなる点は、時間管理が易しくなるくらいかな（涙。
- 675 名前：310 mailto:sage [2016/12/06(火) 00:37:18.95 ID:zUbz1knV.net]
- モンテカルロが弱い理由を探ってます。
WZebraと対戦させると、一番顕著なのは、モンテカルロは辺に着手したがり、その結果
WZebraに内側に潜りこまれて選択肢が減っているという事です。流石に×とかCには
簡単には打ちませんが、序盤からあっさり中辺に出て行き、更にあっさり辺に打ちます。
相手もランダムに着手したとすると、辺の石は１方向からしか返せない（内側は４方向）
ので、プレイアウトでは残りやすくなると言う仮説を立ててみました。つまり全部で２８石
ある辺の攻防が相対的に下手くそになるため、プレイアウトの結果が楽観的になりすぎ
ているのではないかと言う事です。
残り２０手切ってくると、ツリー展開できているので、min-Max的に攻防できるけど、それ
より前の段階ではプレイアウトで、相手のミスを咎めるような手を打たないといけないと
言う事かなと思います。
これをどう次の１手の確率分布に表現するかですね。
- 676 名前：310 mailto:sage [2016/12/11(日) 01:06:32.29 ID:8cq3+Gjk.net]
- なんか袋小路に入ってます（汗
プレイアウトの改良は速度低下との戦いになり、効果が出ません。
結局、とにかく無駄をそぎ落とし、単純化してプレイアウト回数を稼いで、なおかつ
ツリー展開の閾値を下げて、ツリーに頼る形になりました。
が、ここでメモリーパンクとの戦いが始まります（涙
中盤の分岐が多い局面だと、あっという間にツリー部で８ギガくらい使ってしまいます。
更に処理を単純化してメモリー使用量削減に走る事に。
結局、４０手目以後なら使えるけど、それ以前ではあまり精度が期待できないという、
当初やりたかった、少しマシな序盤・中盤探索という目論見は崩れてしまいました。
評価関数があるんだったらαβの方がマシという当たり前の結論に傾きつつあります（汗
- 677 名前：310 mailto:sage [2016/12/11(日) 23:57:52.07 ID:8cq3+Gjk.net]
- たった一晩で楽観してきました。
今までsoftmaxで確率分布を変えていましたが、あまり大きな差はついていないようだった
ので、この際、思いっきり割り切ってみました。１位に７０％、２位に２５％、残り５％で他の
手に均等割り。イメージとしては１σ、２σ、その他って感じです。ヒューリスティックは
αβのmoveorderのものを使用。
もちろんzebraにはぼろ負けですが、今までと違うのは、相手を囲んで着手可能位置を
減らしてしまう事が無くなりました。ちょっとした手ごたえを感じています。これをスタート
に、ヒューリスティックに終盤変化を組み込んだり、序盤は開放度にしてみたりして検証
しようかと思っています。プレイアウトの精度があがったら、無駄にツリー展開しなくて
済むので、メモリーにも優しくなれるかも。
また、敗勢での発狂モードや、勝勢での手抜きモードの原因は、勝敗が明らかになり、
手毎の勝率の差がなくなる事が原因です。プレイアウト回数が多いからか、評価値は
かなりデジタルに変化するので、２５％、７５％などを境目に、石差評価に変更すると、
ある程度回避できるんじゃないかと思います。
- 678 名前：310 mailto:sage [2016/12/19(月) 00:57:35.60 ID:V27xPT8O.net]
- 地味に色々改良。素UCTに色々追加してます。
・uctの終盤にsolverを組み込んだ
・手の割り振りに全手均等な部分を作って読み抜けの可能性を減らした
の２点が主な追加点です
当初想定していたより結構強くなったと思います。
AI黒番３０秒探索。zebra思考中にもMAX３０秒探索で、zebraに対しては２０石強負け
くらい。序盤１回間違えて、中盤ジワジワ差が広がって、４０手前後で読み切りできず
に間違う感じ。序盤は定石で回避できると思いますが、中盤の間違いは２番手の手を
選んでしまいます。修正は難しい感じ。終盤はチューニングか、探索時間延長で対応
できないか検討。
テストで作った２０手目で黒＋１２（zebra評価値）程度の盤面からは、zebraが間違える
のか、終盤に入るところまで、かなり押してまして、読み切りミスで２２石差→１６石差と
ぬるい手を打ちましたが、勝ち切る事ができるようになりました。
ここから先は、レーティングが欲しいなぁ。
オセロでAI使用OKなところないですかね？
- 679 名前：310 mailto:sage [2016/12/22(木) 01:29:32.37 ID:4YVdXlZ1.net]
- 地味に色々改良した結果、あらかたボツにしてます（汗
発狂モード対策でスコア最大化を図ろうとしていましたが、極端なスコアが悪さしている
ようなので、結局勝率のみに限定しました。この時点で終盤はsolver任せに方針転換。
で、勝敗のみにした事で、solverの探索範囲を+-1のシングルウィンドウにできて
スピードアップしたのでプレイアウトのラスト７手くらいでも使用する事にしました。
プレイアウトでは、moveorder順の下位はバッサリカットしました。酷い手が混入する
とスコアが散らかるので。
uctのif分ネストがスパゲッティ化したので、処理順を大幅に見直したら、時々落ちるように
なってしまった。並列化が原因かそれともshared_ptrの使い方が悪いのか、散々調べた
結果、ちゃんと全体をリビルドすれば回避できる事が判明。俺の時間を返せorz
テストで使用している引分手順３０手目から開始すると、たいていは負けてしまうけど、
希にzebraが認識していない勝利手順を見つけて勝つようになった。乱数の具合なので
再現性は低いけど、zebraの評価値にも間違いがある事を実感した。
ここのところ３０手目〜４０手目をターゲットに改善していたけど、それなりに成果が出た。
４０手目以後はsolverを使用し、対局開始は定石DBを２０手分くらい用意したら、まあまあ
なAIになるかなぁと思い始めました。ただ、１手３０秒考えるのは長すぎるなぁ。
あと、正しい手順を見つけ勝率も上回って来ているのに、探索時間が足りずにプレイアウト
回数で負けて最善手が選ばれないケースが散見されます。ものの本だと、そういう時は
探索時間を延長するとか書かれていますので、対応してみようかと思っています。
というわけで、なんか行けそうな気がしてきた。
- 680 名前：310 mailto:sage [2016/12/27(火) 01:58:53.16 ID:lSRXuhfg.net]
- uctの探索部分がある程度できたので、とりあえずDOS窓ベースでゲームとして成り立つ
ようにしました。edax-pvbook_2009.wtbから作った４０手分の定石DBをつけて、終盤探索
は４０手目からsolverで。multi probe cutできないので、FFO#40で１．３秒程度の性能です。
その他諸々。探索時間延長とか。タイマーを作り直してプログレスバーつけたり。
WZebraの２０手読み、定石DB変化大相手に、まれに勝ちます。直接対決はまだして
ませんが、以前自分が作ったmin-Max版よりちょっと弱いくらいかなという感触です。
モンテカルロは乱数がらみで、ナチュラルに変化しちゃうので、５〜１０手に１回程度は
ミスをしちゃう感じです。
プレイアウトはもう少し詰められそうだけど、まあこの辺が潮時かなぁ。
次は何しようかな。
- 681 名前：名前は開発中のものです。 mailto:sage [2016/12/27(火) 06:12:54.86 ID:A0w16iJG.net]
- Vectorとかで配布しては？
- 682 名前：310 mailto:sage [2016/12/28(水) 10:02:51.11 ID:8e16q4EG.net]
- vectorは考えてないですが、どこかでソース晒しても良いかなと思っています。
しばし検討。
なおUCT探索の探索時間は３０秒にしてます。微妙な時は１０秒づつ探索延長します。
また、人間が長考すると、その分だけバックグラウンドで探索が進んで強くなります。
気が長い人におすすめです。
- 683 名前：名前は開発中のものです。 mailto:sage [2016/12/29(木) 00:29:19.19 ID:T+iok27x.net]
- GGSってまだあるんだっけか
トッププログラムの開発者はみんなあそこで対戦しつつ改良してる
- 684 名前：310 mailto:sage [2016/12/30(金) 02:11:45.43 ID:iZpfxqhq.net]
- >>683
GGS探したけど見つかりません。
オセロのAI自体、行き着くところまで行っちゃってるからなぁ。
コメントの整備をしていたら、細かいところが気になって、あちこち手を入れています。
手を入れながら、UCTの探索結果があるので、それでmoveorderすれば良い事に気が
つきまして。SOLVERが少し早くなったので、終盤探索は３８手に格上げ。
しかし、テストプレイしていたら、SOLVERのバグ発見。終局まで打ち続けると、50手目
近辺で間違えます。並列探索部分で、negaScout的に再探索かかったあたりにバグが
ありそうという所まで絞り込みましたが、ちょっと厄介な感じ。
ソース晒す用に昔使ってたDTIのホームページを使えないか調べたら、サービスごと
終了してました（汗。
久々にオセロAIで検索したら、MLPでAIのテストをしている人がいました。評価関数では
なく、次の１手で使っているようです。比較的軽い構成なので、気が向いたらもう一度、
トライしてみようかと思います。
- 685 名前：310 mailto:sage [2016/12/30(金) 20:08:38.43 ID:iZpfxqhq.net]
- バグ直りました。数日前に速度アップできると思いつきで直したところでした。
直ったは良いけど、何故バグるのか理解できないorz
- 686 名前：名前は開発中のものです。 mailto:sage [2017/01/01(日) 01:33:49.09 ID:AXNNcWXn.net]
- 個人的にはディープラーニングやって欲しい
- 687 名前：310 mailto:sage [2017/01/02(月) 09:01:41.61 ID:YMPtqKka.net]
- いま、Bloogerにサイトを作ってやっつけで解説文を作ってます。
あらかたできたら公開します。
が、解説していると細かいバグを見つけて、直して確認が必要になるという…。
やっぱ次はディープラーニングですよね。Eigen使ったMLPで次の１手をやってみます。
DCNNももう一度トライしたいと思っていますが、貧弱なパソコン環境ではどうにもならない
かも知れない。
- 688 名前：535 mailto:sage [2017/01/06(金) 21:06:02.45 ID:/dmWmgCn.net]
- ネット碁でアルファ碁が無双してるみたいですね。
６０連勝？とか凄すぎｗ
- 689 名前：310 mailto:sage [2017/01/09(月) 14:10:27.74 ID:kUxHCmxW.net]
- ６０連勝の相手が、マジトップ棋士だってんだから、あきれるしかないですね（笑
解説書きながらソース見てたら、色々直したくなってしまい、泥沼化しています（汗
強くなったと思ったら弱くなっていたというのの繰り返しです。
- 690 名前：535 mailto:sage [2017/01/15(日) 01:15:01.84 ID:FqCBSr/V.net]
- TensorFlowで学ぶディープラーニング入門って本読んでます。
かなり易しく書こうとしてるのが伝わってくる本なんですがそれでも難しい。orz
- 691 名前：310 mailto:sage [2017/01/16(月) 13:21:19.22 ID:Cfoi8GBB.net]
- カーネルサイズとかチャンネルとかフィルターのあたりですか？
僕の方は・・・モンテカルロだから間違えると思って、思考時間を増やしたり、末端ノードで
１回づつじゃなくて、１００回づつプレイアウトするようにしたりして、プレイアウト回数を稼い
だところ、「同じところで同じように安定的に間違える」ようになってしまいまして（汗。
プレイアウトは適当でも、とにかくツリー展開させるか、それともプレイアウトである程度
正確な勝率を得るけど、ツリー展開は減らさないように努力するのか。その辺で、また
悩み始めてしまいまして。edaxの引き分けBOOKから何か情報が取れないかと頑張って
ますが・・・。そろそろ飽きてきちゃったんだよなぁ。
- 692 名前：535 mailto:sage [2017/01/16(月) 21:00:44.96 ID:UThQer2a.net]
- 専門用語はよくわかりませんが、付属のサンプルコードをなんとなく動かしてます。
行列と誤差関数を定義してやればtensorflowが勝手に最適化してくれるとか。
成果でないとめげてきますよね。
ここらで一発アルファ碁級のブレークスルーが欲しいですねｗ
- 693 名前：310 mailto:sage [2017/01/16(月) 22:06:12.04 ID:cVXIBPCK.net]
- あれはやっぱマシンパワーが・・・
一旦計算できちゃってもそれなりの重さなんだけど、学習しようと思うと重さにめげます。
というか、やる気すら起きないレベルorz
とりあえず、実際の最善手順が、ヒューリスティックの何番目かを統計的に処理して、
プレイアウト関数の手のバラつきを表現しようかと思って、プログラム作ってEXCELで
集計して、それなりに計算が簡素にできる形に変形してなんてやりましたが、やった
所で、何番目を選ぶかはランダムではなくて理由があっての事なんだよなぁと…
ちっとマシなヒューリスティックとか言い出すと…できない事をしようとしている事に深く
思い至るわけで。
- 694 名前：310 mailto:sage [2017/01/17(火) 00:25:27.65 ID:SLwZ7IwS.net]
- 統計処理して作ったプレイアウト関数も結局ダメでしたorz
最後はやっぱりBOOK頼みになっちゃいます。
もう一回NNに行って次の１手計算させてみるべかな。
- 695 名前：535 mailto:sage [2017/01/17(火) 21:19:41.12 ID:wCDEMY6U.net]
- モンテカルロ木探索ってわざと悪い手打ってる？ていうぐらい期待外れの手を打ちますねｗ
プレイアウトの質改善が必須か…
- 696 名前：310 mailto:sage [2017/01/17(火) 22:04:13.23 ID:SLwZ7IwS.net]
- 例えば４０手目くらいの盤面で、UCTの選択基準であるところの実行回数で次の１手を
並べると、トータルではzebraの完全読みの良い手から順に並んでくるんだけど、ところ
どころ順位が入れ替わるんだよね。その入れ替わる場所が、１位と２位とかだと−２して
しまうし、時々−１０くらいの手を選んでしまったりする。
囲碁のプレイアウトをちょっと調べたら、やっぱり盤面のパターンを評価して、次の
１手の順位を決めて、点数に応じて着手確率を変えたり、あからさまに悪い手はカット
するみたいな事をしている。そちらの知見では、良いプレイアウトなら回数は少なくて
も何とかなるみたいな話になってる。
今の相手着手可能数ベースで、edaxのpvbook_2009の最善手順を評価すると、１位の手
が選ばれている確率は４２％くらいで、２位で１７％と、思いのほか手が散っているんです。
これ、同点１位は、ソート順で２位以下にするのではなく１位にまとめるようにしてあるから、
マッチング率が想像していたより悪いって事になります。
別の方法で次の１手ヒューリスティックを作って、一致率を例えば７５％〜８０％くらいに
までできないかなぁと思いまして。結局、もうしばらくモンテカルロを継続する事にしました。
NNに行く前に、縦横斜めのパターンでベースとなる一致率を作ってみようかなと思います。
- 697 名前：535 mailto:sage [2017/01/21(土) 14:40:41.23 ID:7GkfgTKT.net]
- プログラム作るなら単体テストは必須ですね…
後から後からバグが溢れてくる…
- 698 名前：535 mailto:sage [2017/01/21(土) 15:30:15.75 ID:7GkfgTKT.net]
- 机上デバッグはいやだお…T△T
辛すぎる…
- 699 名前：310 mailto:sage [2017/01/22(日) 23:15:41.71 ID:7cgxubHE.net]
- 思いっきり同感だけど、結局サボるというorz
実はモンテカルロやってるから見なかった事にしているけど、Solverにバグがあります。
発生する条件も薄々わかっています。いつの間にバグを仕込んだのか。
さて、プレイアウトのヒューリスティックですが、縦横斜めのラインで、その形が現れた
回数、着手された回数のデータベースを作って、プレイアウトの次の１手の時に、それ
ぞれの確率を縦横斜めで集計して、その高い順にsoftmaxで確率分布にして、着手を
選択させる形にしました。
結果は・・・。ヒューリスティックの次の１手としての精度はいまいちですが、それでも
上位３〜４位くらいには最善手が入ってる感じになります。でも、評価値が極端に出過ぎ
ている感じで、ダメダメな感じになりました。確率のバラつきが小さいように感じたので、
ちょっと修正してみましたがダメなので、思い切って累積確率５０％でカットしてみました。
この辺で大体３〜４位までの着手になります。少しマシになったけど、やはりダメ。
softmaxの計算が重いため、プレイアウト回数が1/7くらいに減ってしまうんだけど、それを
補う精度が出ていない感じです。楽ちんなのでunordered_map使ってますが、もっと速度を
出そうと思うんなら、他の方法を考えた方が良いかも。
簡潔なプレイアウトで秒間プレイアウト数を稼いで、枝を伸ばす方向に逃げたい気持ちを
ぐっと抑えつつ、引き続いてニューラルネット系で次の１手を求めてみたいと思います。
更にスピード低下するので、いま以上に精度が出ないと・・・。
- 700 名前：535 mailto:sage [2017/01/23(月) 23:10:08.18 ID:ii9ofJgq.net]
- 黒番限定ですがLV2に勝ち越せる？というところまで来ました。
何をやっているかというとLV2とLV3を対戦させた棋譜を大量に集めて、
LV2に勝てる手順のＤＢを作ってナゾルということをやっていますｗ
まあほとんどチートみたいなものですが、棋譜を集めれば集めるほど
勝てるようになるのでなかなか面白いです。
白番だとLV2が盤の中央からゲームを始めないのでうまくいかなかったりしますｗ
- 701 名前：名前は開発中のものです。 mailto:sage [2017/01/23(月) 23:46:45.10 ID:ii9ofJgq.net]
- 勝利手順のＤＢからディープラーニングで評価関数を抽出することを考えていますが
今のところ全くうまくいく気配がありませんＴ△Ｔ
- 702 名前：310 mailto:sage [2017/01/26(木) 21:23:21.53 ID:foYEIc8+.net]
- >>700
Buroさんは逐次的にBOOK学習やってました。
僕は論文が理解しきれなかったのと、それやると特定AI相手だけに強いAIが作れて
しまうので禁じ手にしちゃいましたが、オセロというゲームの底の浅さからすると、
それが正解かも知れない（汗
デバッグ兼ねてZebraと対戦していたら、ZebraのBOOKが強化されていくのが実感
できてしまいました。
- 703 名前：310 mailto:sage [2017/01/26(木) 21:32:27.07 ID:foYEIc8+.net]
- さて、本日は非常にショックな事が判明しました。
次の１手を求めるNNを作って、大体できたのでAIに組み込んでました。
NNは以前にEigenで作ったものの流用改造。とりあえず学習結果が確認できる
ところまでやったら、コンパイルが通らない。C2059というエラー。前にも何回か
出ていて、ライブラリの順番いじると直るので放置していた奴。何かの名前が
組み込んだライブラリ間で衝突していると起きるらしい。それが途中からどうにも
直らなくなってしまった。
で、ようやく重い腰をあげて何が衝突しているのか調べたら、A1とかC1とかの
着手位置を表す#defineの定義が、Eigenの内部の型か何かの定義と被ってる。
こちらは#defineなのでnamespaceで回避できない。
楽に回避できる方法を色々考えたあげく、結局、C++良く知らなくてCとしてプログラム
書いていた頃から引きずって#defineを使っているのが悪いのだと気が付いて、
クラスとenumで対処するという、全面作り替えにする事にしてしまいました。
というわけで、修正に３日くらいかかりそうですorz
- 704 名前：名前は開発中のものです。 mailto:sage [2017/01/26(木) 21:36:49.48 ID:NsrLS1+v.net]
- 乙
- 705 名前：535 mailto:sage [2017/01/26(木) 21:43:44.99 ID:NsrLS1+v.net]
- >特定AI相手だけに強いAIが作れて
ディープラーニングが成功すれば汎用度もちっとは違うのかもですが。
- 706 名前：535 mailto:sage [2017/01/26(木) 21:54:02.30 ID:NsrLS1+v.net]
- 強い詰みルーチンが欲しいですねぇ。
ＤＢでほぼ勝ちという局面にもっていってもポロッと落とすことが結構ある。
- 707 名前：310 mailto:sage [2017/01/26(木) 21:56:01.75 ID:foYEIc8+.net]
- あ、もしかしてenumってunsigned __int64が使えないのか・・・
- 708 名前：535 mailto:sage [2017/01/26(木) 23:23:42.26 ID:NsrLS1+v.net]
- ＤＢは勝率で手を選ぶよりも累計勝利数で手を選んだほうが良いっぽい。
そのほうが勝利再現率が上がるっぽい。
- 709 名前：535 mailto:sage [2017/01/29(日) 01:07:10.63 ID:uZb/TXFd.net]
- 負けた手順に対して手動でＤＢを修正するという汎用性がみじんもない作業を始めましたｗ
なにかドカンと強くなる方法ないかなぁ
- 710 名前：310 mailto:sage [2017/01/29(日) 13:11:46.36 ID:rGbRSmBn.net]
- enumで__int64使えますね。というか、どこかのバージョンから使えるようになってましたね。
何か裏ワザ的な使い方考え付かないかと思って試しましたが結局ダメで、前から気になって
いた箇所をクラス化しだしたら大規模改造になってしまいました。
オブジェクト指向を忠実に実行しようとすると、結局何度もライブラリ作り直す羽目になると
いう本末転倒な状態（汗
色々ドタバタしていたので、オセロ共通のクラスのみ修正完了。ロジック部分はこれから。
- 711 名前：535 mailto:sage [2017/01/30(月) 23:07:35.87 ID:nIJrclSx.net]
- ファイル出力が思いのほか重い。
知識では知ってたけど今回、実感しました。
ＤＢ作るときは棋譜をまとめて読み込んで書きこみは１回だけとか工夫しないとだめですな。
- 712 名前：310 mailto:sage [2017/01/31(火) 01:06:15.90 ID:tF0OU/RM.net]
- >>709
ドカンとは強くならないけど、やっている事から推測すると遺伝的アルゴリズムが
合ってそうな気がします。茨の道ですが（汗
>>711
いまどきはメモリが大きいので、全部読み込んで一括処理とか、思いのほか可能ですね。
- 713 名前：310 mailto:sage [2017/01/31(火) 01:17:50.59 ID:tF0OU/RM.net]
- 困った。３層MLPで次の１手を、
qiita.com/kanlkan/items/6bff417519ed7d5ce4da
を参考にして求めている（若干やり方が違う）のだけど、思ったように学習してくれない。
NNの計算どっかおかしい気がしてきたorz
- 714 名前：310 mailto:sage [2017/02/01(水) 15:57:52.90 ID:DrzIg7bz.net]
- ひょんな事から学習できました。デバッグ用に学習データを減らしてテストをしようとしたら
学習できてしまいまして。件数を増やすとダメになる模様。
これは仮説ですが、多種多様な棋譜を学習させると、ネットワークの自由度が不足して、
ウェイト更新が相互に打ち消し合った結果、ウエイトがゼロ（勾配消失）に陥ってしまうと。
学習に失敗した時は、大半のテストの結果が、全て同じ確率（softmaxのため）となってい
ます。中身は見ていませんが、softmax関数を通す前はオールゼロとなっている事が十分
に想像できます。
今から思うと、NNで評価関数を作ろうとして失敗していた時も、同じ状態だったのかなと。
学習データを減らすと精度が落ちますので、ネットワークをより複雑かつ大規模にしない
といけないのかなぁと。結局、同じ問題（ネットワークを大規模化しなきゃいけないけど、
自前のパソコンでは計算が厳しい上に、結果を使用する方もタイムクリティカルなので
あまりややこしくしたくない）の周りをグルグルしはじめてしまいました（汗
- 715 名前：535 mailto:sage [2017/02/02(木) 23:55:47.04 ID:JZtX1mUx.net]
- まとめて読むようにしたら3日かかったDB作成が数分で終了しましたｗ
しかしDBがかなり肥大化してしまいました。
読み込みに5秒くらいかかる。
しかもこの手法だとLV2には勝てるけどLV3には勝てないし。
LV2はパターン少ないからDBで勝利手順なぞれるけどLV3はパターンが多くてカバーできない（多分）。
そろそろ別の手を考えなければ。
- 716 名前：535 mailto:sage [2017/02/03(金) 20:14:00.97 ID:jkxdJ711.net]
- ＤＢを使ってモンテカルロ木探索の探索結果を永続的に蓄積するというのをちょっと思案中。
計算すればするほどＤＢが洗練されていく感じで。
- 717 名前：310 mailto:sage [2017/02/03(金) 20:39:47.64 ID:dv6j41bl.net]
- >>716
同じ事妄想したけど、それなら後方枝刈付のmin-Maxの探索結果をひたすら
ため込んでいく方が容量的にも速度的にも有利で、それができないからモンテ
カルロだって事に思いいたりました（汗
min-Maxなら、いらない枝カットできるかと思いきや、相手がそこに打っちゃった
時の事を考えたら捨てられない事にも気づきました（汗汗
で、適当なところだけ保存して、残りは別途探索・・・って、これ定石DBやん！
というオチでした。
- 718 名前：名前は開発中のものです。 mailto:sage [2017/02/03(金) 20:45:51.93 ID:jkxdJ711.net]
- ボツ案でしたか。
でもまあ、とりあえずＤＢを充実させる方向でやってみます。
他に案がないので。
ディープラーニングがうまくいけばなぁ。
- 719 名前：535 mailto:sage [2017/02/03(金) 20:49:10.94 ID:jkxdJ711.net]
- 今のところ黒番対LV2は２勝一敗ペースてな感じです。
もっと勝てるかと思ったけどそうでもないですね。
- 720 名前：310 mailto:sage [2017/02/03(金) 20:58:39.46 ID:dv6j41bl.net]
- こちとらディープラーニングで完全にドツボってますorz
- 721 名前：535 mailto:sage [2017/02/04(土) 19:33:24.33 ID:neMma6zi.net]
- ディープラーニングは盤面情報だけじゃなくてこちらでなにがしかの特徴量を計算してやって
その数値も食わせたほうがすこしはましになるんだろうか。
- 722 名前：310 mailto:sage [2017/02/04(土) 20:57:26.78 ID:ycMSfQXf.net]
- オセロではBuroさんの評価関数と同じ特徴を入力にしたMLPで評価関数を作った
オセロプログラムがあります。vsOthaというソフトです。
今回はディープなので、できれば特徴量は自動抽出してもらいたいものではあります。
一応、黒白の盤面情報の他、着手可能位置は与えています。
と、ここまで書いて、着手可能位置を求めるように学習させられるのか、ふと気になった。
何らかの事前学習に使えそうな気がする。
やらずに悶々としているだけなのですが、DCNNの四角い窓ではオセロの特徴はうまく
抽出できないのではないかと思っていますが、他に方法が思いつかないのが悲しい。
- 723 名前：名前は開発中のものです。 [2017/02/05(日) 08:03:16.57 ID:36jlTAsU.net]
- そうかそうか
- 724 名前：535 mailto:sage [2017/02/07(火) 20:48:43.68 ID:qiXxRrUf.net]
- 機械学習じゃだめだ、手書き評価関数しかない…
しばらくするといや、手書き評価関数じゃやっぱりだめだ、機械学習だ…
の無限ループｗ
- 725 名前：310 mailto:sage [2017/02/08(水) 21:46:39.89 ID:GrcF81sn.net]
- 昔mnistでオートエンコーダのテストした時のように、学習内容（ウェイト）をBMPにして
可視化してました。テストに時間がかかるので、色々すったもんだバグとりに時間が
かかってましたが、ようやくなんとか表示できるようになりました。で、とりあえず想定より
少な目の隠れ層４０９６個でテスト開始。
勾配ノイズ（焼きなまし）の設定値もでかすぎたので、設定値を自動計算するようにしたり。
NN復活当初うまく動かなかった原因がこれでした。
で、まだ学習途中なのですが、ウェイトデータ見ると１９２個（＝６４×３）毎に１ビットづつ
ずれるパターンに収れんしていっています。１９２といえば入力データのサイズで、
横に６４個づつ並べたビットマップ画像に、まるで光子の回析実験のような縦じまが（汗
そんな周期性が生まれるはずがないので、どこかにバグがあるんじゃないかと。
表示するプログラムのバグかも知れないけど、１エポックに３時間かかるので、止めて
デバッグに入るか、それとも続行するかで悶々中…。
どっちにしても時間がかかるので、裏でDCNNをもう一度コーディング開始。
あまりにネストが深いのでミニバッチは一旦放棄してSGDで。
GoogleのTensorFlowがテンソルな意味が良くわかった。
DCNNだと元データが２次元で、更にチャンネルがある行列では次元が足りないorz
今最大の懸案は、とりあえず隠れ層4096でオートエンコーダの事前 学習しているけど、
それが終わり全体の学習にいって上手く行かなかった時、中間層を増やして再トライ
するか、それともDCNNに行ってしまうか。
- 726 名前：310 mailto:sage [2017/02/08(水) 21:47:47.17 ID:GrcF81sn.net]
- >>724
そこは…絶対的に機械学習である！という信念が必要だと思います（汗
- 727 名前：535 mailto:sage [2017/02/09(木) 22:03:30.31 ID:qkkjChao.net]
- >>726
そうですかｗ
まあそんな気もしますが、でも終盤の積みルーチンだけなら手書きでイケそうな気もするんですよねぇ
そこだけでもなんとかできれば…
- 728 名前：535 mailto:sage [2017/02/10(金) 19:40:14.89 ID:M6OFVkZO.net]
- 黒番だとDBのせいで対LV1よりも対LV2のほうが勝率いいみたいｗ
めちゃくちゃ歪んだAIになってしまったw。
- 729 名前：310 mailto:sage [2017/02/10(金) 23:52:07.84 ID:HUcinQI4.net]
- ３日かけて学習したオートエンコーダ型はやっぱりダメでした。
可能性すら見えなかった。
というわけで、開き直ってDCNN開始。
前回はオセロ専用で展開形を作ってましたが、それではmnistなどでテストできない
ので、max_poolingも含めて、本格的にちゃんとしたものを作ってみました。
とはいえ、まだ畳み込み層の誤差逆伝播の解釈が正しいか、自信はありません。
また、テストで動かしたところ、なんかすごく重い印象です。
ちゃんと動くのかなぁ。
- 730 名前：名前は開発中のものです。 mailto:sage [2017/02/11(土) 10:06:04.43 ID:CnQo/DsP.net]
- ＧＧＳはmimosaというソフトを使うと入れますよ
- 731 名前：310 mailto:sage [2017/02/13(月) 22:45:03.11 ID:d/p+PbrG.net]
- >>730
そのmimosaのサイトがリンク切れで見つからないのです。
- 732 名前：310 mailto:sage [2017/02/14(火) 20:21:59.60 ID:lpq90WbI.net]
- 自作ライブラリにDCNNのレイヤーを書いたのですが、あまりの計算時間にデバッグ中に
めげて、試しにtiny_dnnというC++専用のNNライブラリを入れてみましたところ、自作の
１０倍以上の速度で・・・こちらに乗り換えです。
で、tiny_dnnでmnistやって感度をつかんだところで、オセロの盤面を変換する処理を
書いて、小手調べに簡単なネットワークで動かそうとしてみたところ・・・盤面データの
変換の段階でメモリーが溢れて盛大にスワップ開始（＾＾；
5000,000盤面×100マス（Padding含む）×４チャンネル×４バイト（float）でデータだけで
８Gbytes。自分のパソコンのメモリーは８Gで、空いているメモリーは５Gちょいとメモリー
不足が判明しました。
いまどきのパソコンはメモリーでかいから一括でも大丈夫とか言って、このざまです（笑）。
tiny_dnnは全データ一括で渡して指定エポック回してくれる仕組みなのですが、仕方ない
ので、入力データを分割して、自分でループ回します。
α碁のハード環境がうらやましいorz
- 733 名前：310 mailto:sage [2017/02/15(水) 23:06:48.81 ID:DozmM7Z3.net]
- 色々細かく改造。やっぱライブラリがあると気が楽です（汗
簡単なネットワークの初期の学習の具合では正答率５０％くらいが上限な印象だったので、
ネットワークを複雑にしてみました。で、１エポック８時間以上かなぁ。
もっとハードを・・・って真剣に思いますorz
- 734 名前：名前は開発中のものです。 mailto:sage [2017/02/17(金) 23:21:12.85 ID:ZDoCs64T.net]
- AMDが今度発売するcpuが結構いいかもしれない
- 735 名前：310 mailto:sage [2017/02/19(日) 20:31:51.68 ID:PM1ZzNLK.net]
- DCNNで学習させてるのですが、あまりに時間がかかるので、裏でもう一度
アルファ碁の論文を。日本語解説ページがいくつかできていて助かります。
で、読んでいたら、ロールアウトポリシーなる線形Softmaxでプレイアウトの
手を選択していると・・・。つまりはオセロ評価関数のような特徴を渡して、線形
回帰の代わりに出力をSoftmaxで確率分布にしたものです。
ロールアウトポリシーは棋譜との一致率が２５％程度だけど、計算が圧倒的
に速く、このばらけ具合がちょうど良いとの事。
むむむ。アルファ碁はプレイアウトの手の選択にDCNN使ってないのねorz
日本語解説のおかげで、MCTS部の構造もようやくわかった。
いくらマシンが早くても無理だろと思っていた計算も、これなら何とかなりそう
レベルの構造に落とし込まれていて、納得しました。
でも、実はまだインプットに何を食わせているのかが、よくわからない（汗
- 736 名前：535 mailto:sage [2017/02/19(日) 22:19:16.15 ID:FX6EUVR+.net]
- ついにアルファ碁論文まで…
英語かつ有料記事ということで私は手を出せずにいましたが日本語サイトもあるんですか。
ちょっとググってみるか…
- 737 名前：310 mailto:sage [2017/02/20(月) 20:05:00.30 ID:L40mCRWI.net]
- 論文自体はだいぶ前にダウンロードしてたんですが（汗
MCTSやらない段階では、やはり理解は難しかったと思います。
DCNN部分の投入データあたりは囲碁の知識が必要だったりしますので、
まだよくわからない点が多いです。
で、MCTS的な視点から眺めると、巷の解説とは違うところにフォーカスが
あたったりします。強化学習使ったRL PolicyはValue netの事前学習で
使っていますが、プレイアウトの手の選択では線形Softmax、ノードの分岐
では教師付学習のものを使用しているなど、工夫が見られまして。オセロ
は既に評価関数があるので、無理やりDCNNしなくても応用が効くのでは
ないかと思ったりします。
とはいえ、今学習中の奴は、学習終わるまで１ヶ月くらいかかりそうではあり
ますが、どこまで手の一致率が高められるか、見てみたい気もしています。
- 738 名前：310 mailto:sage [2017/02/20(月) 20:09:54.18 ID:L40mCRWI.net]
- 追記。なんか格好良く書きすぎですね。
ちょうど今MCTSで悩んでいる箇所に見事な回答を与えている点に感動。
日本語で読めたので、そこに速攻で気づく事ができたという事で。
とはいえ、アルファ碁の線形SoftmaxによるRollout関数の入力データは、
囲碁の特性がわからない事から、意味不明な事もまだあり、いずれにして
もそのままでは使え無さそうで、オセロに合わせて別途考えるしかなさそうです。
- 739 名前：535 mailto:sage [2017/02/23(木) 20:58:02.50 ID:ONUfwXLw.net]
- 連続対戦してると突然落ちるバグがあるっぽいが意図的に再現できない。
どうデバッグすりゃいいんだ。orz.
- 740 名前：名前は開発中のものです。 mailto:sage [2017/02/23(木) 23:03:49.03 ID:ONUfwXLw.net]
- 再現した！
けど一回再現させんのに１時間かかるｗ
- 741 名前：535 mailto:sage [2017/02/24(金) 21:40:56.21 ID:sIjNtQpy.net]
- コアダンプの吐かせ方がわからん。Ｔ△Ｔ
デバッグオプション付けてulimit -c unlimitedだけじゃだめなんか。
ちな環境はcygwin。
- 742 名前：名前は開発中のものです。 [2017/02/24(金) 21:43:59.65 ID:P/wI/gFl.net]
- age
- 743 名前：535 mailto:sage [2017/02/26(日) 00:05:27.56 ID:TbeyqTpr.net]
- やっと落ちてる場所見つかった。
ぬるぽだった
- 744 名前：535 mailto:sage [2017/02/26(日) 23:30:45.62 ID:TbeyqTpr.net]
- 特徴量とか便利すぎる言葉考えたやつ誰だよ。
いつでも特徴量が効率よく計算できるとは限らんだろうが。
マジムカつく。
- 745 名前：310 mailto:sage [2017/02/27(月) 01:19:56.03 ID:kLJ7ziJk.net]
- 全く同感orz
- 746 名前：535 mailto:sage [2017/02/28(火) 21:58:57.62 ID:+JAecqpe.net]
- ファイルに２Ｇの壁とかあんの？
２Ｇ以上のデータはどうやって受け渡せばいいんだ。
- 747 名前：名前は開発中のものです。 [2017/03/01(水) 12:15:45.60 ID:jElZYckW.net]
- 「29歳既婚、2年前に会社を辞めた。ボードゲーム作りを始めて3700万円を
売り上げたけど何か聞きたいことはある？」回答いろいろ
labaq.com/archives/51880196.html
日本ボードゲーム界の異端児に聞く！ボードゲームデザイナーとして生きていくには？
https://bodoge.hoobby.net/columns/00013
QRコード・クトゥルフ神話・24世紀などユニークすぎるデザインてんこ盛りのサイコロ「Dice Empire」レビュー
gigazine.net/news/20150313-dice-empire/
ボードゲームの展示イベント「ゲームマーケット」の成長記録からこれからの
市場に必要なことを妄想してみた。6年間の来場者数推移（2016年4月時点調べ）
https://bodoge.hoobby.net/columns/00001
ボードゲーム市場がクラウドファンディングの出現で急成長を遂げ市場規模を拡大中
gigazine.net/news/20150820-board-game-crowdfunding/
実際のところ、自作ボードゲームってどれぐらい売れるもんなの？
roy.hatenablog.com/entry/2016/12/20/220102
ゲームマーケット2016春にて初参加サークルさんに作成数アンケートをとってきました
hidarigray.blog35.fc2.com/blog-entry-614.html
カフェも急増 ボードゲームにアラサーがハマる理由
style.nikkei.com/article/DGXMZO10921930R21C16A2000000?channel=DF260120166491
ボードゲームのオリジナルオーダー制作
www.logygames.com/logy/ordermade.html
- 748 名前：535 mailto:sage [2017/03/02(木) 19:55:15.50 ID:ejFPCGdH.net]
- がっつり連続対戦中。黒番対LV２だけ流し終わった。
100局目
黒(airandom.dll)の勝利回数: 73
白(ai-lv2.dll)の勝利回数: 27
なお他のレベルも平行して回してるけどいま黒番対LV3に1勝54敗中ｗ
なんでこんなに差がでるのかなぁ。
- 749 名前：535 mailto:sage [2017/03/02(木) 20:08:53.54 ID:ejFPCGdH.net]
- 対ＬＶ２はかなり同じパターンで勝ってるな。
勝利手順ＤＢにずっぽり嵌ってくれてる感じだ。
ＬＶ３は嵌ってくれない。
- 750 名前：535 mailto:sage [2017/03/02(木) 21:41:10.44 ID:ejFPCGdH.net]
- 序盤用ＤＢはそこそこうまく動いているが
中盤〜終盤用のＤＢのせいで致命的に打ち手が狂ってるように見える。
ＬＶ３に勝てないのは多分これだな。
- 751 名前：535 mailto:sage [2017/03/02(木) 23:28:08.02 ID:ejFPCGdH.net]
- ずいぶん昔に書いたコードにバグがあった。
ビビるくらい致命的な奴。
よく今まで動いてたな。
- 752 名前：310 mailto:sage [2017/03/03(金) 01:05:23.13 ID:0ijSS6CX.net]
- 次の１手もDCNNもなんか上手くいかないので、アルファ碁の原点に戻りました。
アルファ碁のMTCSとしての特徴は、各ノードで評価関数を動かして、そのノードに
点をつけて勝率と５０％混合する事で、ノードの選択に事前に差をつけてしまう事に
あります。これによって、負けが多いけど１手だけ良い手があるルートを正しく評価
する可能性を高めていると解釈しています。
で、評価関数はオセロでは線形和で確立されているので、昔の奴をと思ったのですが、
どうせならMLPのライブラリ使ってしまえばEigenが使えるので信頼性高い上に、学習
率の最適化でモーメンタムどころかSMORMS3が使えるようになります。インプットが
とても疎なので、EigenのSparseMatrixを使って高速化を図ります。
早速作って学習させてみたところ…僕の記憶が確かなら以前のプログラムの数十倍
くらいの速度で動いています（汗。これなら１００エポックくらい楽勝。
今は評価値を計算させていますが、一旦できたら、次のステップで勝率を計算させられ
ないかなぁと。ただ、評価値がある程度正確なら、勝率ではなく平均スコアでプレイアウト
しても良いのかなと思っています。
- 753 名前：535 mailto:sage [2017/03/04(土) 22:29:00.76 ID:ZrhUKe4E.net]
- DB初期化に35秒かかる。
コンパイラを64bit版に変えると11秒になる。
なぜこんなに差が…
ちなみに囲連星本体が32bitプログラムだからコンパイラ変えられないT△T
なんとかならんか？
- 754 名前：535 mailto:sage [2017/03/05(日) 03:39:08.88 ID:LufQ1oMY.net]
- コンパイラの問題じゃなくてライブラリを静的リンクするか動的リンクするかの違いみたいです。多分。
かなり早くなった^_^
- 755 名前：535 mailto:sage [2017/03/06(月) 18:17:26.36 ID:XCrs8w8i.net]
- 思考時間は試行回数に直結する
重いモンテカルロは一旦封印する
- 756 名前：310 mailto:sage [2017/03/10(金) 01:25:20.88 ID:4qfAid0y.net]
- 評価関数の作り直しを始めたら、計算してはやり直しの繰り返しです。
計算速度が上がったので、比較的気楽に再計算できちゃうのがいかん。
勝率の計算もしてみましたが、結果は似たようなものでした。
いずれにせよ、もう少し精度を上げたいなぁ。
- 757 名前：535 mailto:sage [2017/03/14(火) 22:28:17.78 ID:KNe/k0R5.net]
- LV1の棋譜はDBから削除したほうがいいみたい。
いいとこどりとはいかないか。
- 758 名前：535 mailto:sage [2017/03/15(水) 21:45:36.14 ID:gknDrLfY.net]
- 囲連星のルールは囲碁と共通部分があるから囲碁AIを参考にするのが良いと思っていたが
７連を作れば勝ちというのは王様を詰ませれば勝ちという将棋のゲーム性に近いものがあるのかもしれない。
将棋AIの手法も調べてみるべきか?
- 759 名前：535 mailto:sage [2017/03/18(土) 23:34:35.11 ID:VnDB8sqw.net]
- 手書き評価関数やっぱうまくいかないな。
LV０やLV１も実は結構強かったんだな。
反省。
- 760 名前：535 mailto:sage [2017/03/19(日) 00:56:20.04 ID:y6fifsqj.net]
- やっぱ機械学習しかない。（無限ループ）
- 761 名前：535 mailto:sage [2017/03/21(火) 22:23:02.18 ID:xGpFrIPp.net]
- 特徴量と棋譜は用意できる。
棋譜の勝者の着手に対してどの特徴量が優先的に選択されたか？を計算したい。
どうすればいいかな？
- 762 名前：名前は開発中のものです。 mailto:sage [2017/03/22(水) 00:39:02.37 ID:/GDSNvuJ.net]
- 優先的とか無いでしょ
評価関数は全ての特徴量に対応する評価点を合計するだけ
その各評価点の絶対値が大きくて評価値に割と大きな影響を与えるとかゼロに近いとかはあるけど
- 763 名前：310 mailto:sage [2017/03/22(水) 09:25:05.89 ID:sNSr7O3Z.net]
- >>761
それを統計的に処理して求めるのが線形回帰。
収束アルゴリズムは最急降下法を使用するのが普通。
特徴量あり１、無し０で特徴量並べたベクトルを食わせて、
荷重値であるウェイトを同数用意して内積計算。
出て来たスカラ値が、教師データに合うようにウェイトを収束計算させる。
出て来たウェイトが対応する各特徴量の重要度を表す。
- 764 名前：535 mailto:sage [2017/03/22(水) 20:48:28.79 ID:rRrXmS1r.net]
- 自力で線形回帰を実装するのはしんどそう。
なにかいいライブラリないですか？
>>535のMM法が動いてくれれば話は早かったのになぁ
- 765 名前：535 mailto:sage [2017/03/22(水) 21:25:31.00 ID:rRrXmS1r.net]
- もう一度MM法トライしてみるか…
- 766 名前：310 mailto:sage [2017/03/23(木) 17:35:49.51 ID:xjqriUpX.net]
- 線形回帰というか、最急降下法自体はたいした事ないよ。
ひたすらループ回して、答えを出して、教師データとの差に比例して
ウェイトを調整するだけ。ニューラルネットになるとバックプロパゲーション
が出てくる（これも似たようなものだけど）違いがあるけど。
とりあえず実装の参考にするならこれ。
sealsoft.jp/thell/learning.pdf
GitHUBとかで探すとなんかあるかも。裏ワザではMLPのライブラリ落として
来て、１層の活性化関数無しの全結合層で計算させるって手もある。
- 767 名前：310 mailto:sage [2017/03/23(木) 17:40:46.97 ID:xjqriUpX.net]
- こちらは、線形回帰の評価関数を作り直して、勝率と石差の２つ用意して、
アルファ碁っぽくMCTSに組み込んでみました。
で、テスト開始したらやたらと落ちる。
線形回帰の計算にEigen（行列パッケージ）を使用していたんだけど、こいつ
が並列処理に対応していないのが原因臭い。
というわけで、学習部分と、MCTSで使う評価関数を切り分けて、評価値を
求める時はEigenを使わないように改造中です。
果たして強くなっているのか。
- 768 名前：535 mailto:sage [2017/03/23(木) 20:11:41.72 ID:rddo+SDA.net]
- >>766
ありがとうございます。
さらっと読んでみました。
いい感じの文章ですね。
なんとなくイメージは掴めましたが、実際実装するのは結構大変そうな気がします。
まずはMM法でやり直してみて、駄目だったら手を出してみます。
すいません。
- 769 名前：310 mailto:sage [2017/03/25(土) 10:29:51.08 ID:8t9unId8.net]
- 学習時と使用時の評価関数の切り分け。簡単にやるつもりだったのに、
バグ一杯出してデバッグで大変な事に。
デバッグが行き詰ると、気になっていた箇所を綺麗に直して手を動かし
続けたくなるんだけど、つい計算結果に影響が出てしまうところまで
手を入れてしまい、結局また再度学習しなおしです。
一応バグは解消したと思っていますが・・・
この土日に確認まで行けるか微妙。
- 770 名前：名前は開発中のものです。 [2017/03/25(土) 15:51:24.00 ID:eEMcRod/.net]
- 自作アナログゲームを投稿・共有できる「紙ゲー.net」がオープン
www.moguragames.com/entry/kamigame-analog-game/
- 771 名前：535 mailto:sage [2017/03/25(土) 21:50:08.29 ID:S05KfsXi.net]
- 特徴量、用意できるって言ったけど、いざ作ろうとすると迷うｗ
あれもほしい、これもほしいとなって発散してしまう。
- 772 名前：310 mailto:sage [2017/03/25(土) 23:15:01.53 ID:8t9unId8.net]
- 特徴量の選択はね・・・
実際にその特徴量を使って統計処理（線形回帰でもMLPでもDCNNでも何でも可）して
みて、結果の精度に効くものを残して、効かないもの（ウェイトがゼロになるとか、外して
も精度が変わらないとか）を外して、結果的に決まるものじゃないかと思います。
そういう意味じゃ、仮説検証でトライアンドエラーしないといかん。
オセロではBuroさんが論文書いてくれているので、皆それをベースに小修正程度で、
ほぼ同じ精度のものができちゃいますが、そういう先行者がいないゲームだと、自分で
やらないといけないので大変だと思います。
DCNNで「特徴量を自動的に決めてくれる」ってのに、皆が胸熱になったのは、そういう
事です。自分はオセロに応用しようとして、失敗して、後回しにしちゃいましたが。
- 773 名前：310 mailto:sage [2017/03/27(月) 01:55:55.89 ID:n7C1rJ6D.net]
- アルファチックなMCTSオセロですが、とりあえず途中まで学習してテストしたところ・・・。
終局しているのに両者パスでツリーが伸びて行ってしまう（汗
何度チェックしても原因不明。ブレークポイントでチェックすると、あり得ない場所で
ボードデータが書き換わっているように見えますが…。並列探索が原因かと思い、
シングル動作にしてみましたが、それでも同じ。かなり重症です。
が、それを除くと、途中までテストした感じでは、最善手を打てている模様。
まだ序盤なのにツリー成長が尋常ではなく、終局までツリーができています。
不要な手をカットする仕組みとして、十分すぎる性能になっています。
とはいえ、勝率判定はそれほど正確ではないので、変な局面に誘導されると、
読み抜けが問題になってくるかも知れません。
もしかしたら、終局後もパスでツリーが伸びている問題は、これまでもあったけど、
終盤完全読みにしていて見えなかっただけかも知れません。
- 774 名前：310 mailto:sage [2017/03/28(火) 03:12:19.93 ID:Cq+qEzvW.net]
- パスが伸びる原因は判明。
着手後の盤面を返す関数で、合法手じゃない着手を要求された時を
エラーにせず、元の盤面をそのまま返していたため、手が進まなくなって
いたのが原因だった。
が、そもそも合法手以外の手を渡すはずがないから、エラートラップして
いなかっただけで・・・
まだ根本原因にはたどり着けず。
- 775 名前：535 mailto:sage [2017/03/29(水) 21:27:24.43 ID:a7v8cJOT.net]
- MM法動きました！
でも全然強くないｗ
特徴量が悪いのか棋譜が足りないのか…
- 776 名前：310 mailto:sage [2017/03/29(水) 21:53:37.26 ID:4lOT7Sa+.net]
- 大体バグがとれました。
Zebraの学習モードと対局。
F5-D6から１０手目までは定石使用。その後４０手目まで新AIで手を分析。
途中数回-2の手を打つものの、そのまま終盤まで行き、−４〜−６くらいで安定。
４０手前に負け趨勢が判明（勝率３０％くらいかな？）するとご乱心モード入り（汗
というわけで、Zebraレベルまで、もう少しという感じです。
評価関数を使用したプレイアウトは、重すぎる上に結果も散々で、結局のところ
以前の角評価付相手着手可能数ヒューリスティックで３手を選択し、７５％２０％
５％で振り分けるものを使用しています。評価関数型の方は多分softmaxで
使うexpの計算が重いと思うので、テーブル化を検討してみようかと思います。
一番の改善点は・・・。評価関数で悪いと評価された手には、プレイアウトを割り当て
ないので、とにかくツリー展開が縦深します。３０秒思考で１２〜１４手目には、一番
読んでいる枝は終局に達しています。これで、モンテカルロの偶然がかなり減って
いる印象です。また、余計な横枝が伸びていないので、メモリーにも優しいです。
２手ほど間違えるのは、ツリー展開の初期値で与える評価値の誤差が原因と思います。
ここは、今の評価関数では、これ以上精度出せないので、何か手を考える必要あり。
あと、いくつかの定数調整かな。
- 777 名前：310 mailto:sage [2017/03/31(金) 20:13:06.62 ID:Hurb1/nC.net]
- expの計算は重さの原因ではありませんでした。やはり単純に評価関数が重い模様。
プレイアウトはヒューリスティックのsoftmax版に変更。
ツリーの初期の評価値は、数手読む事で精度アップを図ってみましたが、３手も読む
とかなり時間がかかって、プレイアウト回数が1/10以下になってしまうので、バランス
見て２手読みにしてみましたが、これで強さが変わるのか不明。
１０〜１５手目で１回。３５手前後で１回づつ間違えて、負けを確信したところで乱心。
試しに１５手まで定石DBを使うようにしてみたところ、３５手目まで引き分けで行けました。
やはり３５手目で間違えて−６。むむむ。
４０手までの棋譜。
F5 D6 C3 D3 C4 F4 C5 B5 B4 B3
E7 C6 B6 E6 F6 D7 C8 A6 C7 E3
F3 G4 G3 E2 H3 G5 G6 F7 E8 B7
F2 B8 D1 F1 A8 A7 A5 D8 A4 A3
３５手目のA8以下を、A5 A4 E1 C1 A8 A7としていれば引分でした。
評価の順番はA8/E1/A5と、正解を３番手に予想しています。
Zebraの中盤２０手読みでもE1と間違える局面で２４手読みだと正解するみたいです。
実をいうと、途中で邪魔が入って放置している間に、バックグラウンド探索で１０００万
プレイアウトの上限に２回達しています。強さ図る時はバックグラウンド探索を止めない
と意味ないかも。
囲碁AIの本を読んでいたら、プレイアウトの精度の検証に、プレイアウト結果盤面を
統計的に処理して、終局予想図を出す方法と、重要な手を見つけるクリティカリティと
言う概念の説明がありました。この辺使って、プレイアウトの弱点探してみます。
- 778 名前：310 mailto:sage [2017/04/01(土) 01:30:30.93 ID:Wq4mpDtN.net]
- 直すところが無くなってきたのでパラメータ調整。
たまたまだと思いますが、初めてZebraの中盤２４手読みと引き分けました。
こちらの設定は、バックグラウンド探索無しの１手１分（相手も３０秒考えるという想定）
定石１０手まで。完全読み切りルーチンなし。
F5 D6 C3 D3 C4 F4 C5 B5 B4 B3
D7 C6 B6 E6 F6 G5 G6 E3 A5 E7
F3 G4 E2 C2 H4 H3 H6 H5 C7 D8
G3 H7 A3 A4 A6 H2 F8 F7 C1 D2
C8 E8 F2 D1 F1 B1 E1 G1 B2 A1
A2 B8 A8 B7 A7 G2 H1 H8 G7 G8
ちなみにZebra側は全てBookにあった模様で、一度も中盤探索していません。
- 779 名前：535 mailto:sage [2017/04/01(土) 11:28:54.33 ID:Gu8vVrdS.net]
- おおーZebra越えが見えてきましたか凄い！
こっちも頑張らねば…
- 780 名前：310 mailto:sage [2017/04/01(土) 12:57:37.15 ID:Wq4mpDtN.net]
- あ、たまたま４月１日の投稿ですが、嘘ではありませぬ(^^;
Zebraがエイプリルフールしてくれたのかも知れませんが。
今回はZebra側は、全部Book上で打っていたので、思考時間実質ゼロです。
Bookを変化させるにして、最初にZebra側がBook評価で-0.5くらいの手を選んで
くれたので、緩まずに終盤まで行ったのかも知れません。
でも、流石に思考時間１分はやり過ぎですよね。
あと、Zebraの中盤探索と勝負したいのですから、ZebraもBookを切った方が良いかな。
- 781 名前：310 mailto:sage [2017/04/01(土) 14:20:36.16 ID:Wq4mpDtN.net]
- ZebraをBook無しにして対戦したら、中盤で読み勝って＋２勝ちになりました。
以下棋譜。
F5 D6 C3 D3 C4 F4 C5 B3 C2 E3
D2 C6 B4 B5 F2 E6 F3 C1 A3 A4
A5 A6 A7 D1 B6 E2 E7 D7 F1 E1
A2 G1 F7 G5 G4 G6 F6 H3 E8 C8
D8 G3 B8 B7 H5 H7 G2 H1 H6 G8
B1 A1 A8 C7 G7 H4 B2 H8 H2 F8
Zebra設定：白番、中盤２４手探索、Book未使用、中盤変化せず
当方設定：黒番、１０手目まで引分定石使用、思考時間１分、バックグラウンド探索なし
注）昨夜評価関数の学習を少し進めました。多分誤差範囲です。
Zebraの解析によれば２３手目あたりで間違えてくれたみたいです。
こちらは１０手までは定石使っておかないと、かなり滅茶苦茶な手を打ってしまったり
しますので、Zebraの序盤の精度は凄いですね。
次はどうしよう。
強化学習を調べているんだけど、いまいちどう応用したら良いのかがわからない。
- 782 名前：310 mailto:sage [2017/04/01(土) 16:16:54.26 ID:Wq4mpDtN.net]
- １分探索では申し訳ないので、１０秒探索＋バックグラウンド探索にしてみました。
F5 D6 C4 D3 C3 F4 C5 B3 C2 E3
D2 C6 B4 B5 F2 E6 F3 C1 A3 A4
A5 A6 A7 D1 B6 E2 F1 E1 A2 G1
E7 D7 F7 G5 G4 G6 F6 H3 E8 C8
D8 G3 B8 B7 H5 H7 G2 H1 H6 G8
B1 A1 A8 C7 G7 H4 B2 H8 H2 F8
若干違うけど、ほとんど同じような進行で＋２勝ち。
確認していないけど、手順前後で同じ終局図になっている気がする。
ちなみに２３手目A7は、自分の手番でした。解析結果も、Zebra側が見落とした手
を発見している形になっています。恐らく、その手前の２２手目のA6辺りで見落とし
が起きているのだと思います。
こちらが間違えていないという点は評価できるけど、Zebraを中盤変化させて色々な
パターンを試す必要ありそう。
まだ半信半疑だけど、１０秒探索でこれって、ものすごく強くなってる気がしてきた。
- 783 名前：310 mailto:sage [2017/04/01(土) 17:37:16.14 ID:Wq4mpDtN.net]
- もう１局やって引分。
強化学習って、プレイアウト同士対局させながら、確率的勾配効果法で
１件づつ更新を繰り返す形で良いのかなぁ。
- 784 名前：310 mailto:sage [2017/04/02(日) 18:48:15.03 ID:xuvwd7i8.net]
- 別のオープニングを試したところ、F5F6系や、F5D6C4G5系はZebraに勝てません。
試しにF5D6C4G5系を調べてみたところ、ツリー展開がなかなか深まらない様子で、
有望と評価される分岐が多すぎるのかと思います。最後はやけになって、１分読み
＋要所でバックグラウンド放置探索で無理やりツリーを伸ばしたところ、途中経過で
Zebra評価値が−４まで行ったところから何と＋４まで回復しました。
やはりポイントはツリーの深さであり、余計な枝を探索しない、ポリシーネットの精度
が重要になると。多分。
あと、相手パスの時にもおかしくなるバグを発見。今夜は、ここを調査。
- 785 名前：310 mailto:sage [2017/04/03(月) 20:36:38.16 ID:BqB2rFYT.net]
- パスがおかしくなる奴は、やはりデバッグルーチン限定で、かつ直すと本処理にも
大きな修正が必要になるので、当該デバッグ処理を削除して対処。
F5D6C4G5系をテストプレイしていてわかったのは、中盤ことごとく読みがZebraと
一致しない事。一致しないだけなら良いけど、そこがところどころ悪手になってるっぽい。
読みが一致しないと、事前に読んでいない枝で探索する事になり、浅い探索のまま
間違いが連鎖する感じ。Zebraの着手は、こちらAIが予想は評価値順で３番目以降に
なっている。
これ、ロールポリシーが決めるプレイアウト割り当ての優先順位の問題か、それとも
プレイアウトの精度の問題か、はっきりしませんが、要するに評価値が間違っている
＝弱いという事ですね。
で、この２点について、もう１ステップ先に進んでみようかと思います。
プレイアウトについては、強化学習で良いヒューリスティックを作れないか検討。
ロールポリシーについては、与えている棋譜のバラつきが原因かも知れないので、
強化学習の棋譜から自動生成する事を検討。
あと、終盤４０手以降はほぼ間違えないので、Solverを削除してしまいました。
また、できれば、最終的には定石も無しにしたくなって来ました。
目指せピュアMCTS。
- 786 名前：310 mailto:sage [2017/04/03(月) 20:41:47.20 ID:BqB2rFYT.net]
- 忘れていた。
>>782の２２手目は、Zebraの当初予想はG4でしたが、このターンに達した時に、
A6に変わりました。そこでここで強制的にG4を打たせて続行してみましたが、
＋４でこちらのAIが勝利しました。Zebraが間違えたのは、もう少し前の場所の
可能性があります。
- 787 名前：310 mailto:sage [2017/04/05(水) 01:14:25.59 ID:4SaLkpgr.net]
- >>786
Zebraが間違えたのは１４手目のB5だった模様。ここで引き分け手順から外れてます。
定石無しにしようと書いておきながら、少なくとも引分とわかっている盤面情報を活用
して、探索の省略ができないかと、あちこちに組み込んでみましたが、効果は不明。
効果がわからないというより、毎晩こつこつと評価関数のエポック数を稼いでいたところ、
どうも過学習に近い状況に陥っているみたいで、手の選択が変わってきて、むしろ、
どんどん弱くなりつつあります。むむむ。
一旦変な手を選んでしまうと、Zebraにしっぺ返しを食らって、せっかく読み貯めた
プレイアウトの大半がボツになり、短いツリーで手を選択するうちに、どんどん
間違った手を打っていく模様。結果的に勝った時は、ツリーがどんどん伸びて行く
のと対照的です。
で、結局、評価関数の良し悪しという話に逆戻りorz
評価関数から脱却するためにMCTS始めた頃が懐かしい・・・
- 788 名前：535 mailto:sage [2017/04/05(水) 23:08:13.71 ID:laANBz/U.net]
- 最新の対戦結果です。
LV2に白番で勝ち越したようです。
しかし、LV1に黒番で負け越している。
あとLV1とLV3で白番のほうが勝率がいいのが謎。
真面目に長連対策してないのが弱点になっているのだろうか？
それにしてもLV３強すぎる。
LV１との対戦も１００戦やる予定でしたが途中で固まってしまったようです。
100局目
黒(airandom.dll)の勝利回数: 2
白(ai-lv3.dll)の勝利回数: 98
100局目
黒(ai-lv3.dll)の勝利回数: 92
白(airandom.dll)の勝利回数: 8
100局目
黒(airandom.dll)の勝利回数: 77
白(ai-lv2.dll)の勝利回数: 23
100局目
黒(ai-lv2.dll)の勝利回数: 45
白(airandom.dll)の勝利回数: 55
86局目
黒(airandom.dll)の勝利回数: 41
白(ai-lv1.dll)の勝利回数: 45
83局目
黒(ai-lv1.dll)の勝利回数: 7
白(airandom.dll)の勝利回数: 76
- 789 名前：名前は開発中のものです。 mailto:sage [2017/04/08(土) 13:24:07.33 ID:mnzcHtDh.net]
- 2003年に立てられたスレが最近になって動いてる…ｗ
がんばってくださいな。
- 790 名前：310 mailto:sage [2017/04/08(土) 17:26:32.31 ID:cxbXAKoL.net]
- 色々グチャグチャと改良（改悪）してましたが、一旦整理して、結局かなりシンプルな
形に落ち着きました。定石も無しにしましたので、２手目以後は考えます。プレイアウト
に時間がかかるので、序盤は考える時間が長すぎです。点数ベースの評価関数を弄り
倒して勝率っぽい数字をでっちあげる事で、勝率の評価関数を使わなくなりました。
今のところ対Zebraは勝ったり負けたりで、強さ的には匹敵するところまで行けたかなと。
両者定石無しなので、純粋にAI部の強さ比較という事で良いのかなぁと自負。
たまにはAI白番（Zebra黒）の棋譜を。自作AIの＋２勝ちです。
F5 D6 C4 D3 C3 F4 C5 B3 C2 E3
D2 C6 B4 A3 G4 F3 E6 F7 B5 A4
A6 B6 G3 F6 E7 F8 D7 C7 G6 H5
D8 C1 H6 H4 E8 C8 G5 H7 B1 A1
B2 E2 A2 H3 F1 D1 G7 H8 G8 A5
A7 F2 E1 G1 H1 B7 G2 H2 B8 A8
MCTSじゃあまり強くならないと思っていたのが、ここまで来れて正直本人がびっくり。
アルファ碁のNature論文のお蔭です。
次ステップで強化学習とか考えていたけど、まだ何からどうすれば良いのかわからない（汗
- 791 名前：535 mailto:sage [2017/04/09(日) 05:10:12.89 ID:h/eXLfOt.net]
- 相手に守りの手を強要させることが出来る有利な状態をいかに保ってゲームを進めるか。
終盤の要になりそうです。
- 792 名前：310 mailto:sage [2017/04/09(日) 20:11:13.36 ID:3mOyIMJx.net]
- 評価関数の評価値計算でmin-Maxの時にやっていたのに、今回はやっていなかった
手抜き箇所を修正し、速度アップを図りました。
プレイアウトの速度が劇的に速くなりました。
最低でも１０万プレイアウト貯め無いと、変な答えを返す（だろう）という事で、最大試行
回数の手が最低プレイアウト数を超えていない時は探索延長していました。そのため
序盤で探索延長頻発していましたが、今回の改造でほぼ延長無しになりました。
あと、評価関数のステージ分割を細かくしまして、再計算を開始。
１手２０秒設定でやっていますが（他にバックグラウンド探索あり）、１０秒でも実用になるかなぁ。
MCTSなオセロとしては、ある程度できちゃった気がする。
- 793 名前：535 mailto:sage [2017/04/10(月) 22:56:16.99 ID:Sai+9C2+.net]
- もしかして>>310さんのAIは世界最強クラスってことですか？
凄すぎ…
- 794 名前：535 mailto:sage [2017/04/10(月) 23:19:01.03 ID:Sai+9C2+.net]
- 完成したら論文書いてwebで公開してくださいｗ
おねがいしますｗ
- 795 名前：310 mailto:sage [2017/04/11(火) 07:59:39.45 ID:KmgeOKfx.net]
- >>793
いや・・・それはないです。
オセロの場合、定石DBの学習が強さに直結するので、定石DBを持っていないAIは
かなり不利というか、対戦したら勝ち目ありません。何回も対戦するうちに苦手な定石
に誘導されちゃうので、勝ち目なしは確信しています。
また、アルゴリズムの優越比較という意味で、Zebraの定石DBも無しにしましたが、
Zebraの中盤も一昔前のレベルで、決して強くはないという評価をWEBで見た事が
あります。今回Zebraを使用したのは、対戦中に学習モードに切り替える事でどこで
間違えたかがわかりやすいからです。Edaxとはまだ対戦させません。
ただ、個人的に思い込みたいレベルでいうなら、MCTS系のオセロAIでは最強クラス
なんじゃないかなぁと（願望）。なにせ、いまどきオセロAIを開発している人はいないし、
ましてモンテカルロ系で試そうなんて人もいなさそうですから。言ったもの勝ち（汗
アルファ碁の論文のDeepでNeural networkではない部分を適用する事で、min-Maxで
なければ存在価値がないところまで行き着いていたオセロAIでもMCTSで結構強くなれる
事が証明できたかなぁと。本当にアルファ碁様様です。
ブログ作って解説でも作ろうかと準備していましたが、試しに開設したブログサービスでは
アップロードができなかったので、一旦閉鎖しました。どこか良いところないかな。
- 796 名前：535 mailto:sage [2017/04/13(木) 22:33:44.03 ID:vVAZxoH8.net]
- いろいろ試してみてるけどなんか勝利手順DBを充実させるのが一番手っ取り早く強くなる気がする。
いま１２万局分棋譜あるけど１００万局くらいまで増やしてみるか…
もっと計算リソースが欲しい。
- 797 名前：310 mailto:sage [2017/04/18(火) 01:24:07.08 ID:Ohai0OaC.net]
- 評価関数のエポックを更に進めたら１８０エポック近辺から勝てなくなってきました。
もしかしてたまたま間違ったところが、zebraの弱点をついていたのかも知れないし、
評価関数の値にメリハリがついてきて、逆に見落としが起きやすくなったのかも
知れないし。過学習かも知れないし。
評価関数をブラッシュアップするには、負け手順を棋譜化して、学習データに投入
しなきゃならん。
ところが、負け確定後に例の自爆モードが作動してしまいます。棋譜として使えるよう
にするために、ソルバーを復活させました。ついでに色々やってたら、見なかった事
にしていたバグもとれました。ついでだからと偶数理論を実装したのですが、かえって
遅くなってしまった。他の人はどういう実装しているのだろう。
今の速度だと３５手目から読み切らないといけない。今の速度だと時間の予測が難し
いというか、軽く１時間はかかりそう。
- 798 名前：535 mailto:sage [2017/04/19(水) 21:59:17.68 ID:WjbK3YLE.net]
- Ponanzaがディープラーニング取り込みに成功したとかなんとか。
ハードもものすごいものを用意するそうですね。
- 799 名前：535 mailto:sage [2017/04/21(金) 20:55:54.67 ID:ZLYvyeQY.net]
- 大分勝率上がってきた。
思考時間長いから数こなせないのが厳しいですね。
25局目
黒(airandom.dll)の勝利回数: 8
白(ai-lv3.dll)の勝利回数: 17
- 800 名前：535 mailto:sage [2017/04/21(金) 22:05:48.97 ID:ZLYvyeQY.net]
- やっぱディープラーニング憧れるなぁ。
俺のAIにもブレークスルーを起こしてくれｗ
|
 |
