- 1 名前：名前は開発中のものです。 [03/07/10 00:10 ID:6FQp6G+O.net]
- 比較的地味なボードゲーム専用のスレが欲しくて立ててみました。
私はc言語で作ったデータベースを使って人間と対戦できる将棋かチェス
みたいなソフトを作りたいと思ってますが、グラフィックインターフェースの
作り方がわからなくてつっかえているレベルです。
- 277 名前： ◆SHOGI//OTA mailto:sage [2013/05/26(日) 07:32:03.70 ID:eRYu9esk.net]
- リアでやる時は色反転させるからおｋ
これでもチェス側が勝つとなれば、一気に決める必要があったりして。（ｗ
将棋が金銀で固めてしまうと手がでないヨ。。。
将棋対シャンチーもあるかな
- 278 名前：名前は開発中のものです。 mailto:sage [2013/05/26(日) 12:06:35.03 ID:KdBMZZS6.net]
- 米韓戦：チャンギ（韓国将棋） VS チェスなら、あるよ
www.zillions-of-games.com/cgi-bin/zilligames/submissions.cgi/55557?do=show;id=553
日中戦：シャンチー VS 将棋とか、誰か作ってくれないかな・・・
4人プレイで、チェス VS 将棋 VS シャンチー VS チャンギのバトルロワイヤルとか面白そう
- 279 名前：名前は開発中のものです。 mailto:sage [2013/05/26(日) 12:11:22.32 ID:KdBMZZS6.net]
- 日米戦：チェス VS 将棋は、すでにHSPで専用ソフトが存在していてビックリ！
hsp.tv/contest2010/entry.php?id=23
ルールをもっと可変式にして欲しいな・・・
昇格線の位置、駒の再利用の有無、チェス側が空ける列の変更とか・・・
- 280 名前：名前は開発中のものです。 mailto:sage [2013/05/26(日) 20:14:44.85 ID:eRYu9esk.net]
- >>278は、ソフト購入しないと無理？
シャンチーとかはちょい特殊なので、
同じ盤でやるのはムズイか
- 281 名前：名前は開発中のものです。 mailto:sage [2013/05/27(月) 19:39:26.72 ID:9pbfjPhK.net]
- まずはHPでソフト（体験版：無料）をダウンロード
これで、デフォルトの48種類のゲームが可能（将棋，チェス，チャンギ，シャンチー，マックルックなど）
使用期限はないけど、機能制限（自作ルールが使用不能）あり
次に、Help＞Unlock Full Versionを開いて、NameとCodeに数字を入力すると、機能制限が解除されるよ
これで、OpenRuleGamesから参照することで、ダウンロードサイトの亜種ゲームや変則ゲームも使用可能になる
間違っても、「Zillions of Games」，「keycode」，「serial number」，「passward」などでググってはいかん！
（倫理的にね・・・）
- 282 名前：名前は開発中のものです。 mailto:sage [2013/05/27(月) 19:44:10.89 ID:9pbfjPhK.net]
- >277
そうか、将棋側は、使っていない相手（チェス側と逆の色）のチェス駒を使えば良いのか・・・
チェスの駒は、打ち詰めたり、合い駒を打ったりするのに向いていない・・・
でも、チェス側が手に入れるのは将棋側の駒だから良いのか
相手に取られたチェス駒を、さらに取り返して打てるとなると、チェス側はチェス駒を打てるわけで、新感覚だな
- 283 名前：名前は開発中のものです。 mailto:sage [2013/05/28(火) 18:33:34.08 ID:E62L+nG5.net]
- >>278
チェス側はナイトが1個足りなくないかい？
ナイトとルークの位置が逆なのも意味があるのかな
チャンギとシャンチーは似てるから、シャンチー VS チェスなら、すぐにできそう
- 284 名前：名前は開発中のものです。 mailto:sage [2013/05/31(金) 23:01:31.34 ID:/iCd6FrU.net]
- 3Dチェスのソフトを作るスレに乗っ取り！
- 285 名前：名前は開発中のものです。 mailto:sage [2013/06/07(金) 06:49:37.26 ID:22I90z1d.net]
- >>281
ありが糖
中将棋やってみるよ＾＾
調べてみると、摩訶大将棋まであるな
- 286 名前：名前は開発中のものです。 [2013/06/08(土) 19:23:27.40 ID:NBTDQ+RS.net]
- 立体チェスとか、円形チェスとか、六角形チェスとか、チェス系はバリエーションがスゴイ！
- 287 名前： ◆ZSCoFl63NY [2013/06/09(日) 17:15:43.33 ID:R+TCfNWQ.net]
- 他スレでなかなかレスがつかずにこちらにカキコしました。
ループオセロを作りました。exeファイルなどはトラブル防止のため、あえて添付していません。
動作環境はWindowsです。Cコンパイラがない方は、同梱のreadme.txtを参照してください。
コンパイル方法はreadme.txtに全て記述してあります。
↓にうｐしてあります。
soft186.e-whs.jp/cgi-bin/up2/img/55.zip
少々強引なコーディングですが、何とか形になりました。
率直な感想を聞きたいので、どうかダウンロード＆コンパイル＆プレイしてやって下さい。
私のスペックですが、Ｃ／Ｃ＋＋がそこそこ使えて、フリーソフトを公開した実績がありますが
プログラマとしての実務経験はほぼゼロです。
- 288 名前：名前は開発中のものです。 mailto:sage [2013/06/13(木) 18:55:25.55 ID:8V7u006/.net]
- なんかドラクエの世界地図みたいですね
東西ループ＋南北ループ
もはや角や端は意味を持たない
最後までどんでん返しがあり得るが、盤のマスは有限と
なかなか面白いのでは？
メール希望者には、exeで送っても良いのでは？
できれば、その技術で、「チェスVS将棋」のインターフェイスを作って欲しい
AIなしの対人対戦専用ソフトで
- 289 名前：名前は開発中のものです。 mailto:sage [2013/06/13(木) 19:04:52.78 ID:3uTeAlkg.net]
- ドーナツオセロか
- 290 名前：名前は開発中のものです。 mailto:sage [2013/06/14(金) 17:56:33.48 ID:4WX+Y1yW.net]
- 正確には、平坦トーラス（曲率0の円環円筒）です
- 291 名前：名前は開発中のものです。 [2013/06/15(土) 21:26:29.87 ID:Yvu65IEz.net]
- >>287
がんばれ！！
- 292 名前：名前は開発中のものです。 mailto:sage [2013/06/16(日) 12:19:37.51 ID:THgmSpSn.net]
- 縦列が一周ごとに下にずれたり
横列が一周ごとに右にずれたりすると
更にややこしくなる。
ていうか残り１枚から大逆転が可能になる
- 293 名前：名前は開発中のものです。 mailto:sage [2013/06/16(日) 12:26:37.95 ID:HJz6eymc.net]
- 赤・白・黒の3色オセロは既出？
- 294 名前：名前は開発中のものです。 mailto:sage [2013/06/19(水) 00:32:19.46 ID:KWgkgQFb.net]
- ４色でやってるTV番組があるぜ
- 295 名前：名前は開発中のものです。 mailto:sage [2013/06/20(木) 19:25:37.41 ID:utbSzndH.net]
- ＞＞294
何色？
赤・青・白・黒？？
- 296 名前：名前は開発中のものです。 [2013/06/25(火) 20:10:45.63 ID:8VH9PpPP.net]
- ほ
- 297 名前：名前は開発中のものです。 [2013/06/30(日) 12:35:57.68 ID:epiVBrxw.net]
- リアルタイムストラテジー型のチェスとか、HP制の将棋とか、おもしろいかも？
- 298 名前：名前は開発中のものです。 [2013/06/30(日) 20:09:35.38 ID:CusNUCHO.net]
- その昔、バトルチェスってのがあってな・・・
- 299 名前：名前は開発中のものです。 mailto:sage [2013/07/01(月) NY:AN:NY.AN ID:lOCkd1Ri.net]
- Battle chessでggると、駒を１手で１回ずつ全部動かせるらしい
- 300 名前：名前は開発中のものです。 mailto:sage [2013/07/02(火) NY:AN:NY.AN ID:bfbryvu1.net]
- FFみたいなアクティブタイムバトル（ATB）制とか、
タクティクス・オウガみたいなウエイトターン（WT）制は？
- 301 名前：名前は開発中のものです。 mailto:sage [2013/07/03(水) NY:AN:NY.AN ID:wkoZZDOw.net]
- ハンターハンターの軍棋をゲーム化するとかね。
つうか軍棋って同じ名前で実在するんだな。日本にも軍人将棋ってのがあるが。
ここで色々案も挙がってるが、すでにPCもない時代からこういう考えはあったわけだ。
- 302 名前：名前は開発中のものです。 mailto:sage [2013/07/07(日) NY:AN:NY.AN ID:1jzG+TM2.net]
- 軍蟻は良いかも！
著作権が難しいが・・・
軍人将棋はバリエーションとローカルルールがありすぎて対応が大変
ZoGにも欲しいな
西洋軍人将棋（ストラテゴ）は、PCでも割と見かけるが
- 303 名前：名前は開発中のものです。 mailto:sage [2013/07/07(日) NY:AN:NY.AN ID:0lzHS3C/.net]
- ハンターのあれってちゃっとルール公開されてたの？
コマが３つまで重ねられるって事しか解んないわｗ
- 304 名前：名前は開発中のものです。 mailto:sage [2013/07/07(日) NY:AN:NY.AN ID:lXyODQZR.net]
- ルールなんて自分でこさえちゃえばいいよ。
コマを重ねるってのは、要するに馬にのせたり方天画戟といった装備だったり
名声や決意・覚悟といった精神的なものの加点要素なんじゃないのか？
あるいは倒れた仲間を回収して回復ポイントまで運べるとか。逆に補給物資を運んでいるか。
将棋やチェスなら、味方のコマと重なると2倍の能力になり、一回とられても相打ちで敵も倒せて、自分はそこに残れる、的なシステム。
- 305 名前：名前は開発中のものです。 mailto:sage [2013/07/07(日) NY:AN:NY.AN ID:tapz/Poj.net]
- 作りたい奴はすでに作り始めてたりする
ハンターハンターに出てきた架空のゲーム「軍儀」
kohada.2ch.net/test/read.cgi/cgame/1119733877/l50
- 306 名前：名前は開発中のものです。 mailto:sage [2013/07/08(月) NY:AN:NY.AN ID:VxgBNd3t.net]
- なるほど、高さ＝三次元的なゲームだったのか。
二段や三段のコマは一段のコマには抜けれず壁の役割になれる。
壁構築で地形みたいな要素にもなる感じかな？
- 307 名前：名前は開発中のものです。 mailto:sage [2013/07/09(火) NY:AN:NY.AN ID:PWW1vFJn.net]
- 高さを考慮したSLGといえば、タクティクスオウガ系のゲーム画面（盤面）になりそう・・・
- 308 名前：名前は開発中のものです。 [2013/08/03(土) NY:AN:NY.AN ID:gVJOFEFN.net]
- age
- 309 名前：名前は開発中のものです。 [2014/09/08(月) 16:59:53.68 ID:67y2qr+m.net]
- 教京サーバアビエ無戸籍交際薬剤消毒介護職利権ローション羽田帝国上層部24時間パトロール義務上野飲み会マックさむらいニューヨーク森林火災チェック問題ヤーフォー確定申告不足ラーメンスーパーポイントdビデオデッキ破壊タイピングGTX860MIGOZ
教京サーバアビエ無戸籍交際薬剤消毒介護職利権ローション羽田帝国上層部24時間パトロール義務上野飲み会マックさむらいニューヨーク森林火災グリーにんにく牡丹黒家宝ラーメン
教京サーバアビエ無戸籍交際薬剤消毒介護職利権ローション羽田帝国上昇部24時間パトロール義務セコム強盗マックさむらいニューヨーク森林火災グリーにんにく牡丹黒家宝ラーメン
築地TPP偏食中国人勧誘マナー憤怒北京オリンピックパブ立橋フロアWHO経済制裁代協議会飲み食い代官僚日テレ漏洩ボーリングITC問題調査福岡駐車近代道廃人画税幕張銀行ググール無断決裁広告料寒孫ゼリー失調栄養士指的フィルム不毛ハンバーグースラーメン
糞箱弐個弐個沖縄ランド近年ペット原発難民船頭100万円コミックコラムシフト廃品鉄工業プラチナ小スモ再販問題WHO光金アナ雪エネルギーソーシャル決裁ニッカン奮闘鬼記者サービスカ米ラマン露店捜査キセルストアアイダホ会長農家不動産工場感激息子
- 310 名前：名前は開発中のものです。 mailto:sage [2015/08/18(火) 16:59:55.72 ID:QcCJSSMl.net]
- どなたか教えていただけますか？
最近、オセロAIのプログラミングをCで行っています。
今は、探索ロジックの勉強のため、終盤の完全読みを作っています。
置換表付negaMax、置換表付PVSは通常の探索ではきちんと動作しています。
現在MTD(ｆ）にとりかかりました。MTD(f)では、ドライバは擬似コードそのまま。
テスト関数は置換表付negaMaxを流用していますが、そのままだとFail-LowとminMax値
の区別がつかずに、Fail-Lowの指し手を返してしまうので、初段のみαを-1する事で、
内部的に区別できるようにしています。
動作確認にいくつかテストケースでテストしましたが、FFO#40の時におかしな事がおきます。
（FFO：www.radagast.se/othello/ffotest.html）
問題）本来の評価値は+38（A2B1C1…）なのに、+30が返る。
以下、判明している状況です。
１）置換表を使用せずにMTD(ｆ）を動作させる。 −＞正解
２）単体でNull Window Searchを行う。 −＞正解
３）置換表を使用してMTD(f)を動作させる。 −＞少なくともFFO#40では誤答する
４）FFO#40で失敗する条件は、ｆにminMAX値より幾分小さい値（黒+30未満）を設定したとき。
５）negaMax初段でαを-1するロジックを入れなくても、同じ事になります。
デバッグで確認したところ、Fail-Highになるべき条件（黒+30や黒+36の時）で、下限値を
返しています。同一条件で、下限をさらに-1してテストしたところ、α<g<βである事が確認
できましたので、minMax値として間違った値が返っていることになります。
どうも原因は置換表にあり、Null Window Searchの中で、何回も再利用していることに
あるように思います。とはいえ、MTD(f)といえば置換法を再利用する事が前提です。
どこかに誤りがあるのではないかと思います。
同じような問題に遭遇した人はいますか？
- 311 名前：310 mailto:sage [2015/08/18(火) 17:06:51.32 ID:QcCJSSMl.net]
- ちなみに、置換表のキーは、盤面と手番です。
ハッシュ値を使用し、衝突した場合は、チェーンで下につなげています。
今のところ、メモリーの上限等は設定しておらず、領域も足りています。
- 312 名前：名前は開発中のものです。 mailto:sage [2015/08/18(火) 21:27:38.25 ID:ZHAQ4NnD.net]
- 正気か？
- 313 名前：310 mailto:sage [2015/08/18(火) 23:21:46.36 ID:5wjtKO2B.net]
- 何がですか？
- 314 名前：名前は開発中のものです。 mailto:sage [2015/08/18(火) 23:27:30.51 ID:ZHAQ4NnD.net]
- その質問に答えられる人間が２ｃｈにいると？
- 315 名前：310 mailto:sage [2015/08/19(水) 09:33:45.34 ID:DdofkXsp.net]
- いなければ仕方ないですね。
テスト関数を置換表付negascoutにしたら、ちゃんと答えが返ってくるようになりました。
けど、なんか気持ち悪い。置換表の扱い方は一緒なので、たまたま上手く行ってるだけ
ではないかと思います。むむむ。
MTD(f)にこだわり続けてもあんまり意味が無いので、評価関数づくりに入ります。
３層パーセプトロン型にするか、普通の線形回帰にするか。
パーセプトロンタイプは、パターン学習のタイプを作ってみましたが、学習データ３４０万
棋譜に対して、１回回すのに３日がかりという状態で、検証サイクルが回しづらい状況な
ので、簡略化をするか、線形回帰を試すか思案中です。最終的には、両方作って対戦
させてみるかと思っています。いつになる事やら。
- 316 名前：310 mailto:sage [2015/08/24(月) 09:51:00.08 ID:Y8Lk5h3w.net]
- BITBOARDで確定石をそこそこ正確に求める方法を考えました。
思いっきり脱線中ｗ
ただ、斜め方向に「列すべてに石が置かれている」状態を検出する方法と、
その時に、斜め方向の列すべてに確定ビット（仮）を建てる良い方法が見つ
からずに、斜め方向のAND用の定数配列を用意してループを１５回回してる。
縦横は、分割統治でそこそこなロジックになったんだけど。
４５度回転を使っても、そんなに高速化できそうにないなぁ。
もちろん、完璧な確定石ではありません。
拾った石は確実に確定石ですが、確定石なのに拾えない石が若干あります。
- 317 名前：310 mailto:sage [2015/09/02(水) 11:43:34.50 ID:s0BtWfox.net]
- ぬぬぬ。パターンによる線形回帰の石差予想。
最急降下法は収束してるんだけど平均２乗誤差が４８０とかになる。
１σでいうと１局面あたり２２石（黒石の数では１１石）もの誤差。
これでは使い物にならない。
ステージ分割しているんだけど、ステージが進んでも誤差はほぼ一緒。
ウェイトがオールゼロでも似たような数字になるレベル。
テストデータで局面評価させると、それなりに石差は計算しているっぽいが、
最善手で終局まで打ったデータ入れるとステージによって評価値が全く違う。
初期値をゼロからスタートすると、この辺なんだけど、１とかからスタートすると
もっと誤差が大きいところで収束してしまう。初期値を乱数にしたら、更に大きな
誤差で収束してしまう。
ローカルミニマムに捕まってるのかなぁ。
いくつかミスは見つけたけど、本質的な場所じゃないので、結果も変わらず。
むむむむ。
- 318 名前：名前は開発中のものです。 mailto:sage [2015/09/02(水) 16:33:21.80 ID:6FNrQBf/.net]
- 正規化をミスってる
- 319 名前：310 mailto:sage [2015/09/02(水) 21:57:59.44 ID:5gNGVEfH.net]
- 正規化というと、thellさんのlearning.pdfで言うところの、αの設定ですか？
当初はmin（β/100,β/Nj）の正規化型で作ってましたが、上手くいかないので
収束を早めるのは後回にして、今は単純にステージ毎の局面データ件数α=β/Nの
形にしてます。
が、発散を避けようとすると、βをあまりに小さくしなければならないのが、なんか変な
気がしています。今は10の-7〜-8乗くらいの値です。やっぱり変ですよね。
最急降下法のコードどこか間違えてるんだろうなぁ。
- 320 名前：名前は開発中のものです。 mailto:sage [2015/09/03(木) 04:25:48.28 ID:CNXgxM7O.net]
- でもオセロだったら最終数手で１１石くらいひっくり返ってぶれるのは普通じゃない？
- 321 名前：名前は開発中のものです。 mailto:sage [2015/09/03(木) 04:36:35.33 ID:CNXgxM7O.net]
- あ、オセロのＡＩにはぜんぜん詳しくないんだけど
対局を見てたらクルクル石差が入れ替わるので
読み切らずに局面から石差を判断すると
どうなるんかなと思って
- 322 名前：310 mailto:sage [2015/09/03(木) 10:19:29.05 ID:Fd8XT4rV.net]
- 色々と失礼しました。
もう一度、よーく上記pdfを読み返していたところ、原因らしきものが見つかりました。
記載にあいまいというか、ちょっとおかしいところがあって、式の変形をしっかり追って
確認すれば良かったのですが、思い込みで解釈をして変な計算をしていました。
そこをとりあえずざっと修正したところ、遅々としつつも収束に向かっている模様ですが、
まだまだ完全ではないようです。ある程度二乗誤差が減ったところで、また増え始めたり
しています。正規化も試したけど、やはり同じ。
もう少し、検討してみます。
- 323 名前：310 mailto:sage [2015/09/03(木) 10:38:17.33 ID:Fd8XT4rV.net]
- >>320
もともとひっくり返しあった後の終局を予測するのが目的なので、教師データは最終局面
の石差です。盤面の特徴（パターン）から、最終石差を予想するための重回帰計算なので、
その時点の石数は、説明変数に入れてません。なので、パターンの選択が適切なら、
最善手の応酬において１手毎にどれだけ石数が入れ替わろうと、影響を受けずに、
二乗誤差が終局に近づくほど減っていくと予想されます。
というか、そうなるように説明変数であるところのパターンを模索していくと理解しています。
手元にあるwzebraなんかは、評価値と称して最終石差予想が表示されているのですが、
やはり、ある程度の誤差を含みつつも、大きくぶれているようには見えません。
評価関数の使い道を考えると、実は絶対値はそれほど重要ではありません。
中盤探索のｎ手読みの時の盤面評価と、ムーブオーダリングに使うので、ある局面から
派生したｎ手先の局面における相対的な関係が保たれていればOKです。
また、MTD(f)法などを使う時の、ｆの初期値設定にも使います。この時は絶対値で正確な
方が良いはずですが、外れはすぐにカットされて次に行くので、トータルの時間に対する
影響は小さいように感じます。
とはいえ、相対的な関係が保たれているのかをチェックするのは難しいですから、
結局のところ出来上がった評価関数の評価は、教師データとの二乗誤差の小ささに
するしかないかなと。
- 324 名前：310 mailto:sage [2015/09/07(月) 01:11:39.28 ID:OHPpdG+6.net]
- 収束しかかった二乗誤差がまた増え始める原因はまだわかりません。
増え始めるまでは収束方向には向かっているのは確かなのでβの初期設定を
いって誤魔化す方向で。最急降下法ってこんなものなのかなぁ。
一通り納得したので、パターンをLogistelloと同一のものにまで拡充してスムージングも
入れてみましたが、新たなバグを仕込んでしまった模様で、一部計算がぐちゃぐちゃorz
バグ探しの旅に出ます。
裏で、Solverの速度アップを検討。
CountBitとPOPCountを組み込み関数にしてみました。FFO#40で30%ほど改善。
続いてFlip関数を６４個のポインタ関数にしてみましたが、時間はほぼ変わらず。
ポインタ関数内の処理が非効率なのか。
Flipのデバッグ中に確定石計算でバグっぽいものを見つけましたが、回帰が落ち着く
まで見なかった事にします。
- 325 名前：名前は開発中のものです。 mailto:sage [2015/09/10(木) 17:45:51.81 ID:R9JX9LJx.net]
- 将棋の全駒にユニークなIDを振り、局面を将棋盤に見立てたkoma[9,9]にIDを入れることで表現しようと思っています
その場合、駒のIDから座標を取得するいい方法ってないんでしょうか？
IF文、Case文のオンパレードになってしまうのは仕方ないのでしょうか・・・・
言語C#
- 326 名前：名前は開発中のものです。 mailto:sage [2015/09/13(日) 16:22:10.24 ID:5eWB08IT.net]
- 駒側にも座標を持っちゃえば？
- 327 名前：310 mailto:sage [2015/09/14(月) 09:33:29.38 ID:Rx5y2/Cc.net]
- 線形回帰で相変わらず時間食ってます。
一応、バグらしきものはそれなりに解消されましたが、やはりいかんせん収束が遅い。
一晩かけて５０〜１００試行して、途中で止めてやり直しなんてのやってる間に１週間は
あっという間に経ってしまうものです。まだ誤差が大きい。１０００回程度回して、どこまで
収束するか見てみようかなと。またぞろ３層パーセプトロンが気になる今日この頃。
確定石計算もバグ取りはできたと思いますが、その分計算が１．５倍ほどに膨れてしまい
ました。しばらく思考実験していたら、確定石なのに確定していると評価できない確実な
パターンも思いついてしまって、どうせその程度のものなら重い確定石計算しないで普通
に準確定石程度にしとくのが良いかと悩み中。
Solverの速度アップですが、前からやろうと思っていた事を少しづつやっていますが、
統計とってきちんとやっていないので１０％くらいの差だと良くわからない状況です。
コードのメンテナンス性が下がるのがネック。negaMAXが思いの他高速化してしまい
ましたが、MTD(ｆ）が低速化しているかも（謎）。
それなりに評価関数が動きだしたので、置換表２枚にして反復深化も試してますが、
信じられないくらい劇遅状態です。これ本当にコストに見合うのかなぁ。評価関数の
計算が、というか、その中の確定石計算が重いんだと思うけど・・・。
- 328 名前：310 mailto:sage [2015/09/14(月) 17:35:45.53 ID:Rx5y2/Cc.net]
- 反復深化が劇遅なのは、使い方を誤っていました。
リーフのところまで使うとコストアップなのは考えれば当然でした。
まあ、おバカなバグもありましたが。
negaMaxに対して反復深化を試すと、１割程度の高速化となりましたが、
negaScoutに対してやると多少低速化して、negaMaxの反復深化と変わらない速度に。
scout missが３倍近く増えているので、評価関数の精度があまり良くないためかなと。
move orderには、通常はmobilityとコーナー着手を使用しているのですが、これ、
何故か（少なくともFFO#40に対しては）scout missが恐ろしく少ないのです・・・。
MTD(f)が遅いのも、最初に設定するfを評価関数の値にして、それが結構外れで、
探索範囲が広がったのが原因です。scout missと同様に、結局のところ、途中で評価関数
を求めるタイプの高速化は、評価関数の精度次第という当たり前の結果に。
評価関数入れるとノード探索時間が1/10になるので、やはり評価関数用の確定石計算は
準確定石にレベルダウンしようかと思います。中盤AIでの話ですが。
今FFO#40が９秒台なので、あと３〜５倍高速化したい。
- 329 名前：名前は開発中のものです。 mailto:sage [2015/09/14(月) 21:42:06.86 ID:1S1dymvg.net]
- その情熱がうらやましい
- 330 名前：310 mailto:sage [2015/09/15(火) 20:18:36.71 ID:egtjjW0V.net]
- 準確定石の計算って実は思ったよりコストフルかもと気づいてしまい、
急きょコーディングして比較してみる事にしました。
releaseモードだと、自分の計算方法では跡形も残らないため、時間計測不可能。
debugモードでも、数十倍速いと言う結果になりましたので、今の確定石計算ロジック
は、悪いモノではないと自分に言い聞かせる事にしました。
それより、回帰の学習で、少しずつ少しずつ２５０回くらいまで学習進めていたのですが、
バグを見つけてしまい、またやり直しです。むむむ。しかも、なおした事で計算時間が
２〜３倍になってしまうという。
- 331 名前：名前は開発中のものです。 mailto:sage [2015/09/19(土) 00:46:12.58 ID:OgvQcqwn.net]
- 回帰がやっとまともっぽいところまで収束するようになりました。
今、２５０回学習で、最終ステージが１σ＝７．５程度です。
このペースだと、もっと学習させても、たいして変わらない気もしますが、
もう少し学習を進めてみようかと思います。
この評価関数を元に、反復深化＋MTDF+negaScoutなsolverを動かして
FFO#40で８秒程度になります。インライン関数化とか、最終２手展開とか
やるべき事はある程度やっちゃったので、自分の力だとこの辺が限度かも。
- 332 名前：310 mailto:sage [2015/09/22(火) 22:15:30.40 ID:70n8Fwqa.net]
- 回帰は地道に学習中。もう少しやってみるって感じだけど、収束状態の誤差が大きいのは
ステージ分割でオリジナルな変な事をしているからじゃないかと気になりだした。
あと数百回学習を回したら、通常のステージ分割版も作ってみるかなと。
色々いじってるうちに、FFO#40が６．２秒まで来た。何が良かったのか良くわからない。
反復深化をターゲットに改良しているんだけど、negaScoutも同じ時間。
FFO#41を試したら、反復深化で４５秒弱、negaScoutで３０秒弱という結果に。
探索ノード数がすごい事になってるので、反復深化のmoveorderのどこかがおかしい
気がしている。
- 333 名前：310 mailto:sage [2015/09/25(金) 16:54:56.15 ID:9OkLc3+M.net]
- 回帰のステージ分割というかスムージングを、ネット上でノウハウ公開されてるみなさん
と同じようにしたら、１σで６を切ってきた。やっぱ、スムージングやり過ぎて、精度が
落ちていたのね。同一ステージ内でも値がばらついているので本当に必要なのか、
気になるので、落ち着いたら両方試そうかと。先に方向性見ちゃったから本来とは
逆順になっちゃうけど。
色々頑張ったら、FFO#40が５．１秒、#41が２０秒、#42が１８秒となりました。
ソースとにらめっこしてれば、ネタはそれなりに出てくるものだなぁと。
しかし、１０年前のCPU使ってるThellにようやく勝てた程度。
Zebraの速さは何なんだと。こちらはcore i7だというのに。
目下の悩みは、_mm_popcnt_u64とBitScanFoward64が使えずに、それぞれ32ビット版を
使っている事。外部依存のところで関数の存在は確認しているんだけど、「そんな名前ない」
と出てくる。Cは趣味のAVRで小さいプログラムしか作った事がなかったけど、VC++くらい
巨大になると、どーもよーわからん。
- 334 名前：310 mailto:sage [2015/10/04(日) 01:12:59.97 ID:+bDErzEp.net]
- 色々やって、FFO#40でnegaScoutで３．４秒まで来ました。
反復深化は異なる方法で２種類作ってみたけど、FFO#40程度の深さだとnegaScoutとの
差が出てこない。２２手とか２４手とかまで行くと、差が出てくるように感じるけど、後回し。
どうしても気になって、Zebraのソース解説（日本語）を見つけて、そこに出てるソースを
見ました。自分なりにロジック面で工夫した事はほぼ同じ事をやっている。流石。
あとマクロを多用してる。僕はインライン指定でコンパイラ任せ。
マクロにするとデバッグが極端に大変になるので、マクロ化するのは最後。
そしてaspiration windowと称しているWindowの取り方が独特で、ここに高速化の
秘密があるとみた。早速真似してみると、また>>310のような問題が・・・
今回は前より理解が進んでいたため、２点修正して解消。
副次的に>>310の問題も、直ったと思う。
が、もう一つ答えを間違うケースを見つけてしまった。
今まではルートノードに問題があったけど、こちらはもっと下位ノードで戻り値がコンタミ
してる感じ。デバッグが難しく、重症っぽい。むむむ。
- 335 名前：310 mailto:sage [2015/10/07(水) 17:10:37.74 ID:i7/9rua6.net]
- デバッグで試しに変えた箇所を戻し忘れたりして、二次災害三次災害を出して、
相当混乱したけど、やっぱり境界問題だった。これmoveorderの順によって出ない
可能性もあるので厄介。自分は開き直って、探索の幅に-1つけてるけど、皆さんは
どう回避しているのかなぁ。
zebraのwindowの取り方は、基本的にMTD(f)みたいに置換表利用を前提とした、
固定分割サーチだけど、negaScout（MTD(f)やzebra方式の中で使用している）と
速度的には同等な感じ。最初の探索で勝敗がわかるという点がメリットなのか。
MTD(f)は評価関数が正しくないと、検索時間が伸びる可能性があって、以前から
negaScout単体でも十分な気がしてる。
FFO#40は後述の静的評価関数を判明しているパラメータで最適化すると、
negaMaxで５秒台。negaScoutで３．４秒前後。MTD(f)で２．６秒前後。
ThellさんのHP記載よりは高速化したけど、zebraにはまだ勝てないというか、テストした
FFO#41〜#43ではzebraの高速度合（ノード数の少なさ）が突出している。
ノード削減はmvorder用の静的評価関数に掛かっている。静的評価関数のパラメーター
をいじってるけど、FFO#40最速のパラメータとFFO#43最速のパラメータが違い、#43用は
#43ではノード数を半減できるのに、#40では増えて遅くなってしまう。negaMaxで初段の
評価順見てると、まだまだなので、何か別の発想で並び替えが必要な感じ。
評価関数は１０００回くらい回してようやく良い感じになってきたけど、まだ収束しては
いない感じ。学習係数はもっと大胆に大きくしても良かったかな。ここまでやると、
スムージング無しを試すのが億劫になってくる。
反復深化は、ソースのメンテが追い付いていないので、一回破棄。
- 336 名前：310 mailto:sage [2015/10/12(月) 23:43:49.17 ID:ZTwsIi7y.net]
- 色々やってるけど、FFO#40では速度向上はほとんどなし。
置換表のサイズが見えて来たので、１件ごとにmallocしていたのを、配列にして一括で
領域確保するように変更（当初の形）したら、速度のバラツキがだいぶ減ったように思う。
NPSが変動すると、何か悪いことしかたと悩んでしまい、修正して二次災害を起こすので
地味に大事かな。
FFO#43は多少高速化してて、パラメータ最適化するとMTD(f)で１２秒台くらい。置換表
適用範囲の指定を下（葉）からしていたのを、上（ルート）からに変えた。あと、MTD(ｆ）
などでは何回も置換表を読むので、２回目からはmoveorderに置換表の評価を使うよう
にした。
BITBOARDだと開放度の計算が簡単だという事に気づいて、静的評価関数に使ってみた
けど、現在使用中の次手mobility＋αの順序より劣る感じ。＋αが角とか×とかなので、
序盤から中盤用なのかなぁ。
negaScoutに加えた修正をnegaMaxに適用していたら、negaMaxがおかしくなった。
直して計測したらFFO#40が４０秒程度に。冷静に考えると、これが常識的な速度だと思う。
前回の５秒台がどこから出て来たのか、今となってはわからない。前段の＋α箇所も
結構変えていて、negaMaxはmoveorderで露骨にノードが増減するので、奇跡的な順序
が実現できていたのか。それともバグやオペミス勘違いかも。
そろそろ本格的にネタ切れ。この辺が限界かなぁ。
後回しにしていた修正箇所を直して綺麗になったら、中盤に行くかな。
- 337 名前：310 mailto:sage [2015/10/14(水) 23:51:46.51 ID:V3YF/mde.net]
- negaMaxはmoveorderの修正漏れでバグってて、直したらやはりFFO#40で５．４秒でした。
MTD(ｆ）は２．４秒でzebra並になったけど、#41以後は３〜４倍時間がかかる。
その差は探索ノード数に比例してる。前向き枝刈使うわけにはいかないし、#41以降の
差を詰めるにはmoveorderしかないと思う。
とはいえ主だった事は一通り試してしまった。むむむ。
偶数理論で思いついた方法が純粋に面白そうなので組んでみる。
想定では、速度が結構遅くなるはずなんだけど、まあ面白そうという事で。
- 338 名前：310 mailto:sage [2015/10/16(金) 10:24:07.38 ID:Q2afyb0d.net]
- 偶数理論の関数は思いのほか軽くできて、オーバーヘッドの心配が少ないです。
BITBOARDの空マスを、囲まれて独立している塊ごとに分離してBITBOARD配列にして
返す関数を作りました。これをPOPCountで数えて着手した場所が偶数空エリアなのか
奇数空エリアなのかを判定します。
最初にテストしたFFO#43のMTD(ｆ）でいきなり３０％近く高速化して「やった！」と思った
のもつかの間。実はミスで判定を逆にしてまして、偶数マスに打って奇数を相手に渡すと
加点になってました。で、いろいろテストした結果、最初にやったケースではたまたま
良かっただけみたい。例えばnegaScoutやnegaMaxでテストすると、係数変えたり判定
方法に工夫を加えたりいろいろしてみても、何をやっても探索ノードが増えてしまう。
自分はオセロ弱いので、必勝法みたいに言われているものが、アバウト的に最善手に
近い手を選んでくれるんなら、並び順の優先順位計算に、あるウェイトで入れてみようか
的に考えるだけでした。意味とか深く考えるよりやってみるという感じでした。が、最後に
残った２つの空所が偶数と奇数とかの例ならわかりやすいけど、空所が４〜５か所ある
ような状況で偶数理論を当てはめようというのが間違いなのかなぁと。
あと、薄々思っているんだけど、テストケースとしてFFOは良くないんじゃないかと（汗
FFOに最適化してると、もっと出現頻度が高い例題でより高速化できる可能性を放棄
しちゃっている事にならないかと。
- 339 名前：310 mailto:sage [2015/10/17(土) 09:29:41.90 ID:uZH1KzRS.net]
- 最終２手高速化したあたりから、ノード数が過小になっていたので、それを直しました。
自分のと比較すればよいかと思って放置していましたが、そろそろちゃんと比較しようかなと。
結果、探索ノードが思っていた以上に多かった事、そしてNPSは９〜１１K出てるので、
NPSを落としてノード削減する余地があるという結果に。
あまりテストしていなかったFFO#41と42ではzebra方式と呼んでいた（後述）方法が、自分の
中では最速で、MTD(ｆ）の結果があまり思わしくない事も。MTD(ｆ）の#40は初期条件が良か
ったからの模様。
ここらへんでもう一度、zebraサイトのFFOテストページにあるcomplete logなるものを見て
みると、全然違う。バージョン違いなのか、やってる事が全く違う。
浅い探索をしてｆを決めてNull window search（正確には幅３なので正解が判別できる）
を繰り返しているように見える。けど、ログ上に％が出てきて、９８％、９９％、％無しみたい
になっているので、何らかの方法で前向き枝刈しながら、評価値を求めていき、最後まで
幅３の探索しかしていないのかな。こういうのをPVSって言うのかな。
浅い読みとか、前向き枝刈とか絡んでくるんなら、中盤探索をやってから戻ってきた方が
よいのかな。。
- 340 名前：名前は開発中のものです。 mailto:sage [2015/10/19(月) 09:50:52.09 ID:BMJ9Bhec.net]
- とりあえず、ざっくり中盤探索のnegaScoutを組んでみた。
素の状態で１０手読みくらいなら１手１０秒以内に終わりそうな感じ。
だけど、いろいろと気になる点が。
とり同一局面から着手可能な手の評価値の順番は、あまりくるっては
いないように見える。ただ、評価値事態は結構ずれている。
そして、黒番白番で精度が全く違うように見える。
言われてみれば、同一局面でも手番が逆転すると評価は全く変わるからなぁ。
今は、手番も一つのパラメータにしちゃってるから、その差異は埋められない。
パラメーターとか評価関数の区分とか再考の余地があるんじゃないかと。
前向き枝刈するにしても、評価関数がフィックスしないとダメじゃないかと。
というわけで、しばらく評価関数方面で時間つぶしかなぁ。
- 341 名前：名前は開発中のものです。 mailto:sage [2015/10/26(月) 09:44:35.41 ID:uWG/Yjb0.net]
- 中盤探索に入るにあたって、評価関数の計算の試作をいろいろしているんだけど、
いまいちぱっとしない。１００回学習で１晩かかるし、３００回試行くらいしないと傾向が
見えてこないので、時間がかかる。
で、仕方ないので、裏で序盤定石を作り始めてしまった。
こちらも棋譜ベースで作ろうと考えている。
そこまで来た時に、データベースのどういうデータが使いたいのかが、逆にはっきりして
来て、今使ってる３６０万件棋譜の中のデータを選別しようかという方向に傾きつつあります。
が、やっつけで作って中身が思い出せないフォーマット変換のプログラムから直さなきゃならん。
開き直って、もう１度、データ変換から作り直そうかなと・・・
- 342 名前：310 mailto:sage [2015/10/30(金) 17:31:41.23 ID:uxyAnbEX.net]
- 棋譜ベースで序盤２０手の定石DB作った。
定石DBは置換表をベースに作ったので、検索は速いけど、容量が大きい・・・。
簡単にαβで２０手探索してみた。
ネットで調べた定石集に載っていない手筋が出てきてしまった。むむむ。
５手目までエビ系で、しかも石差＋２で黒勝ち。棋譜が偏っているのかな。
棋譜は例の５０万棋譜計画の奴で１０手目、２０手目以降を訂正したというデータ。
明らかに壊れたデータが入っていたりと、何かと使いにくい箇所があるデータだけど、
定石DB作るにはこの量でも足りないのかも。
定石探索用の簡易版minMaxを作りながらつらつら考えていたら、終盤探索の
moveorderをもっと良くする方法を思いついた。評価関数の精度次第だけど。
新評価関数は、途中でうっかり仕込んだバグで遅延。ようやく原因が見つかって、３００回
試行まで来た。もうちょい収束させたいけど、テストに使える程度にはなってると思う。
- 343 名前：310 mailto:sage [2015/11/08(日) 00:32:40.41 ID:LMw8+3qF.net]
- moveorderを早くする方法というのは、事前に軽く探索した手順を保存し、その手順から
優先して探索するというもの。理論的にはscout missがゼロになる。
探索した手順を取り出す仕組みが必要になるので、その辺を改造しようと思ったところで、
悪い癖が出てしまいました。Cベースのソースを一旦棚上げして、C++ベースのクラスを
利用した形で一から作り直してしまいました。
moveorderの配列をvectorに変えたり、unordered_mapを見つけたので置換表に使って
みたり。置換表は、システム任せにして動的にメモリ確保に行かすと、探索ノードの減少
以上に速度低下して使えない。最初からある程度メモリ確保させようとしているんだけど、
いまいち設定がわからない。動的にメモリ確保するので、速度のバラツキも大きい。
そもそもC++は初めてなので、目的がオセロからC++というかunordered_mapの習得に
なりかかっていたので、一旦棚上げして、配列ベースの自作ハッシュの置換表に戻る
方向にしました。
とはいえ置換表を外してもnode/secが5kくらいしか出ていないので、実装が悪いところもありそう。
というわけで完全に寄り道しちゃってます。
- 344 名前：310 mailto:sage [2015/11/12(木) 16:56:19.10 ID:4hPfHY6k.net]
- ようやく、C++ベースの終盤探索（negaScout）が、Cベースより若干速くなりました。
・unordered_mapの速度のバラツキはデバッガー上限定。
実行ファイルでも多少ばらつくけど、メモリ効率＆メンテナンス性からunordered_mapを採用。
・探索した確定手順を返す方法の検討で苦戦。
negaScout＋置換表では原理的に無理と認識するのに時間を要しただけでしたorz
置換表無しnegaScoutかnegaMax＋置換表では、後者の方が高速。
・確定手順を元にmoveorderする改造の効果は限定的。
moveorderで先頭にする処理が重い模様。適用範囲を狭めて行くと１〜３手で同等の速度。
・ハッシュキー生成簡素化で若干速度アップ。
・その他、細かいスピードアップ。
確定手順の導入で５０％以上速度アップを目論んでいたのですが、無駄な努力でありました。
一応、与える確定手順の数はマクロ定義で可変できるようにしてあります。
評価関数も修正を加えたいので、データ変換部からまた作り直しです。
目標も無しに同じ事２回やるのは面倒だなぁ。
- 345 名前：310 mailto:sage [2015/11/19(木) 14:23:44.03 ID:W/V+CKXD.net]
- 定石部分もクラス化が終わりました。クラスなんての扱うの初めてなので、もうちょっと
綺麗にできたかなと思う面もありますが、C++習得が目的ではないので。
終盤確定読みは０．０５秒刻みで速度アップ。FFO#40で２．３秒になりました。
今まで、速いプログラムでは３０手目くらいから勝敗判定を始めると言う記述を読んで、
なんて速いんだと思いつつ、何に使うんだろうと思っていましたが、ようやく腑に落ちました。
オセロというゲームは勝敗だけが問題で、勝つんなら２石差で十分。「少なくとも負けない
手」というなら、(-1,0)のNull windowで探索してβカットされた手を選べば良い。評価値は
不定（これより良いという値）でも負けない手であるという点では「確定」手順です。moveorder
が正確なら、極端に石差を減らす手も選ばない。これなら現状でも２５手ちょいくらいは行けそう。
ただ、これは勝勢の時の話で、敗勢の時の評価値は「これより悪い」という数字だし、
逆転は相手のミスに期待するしかなく、相手も同等のロジックのAI相手だと必敗となる。
結局定石段階で勝負がつく事になります。
今、定石DBは３０手を前提に組んでいますが、３１手目から勝敗判定ができるんなら、定石
を外れない限り中盤探索が不要になり、定石から外れた時にのみ中盤探索が必要になる。
つまり中盤探索は対PC戦では重要度が低く、定石が切れたら、即、終盤探索が始まる。
そもそも評価関数が良ければ、中盤もあまり深く探索する必要がないわけで。
深く読む意味って、なるべく評価が正確なステージを使いたいからなんだなぁと。
というわけで、次はそろそろ中盤探索です。Multi Prob Cutの英語論文を読まねばならぬ・・・。
- 346 名前：310 mailto:sage [2015/11/21(土) 00:05:47.02 ID:WWzrsUCT.net]
- 定石DBを使って３０手目まで着手した盤面の予想石差が２で勝ち判定だったので、
試しに３１手目から勝敗判定をしてみました。
(-1,0)のNull windowで７分３０秒ほどで解けました。
（参考）勝ちと引き分けを区別するために(-1,1)で計算すると９分３０秒ほど。
探索ノード数がintではオーバーフローしてしまった・・・。
これから、３３〜４手目（残り２６〜７手）くらいで、１０秒程度で解けると予想されます。
勝勢ならこれで良いのですが、敗勢の時は、初段がβカットされないので１０倍程度
時間がかかる。そうすると、残り２５〜６手目くらいが勝敗読みの限度かなと。
もっと高速化が必要なのか。それとも、何か発想の転換ができるのか。
- 347 名前：310 mailto:sage [2015/11/23(月) 21:01:42.47 ID:24rahmZ0.net]
- ProbCutとMultiProbCutのBUROさんの論文あらかた読み終えました。
最初、MPCの方から読んでちんぷんかんぷんだったので、ProbCutを読んで、
戻って来て、ようやく実装のイメージが湧くところまで来ました。
というか、この発想に至る道具立てや考え方は、既に揃ってた感じ。例えば>>323とか。
これ>>345-346の勝敗判定の高速化に使える気がする。相手側の手番では
前向きカットしないようにすれば、相手の反駁手を見逃さないからいけるんかなと。
あまり深い読みで使用するとパラメータ作りでしばらくPCを占有しそうだけど。
カットペアは結構アドホックに決めているのかな。各組合せを総当たりで調べても、
σにそんな差があるとは思えないし、特異的に良い組み合わせがあるとも思えないし、
むしろ読む深さの差が増えるにつれてダラダラとσが大きくなって行くだけじゃないか
と思う。毎深さごとにMPCしてもオーバーヘッド負けになるだろうし、再帰的に使う事を
考えたら、２＾ｎ＋αで４，８，１２，１６，２０，２４ってな感じで良いのかな。
- 348 名前：310 mailto:sage [2015/11/25(水) 22:32:57.73 ID:APRE5Y1F.net]
- 条件を決めて簡単にMPCパラメータの計算プログラムを作って検証してみました。
３０手目の時点（深さ３０）の時の浅い探索０〜１０手でMPCパラメータを計算してみました。
例の３００万件棋譜の３０手目以後完全読み（らしい）１９０万件ほどのデータからランダム
に２００件ほど抽出して使用。
結論）δが１０石、R-2が０．７未満という状態で、とても使えたものではないという事に。
ただ、３５、４０、４５手目時点からのカットを試す価値はあるかも知れない。
一方、３０手目の時点で、深さ１０の探索に対して、浅い探索６までで計算すると、
浅い探索４手でδが２石、R-2が０．９３１、浅い探索６手でσが１．５石、R-2が０．９６２
程度と、まずまずの結果に。これが、論文通りの使い方。
当たり前だけど、こちらは十分使えそう。ただ、結局深い探索に対して浅い探索の深さを
決めるのに、全パターン試すしか無いという。まあ、BUROさんのマネしちゃえば良いけど。
あと、中盤読みのプログラム、やっつけで、終盤探索の手順作成用の浅い読みプログラム
転用したんだけど、これnegaMaxなのよね。negaScout＋MTD(f)にするなり、もう少し、
素の高速化をしないとパラメータ計算が大変。
- 349 名前：名前は開発中のものです。 mailto:sage [2015/11/29(日) 22:05:16.61 ID:gx8DmdDE.net]
- googleとかfbが囲碁のAI作ってるが、どんなもんなの
- 350 名前：310 mailto:sage [2015/12/02(水) 23:21:25.70 ID:Xp/MZwxE.net]
- とりあえずMPCの仕組と終盤探索用のパラメータだけ作り、終盤探索と勝敗判定に
適用してみました。
勝敗判定は３１手目から。浅い探索は残り手数の1/3。T=1.5で時間短縮が微妙な感じ。
終盤探索はFFO#40でテストしたところ、T=1.5だと途中で正解着手がカットされている
模様で、T=2.0で正解。T=2.0だと時間変わらずみたいな微妙な結果に。
もう一度、MPCの論文を良く読んでみましたが、どちらかというと評価関数の精度の差
の方が大きい様子で、もともと標準偏差が倍近いので、そこを何とかしなきゃならんと。
論文を良く読むと・・・評価関数に確定石はおろか、mobilityも使っていない。使っている
のは、パリティー（手番）だけで、ここは自分の方が精度が良い方法のはず。という事で、
急きょ評価関数の説明変数をパターンだけにして再計算に着手しました。
とはいえ、書いてある学習係数があまりに違いすぎるので、自分がバグってる可能性も。
また、ネットでBUROさんのパワポ資料（２００２年）みたいなのを見つけて読んでみると、
「selective endgame search」と称して、MPCの終盤探索への応用がサラっと書かれて
いて、「いまどきの強いオセロプログラムはみんなやってる」との事。iterative deepingを
前提にしているのでmoveorder作成で使ってるのかなぁ。正解着手だけ与えても速度アップ
は限界があり、正解以外着手のnull window searchの時間がバカにならないので。
あと、中盤探索は（１７，５）というカットペアの記載あり。zebraのFFOのログでは中盤探索が
2.5ｋNPSなのに対して、僕のは250MPSと、速度が1/10なので・・・深さ１７はしんどいかなと。
ちょっと期待しているのは、前述のとおり確定石計算を評価関数で使用しなくなったので
その分は速度アップしていないかなぁと。
評価関数の再計算を始めてしまったので、しばらくは中盤探索が動かせません。
というか、本当にLRの計算があっているのか、バグは無いのか、不安になる…
- 351 名前：名前は開発中のものです。 mailto:sage [2015/12/02(水) 23:37:59.26 ID:Xp/MZwxE.net]
- >>349
囲碁オセロ板の該当スレで聞いた方が良いかなと。
コンピューター囲碁ソフトについて語るスレ30 [転載禁止]©2ch.net
kanae.2ch.net/test/read.cgi/gamestones/1447640768/
- 352 名前：310 mailto:sage [2015/12/04(金) 23:35:12.62 ID:DNSRUk3b.net]
- 結局、確定石が評価関数の誤差の大きさと、収束性の悪さの原因だったみたいです。
前半から中盤はmobilityのウェイトが大きそうなので、とりあえず復活させてみました。
あと、スムージングは、あるステージで出現しなかったパターンが隣接ステージにある
可能性も考慮し、ウェイトがゼロのパターンを減らす目的もあるようです。
実際、２００試行ちょっとでかなり誤差が減ったのですが、FFO#40で試すと途中の評価値
のバラツキというか、極端に０に近い局面が現れて、２σ以上の差異が簡単に出てしまい
ます。そこで、ちょっとだけスムージングを入れて、かつデバッグ段階ではウェイトゼロの
出現をアラームできるように改造しようかと思っています。
評価関数の重要性を痛感しています。しばらくは、ここで悩む事になるのかなぁ。
最低でも３００試行するとなると３日かかる。
- 353 名前：310 mailto:sage [2015/12/05(土) 23:27:03.86 ID:VLRyPTJJ.net]
- モビリティーも収束悪化の原因でした。
確定石の数にしても、モビリティにしても、ある程度大きな数字が出るものがダメっぽいです。
評価パターンとウェイトを確認できるようにして、FFO#40〜41の完全読みに登場する盤面を
チェックしましたが、ウェイトゼロのパターンは出現していないようです。
評価値が大きくぶれるところがありますので、スムージングを入れてみて計算開始です。
- 354 名前：310 mailto:sage [2015/12/07(月) 10:00:41.29 ID:JSVZKjkd.net]
- スムージングも外してみたら、Buroさんの論文なみ（か、それ以下）のσが出そうな
感じになってきました。収束が良いのでβも大きくできたし、その後の計算でも工夫を
入れたので、Buroさん論文みたいに３００回試行で十分なレベルになりそうです。
ウェイトゼロのパターンはありました。FFO#40の５０手目のCORN２ｘ５に１つ現れます。
現在selective endgame searchがどんなものなのか、想像を膨らませています。
iterative widening endcutのイメージがなんとなくつかめてきました。
ソースを探して見ちゃえば早いんだろうけど、面倒だし、想像だけで頑張る。
MPCが動いたら、solver改造して、本当に速くなるのか確認する。
- 355 名前：310 mailto:sage [2015/12/10(木) 23:16:49.62 ID:lQAJMVKx.net]
- 結局、評価関数は１０００回試行までやってます。
β・1/Nでやってるけど、それだと収束が遅いので、１００回試行ごとにβを倍々に。
１０００試行目で発散するステージが出たので、βを下げて最後の１００試行を実行中。
その間、反復深化などで使えるように、置換表を改造。前回評価範囲をmoveorderで
再利用します。いちいち消しているとメモリ解放で時間がかかるし、全データを入れたまま
用途をキーで区別すると、使用時に選択する事になりオーバーヘッドが気になるので、
一番新しい評価値をひたすら上書きし、置換表として使用する時のみ、今回探索か
区別するようにしました。moveorderで若干割り切った作りです。
同時に中盤探索（MPCなし、反復深化）をちゃんと作ってみました。MPC計算で、結構深い
深さまで探索する予定なので、反復深化が上手く機能するようなMPC計算ロジックを考え
ようと思っています。
それができたらiterative wideningのテストをしてみようと思います。
- 356 名前：310 mailto:sage [2015/12/11(金) 22:32:36.55 ID:c1YdnEjo.net]
- あちゃ。ウィンドウ幅１でiterative wideningやると、正解着手もβカットされた手も
置換表の値が全部同じになって、次の探索でmoveorderが意味なしになって、
速度が大幅低下する事が発覚。
仕組み考えないと・・・。
- 357 名前：310 mailto:sage [2015/12/13(日) 23:14:55.34 ID:RUGsIY6w.net]
- 一応回避したけど、MPCの速度向上は限定的。
中盤探索というか評価関数が驚くほど遅いのだろうという結論に。
放置していた中盤探索の素の高速化に入ります。
１か所ネタはあるんだけど。
- 358 名前：名前は開発中のものです。 mailto:sage [2015/12/18(金) 00:28:56.19 ID:ht2BaviT.net]
- 中盤探索で２か所改良して、速度は２倍にアップ。まだzebraの６掛け程度の速度です。
終盤探索のiterative wideningを想像しながらテストするも、いまいち速度向上が望めない。
MPCのカット基準を緩めながら（widening）、置換表にmoveorderを貯めていく事でβカット
をどんどん起こさせて、最後の完全読み時点ではほぼ完ぺきな順序に並び変える事で
高速化を実現する方法だと想像しているんだけど、違うのかなぁ。
そんなこんなでやけくそ気味に、浅い探索（１１手読み）＋negaScout(-∞,+∞)を試したら
FFO#40で1.93秒という最速タイムが出てしまった。MPCもMTD(ｆ）も意味なしorz
#41,#42もこの方法でかなり高速化したけど、それでもまだzebraの方が速い。
- 359 名前：310 mailto:sage [2015/12/20(日) 17:21:06.88 ID:UpZkem/K.net]
- 中盤探索で改良をしたらかえって遅くなるを繰り返してます。
で、やけくそ気味にmoveorderの「置換表がない時」の計算値を、簡素化してみたら
中盤探索の速度そのままに、終盤探索部分の探索ノードが減少して高速化。
終盤探索部分も同様に簡素化したら、FFO#40で1.75秒以下になりました。
それでも相変わらず#41/42はzebraがずーっと早い。
で、MPC使うと遅くなる理由を考えていたら、いま使っているMPCのセットは終盤探索用に、
残り手数と浅い読みのセットを独自パターンにして計算した奴だと言う事を思い出した。
深い探索のスコア＝終局のスコアとなり、深い探索が不要になるので。
中盤の高速化するネタももう出てきそうにないし、先に進むか・・・
- 360 名前：名前は開発中のものです。 mailto:sage [2015/12/23(水) 11:41:36.91 ID:Acs4Om0o.net]
- iterative wideningって詰め碁用のアルゴリズムっぽいけど違うの？
310の言ってるのってただのAspiration Searchか何かに見えるけど
てか置換表にmoveorderを溜めるとはどういう意味だ
- 361 名前：310 mailto:sage [2015/12/23(水) 16:26:13.00 ID:MLtsaD3t.net]
- どもです。
Ｂｕｒｏさんのパワポっぽい資料に名前しか書いてないので中身がわかりません。
わかっているのはＭＰＣと併用するらしいことくらいです。
iterative wideningで検索すると確かに碁の関連の英語論文がヒットしますね。
関係なさそうだと思って放置していましたが、ちょっと見てみようかなぁ。
置換表云々は、僕の想像です。
αβを前提にしたアルゴリズムで高速化するネタの一つに、moveorderを工夫して
βカットが起きやすくするってのがあると思います。
反復試行する際、置換表には前回の評価の範囲が入っています。
それを今回探索のmoveorderの並べ替えに利用しようというものです。
反復深化なんかと同じ考え方です。
逆に言うと、反復を前提としたアルゴリズムで高速化するネタが、それくらいしか
思い浮かばないのです。
- 362 名前：名前は開発中のものです。 mailto:sage [2015/12/23(水) 20:37:25.92 ID:Acs4Om0o.net]
- ああ、オーダリングに以前の探索の結果を置換表から引いて使うってことか
置換表に順列か何かを放り込んでいくのかな？とか思ってしまった
bitboard + NegaScout + 置換表 + MPC + 評価関数とマージンの学習
をやってるっぽいのはわかったけど、とりあえず定番どころは全部入れてるのかな
NegaScoutで最初のノードを探索するときに、
探索窓を(-inf, inf)で探索せずに、前回の評価値eを使って
(e - d, e + d)で探索して、失敗したときに限り窓を広げて再探索するのがAspiration Searchだけど
もうやってるかな
あとCPUのSIMD命令使ったり、並列化したりとかはめちゃ効果でかいよ
- 363 名前：310 mailto:sage [2015/12/23(水) 22:38:37.71 ID:MLtsaD3t.net]
- >>362
ご助言ありがとうございます。
MPCはまだ途中ですが、そんな感じです。
終盤ｎ手高速化の類もしています。中盤探索だと葉に近いところで置換表外すと、
著しく速度が低下するので、最後まで置換表を使っています。
で、中盤の速度がいまいちで１２手読みくらいが実用範囲って感じです。
MPCでｄ計算に１００棋譜くらい試して一晩で計算できる範囲は１３〜１４手くらいが
限界な感じです。そろそろMPC計算しちゃおうかと思いつつ、まだ悶々と中盤探索で
どこか高速化できないかトライ中です。
SIMD命令はコンパイルオプションでそれらしい場所があったので、設定してみましたが、
速度変わらずで放置しています。どうやって使うものなのでしょうか？
そもそも、組込関数のpopcountとかbitscanで64ビット版が使えずに放置してる状況です。
並列化はMPCが終わって、一通りオセロの形にしてから、次ステップで勉強しようかと
思っています。
アスピレーションサーチは、１σは±７〜８手なので試しに±８の幅にしてテストしてみた
ところ、確かに若干高速化できている様子です。mtd(f)は下から寄っていく時はβカットが
効くのですが上から寄っていく時は遅いので、一発目で探索できる確率を上げつつ、
ある程度幅を絞るには、このくらいがちょうど良い感じですね。
- 364 名前：310 mailto:sage [2015/12/24(木) 20:33:24.09 ID:zDiJT168.net]
- ちと調べてみました。SIMD命令はx64でコンパイルしている時は、設定しなくても自動的に
使うようになっているみたいな説明を見つけました。
並列化とかベクター化とかもコンパイラが自動でやってくれるみたいですが、レポート出し
たら確かに一つも対象になっていませんでした。評価値算出とmobilityの２関数は、なんか
効きそうな気がしますので、少し悶々とトライしてみます。
また、_mm_popcnt_u64と_BitscanFoward64は、今やってみたら、何故か使えました。
色々とコンパイラのオプションをいじったのが原因かなぁ。謎。
多少速度アップした模様です。
アスピレーションウィンドウはｄの計算しなきゃと思っていましたが、よくよく考えたら、
評価関数の計算時の誤差ログが残っていますので、そいつでパラメータ作成してみます。
と、久々にFFO#43まで時間計測したところ、#43で答えが違ってる。
数か月前に最終２手高速化をいじった時にバグを仕込んだ模様です。
調べようとdebugモードにしたら64ビット組込関数が使えない。
やっぱりコンパイルオプションのどこかみたいですが、わからない。
だんだん問題が発散してきて、頭の切り替えが追い付かなくなってますorz
- 365 名前：名前は開発中のものです。 mailto:sage [2015/12/24(木) 20:53:24.01 ID:DG4HDn4P.net]
- pop_cntはめちゃめちゃ速度上がった経験あるが（三割アップ）
オセロだとそうでもないのかな。
- 366 名前：310 mailto:sage [2015/12/24(木) 22:56:29.36 ID:zDiJT168.net]
- _mm_popcnt_u32()はすでに使っていました。u64が使えなかっただけです。
u32→u64で３〜５％くらいの高速化になっています。
困った事に、debugビルドの側では、まだ64bit版が使えていません。
debugを使いたい時は32bitに直さないといけない。
コンパイルオプションをいろいろ見比べていますが、どこなのかいまだにわかりません。
#43は最終２手なのか１手なのか、どちらにバグがあるのか切り分けようとして
ソースいじっているうちに直ってしまいました（汗）。
- 367 名前：名前は開発中のものです。 mailto:sage [2015/12/25(金) 15:25:23.28 ID:skIhqDAd.net]
- >>364
コンパイラの自動ループ展開（あんま賢くない）に限らず、
手動でAVXだのSSE命令だの使えるところは使ったらという話
あとMPCは本質的に前向き枝刈りなので、過激に刈りすぎると答えがずれる可能性はあると思うけど
（バグの原因は当たりがついているようなので関係ない気がするが
- 368 名前：310 mailto:sage [2015/12/26(土) 11:23:54.66 ID:2a5cp76f.net]
- どもです。バグったところはMPC使って無い箇所でした。
コンパイラの自動ループ展開は上記２か所で試してますが、なかなかうまく行きません。
なんとか依存関係を解消してループ展開強制すると劇的に速度低下する状態です。
その代り、いろいろググっていたら、BMI命令を見つけて、BLSIとPEXTを使ってみました。
速度バランスが変わったのでパラメータで置換表適用範囲を狭めるなどもしましたが、
FFO#40で1.55秒前後まで高速化できました。中盤探索も高速化はしているはずですが、
数％程度の改善というところでしょうか。まだ５０％は高速化したい状態です。
色々アドバイスいただいたお蔭で、ようやくSIMDまわりの使い方がわかってきました。
ここまで来ると、BITBOARD操作の関数の見直しをしたくなりますね。
中盤探索の一番重い部分なので。
- 369 名前：310 mailto:sage [2015/12/28(月) 10:45:49.88 ID:i0yT273K.net]
- デバッグモードでu64系の関数が使えない件、解消しました。
MTD(ｆ）に代えてアスピレーションウィンドウを採用しました。
中盤探索は、隣の評価値をたどっていくと、かえって遅くなるのでnegaScoutだけで
探索していましたが、これでMPC計算が多少高速化できそうです。
MPC計算はまだしていません。反復深化でどのくらいの深さの探索で、どのくらいの
件数なら実用的に計算できるか試行しています。１４手読みまでは行けそうですが、
１５手だと厳しいかなぁという状態。２０手付近では盤面によっては、探索ノードが爆発的
に増えて、時間のバラツキも大きいです。
また、FFO#40-44の完全読みを計測しました。zebra比で#40は圧勝、#41-42は引き分け
ですが、#43-44は完敗。理由は#43-44は正解となる初手が２つあるためで、#43は１０秒
以上かかってます。むむむ。
- 370 名前：名前は開発中のものです。 mailto:sage [2015/12/28(月) 21:28:38.25 ID:kMgyHY3u.net]
- オセロ完全解析は何年後くらいになりそうですか？
- 371 名前：310 mailto:sage [2015/12/29(火) 02:31:09.04 ID:F/Ba7yoX.net]
- ちょっと一括変換操作を誤って大変な事になっていました。一通り直していたところ、
FFO#40で1.45秒程度が出るようになってしまいました。多分、修復がてら置換表登録・
検索関数の変数の並びを、整列したのが効いたのだと思っていますが、びっくりポンです。
前回課題の正解着手が複数あるケースですが、MTD(ｆ）のような評価値決め打ち系の
探索では、ぴったりの答えが見つかった時点で、ほかの手を探索する必要が無い事に
気づき、直してみたところ、FFO#44は速度アップしました。が、#43はまだ駄目です。
とはいえ、#43は浅い探索の評価値が外れすぎて時間がかかっているような感じなので、
浅い探索の深さを残り手数で調整すると直りそうな気がしています。
あと、FFOテストの全データをテストできるように登録しましたが、#59を見て、はたと、
途中全滅時のスコア計算が違う事に気づきました。自分のは一番単純なアメリカルール
です。ここを直すと、確実に時間が遅くなるような気がしますが、明日直してみます。
てな事をやって、一晩に０．１秒（比率にして７％前後）も短縮していると、まだなんか
やる事があるんじゃないかと・・・。
- 372 名前：名前は開発中のものです。 mailto:sage [2015/12/29(火) 03:05:56.17 ID:rs+91GZQ.net]
- 結局MTD(f)をやってるのかやってないのか意味わからんな
- 373 名前：310 mailto:sage [2015/12/29(火) 10:25:40.74 ID:F/Ba7yoX.net]
- って、βカットしない事を確認しなきゃきゃいけないから、ぴったりの答えがあっても
全手を探索しないとダメじゃん。すんません。
- 374 名前：310 mailto:sage [2015/12/29(火) 10:52:28.77 ID:F/Ba7yoX.net]
- >>372
やったりやらなかったりで、いろいろ比較して試してます。
MTD(ｆ）では、ワーストケースではウィンドウ中心が評価値の最少単位で動く関係で、
１石以下の少数計算をする中盤探索では、よけいに時間がかかる事が多いです。
そのため、アスピレーションウィンドウ導入前はただのnegaScoutにしてました。
終盤探索は、最少単位が１石になりますので、許容範囲です。
MTD(ｆ）もアスピレーションウィンドウも、所詮本チャンのnegaScoutを呼び出すための
ドライバーにすぎないので、どちらも用意して、何かの折に速度比較しています。
今回は、ボツりましたが、ぴったりの値が見つかったら後の探索を省略する際には、
MTD(ｆ）の方がマッチングが良かったので、そうしました。
ボツになりましたので、またアスピレーションウィンドウに戻りましたが。
#40ではzebraよりはるかに高速化できましたが、#43など遅いケースでは、数倍の時間が
かかります。こういうタイプの時間差は、単純な高速化じゃなくて、何らかのアルゴリズム
の違いがあるのかなと想像しています。
- 375 名前：310 mailto:sage [2015/12/30(水) 00:01:33.75 ID:lfikhn/D.net]
- 結局、本日は探索速度アップばかりやってました。
中盤探索というか評価関数の計算でBMI2命令を徹底的に使ってみました。
また、ボードの回転操作系も見直しました。
１０％程度は高速化できたと思います。でも、期待したほどではなかった。
あと、速度アップするなら、ボードの対角線転置かなぁ。あと効果は微妙だけど、１８０度
回転がビットオーダーの逆転なので、これも何か組み込み関数があったらうれしいなと。
終盤探索では、FFO#59問題に対処。
スコア計算の修正と、全滅など６４石の差がついた時に、βカットと同様に後続の探索を
パスして時短。minMaxで言うところのα値の更新があり得なくなるからです。
浅い探索が１１手だと３秒程度で解けるのに、１５手だと６０秒かかったりと、いまいち動き
に納得がいかないので、まだ何か問題があるかも知れません。
中盤探索をあと５０％は高速化したいなぁ。というか、zebra見てるとできるはず。
- 376 名前：310 mailto:sage [2015/12/31(木) 21:04:10.05 ID:i5TR43+g.net]
- 2015年の年の瀬は、MPC計算のメモリーリークの原因探しで更けていく・・・
置換表クラスあたりっぽいんだけど、デバッグの仕方が良くわからないという・・・
- 377 名前：310 mailto:sage [2015/12/31(木) 23:46:42.84 ID:i5TR43+g.net]
- ギリギリ１２時前に直った。
メモリリークではなく、不正なアクセスでした。
多分直ったと思う・・・
来年の抱負は、MPCの計算をする事と、GUIを作る事です。
元々VBのGUIからDLLで呼び出すつもりでしたが、なんとなくC++でやってみようか
という気になってきています。
- 378 名前：310 mailto:sage [2016/01/03(日) 11:08:48.54 ID:3YPfF+nL.net]
- バグは解消してました。なんとも不可思議な事になっていました。
スタック領域を破壊していて、破壊された箇所がたまたまdepth（残り探索深さ）だったため、
探索深さがマチマチになってました。計算時間やメモリ使用量が異常になる以外は、そこそこ
それっぽい探索結果が出ていたため、メモリリークだと思ってしまったという。
中盤探索の置換表適用範囲も、ちゃんと効くようになって深さ１１〜１２まで置換表を使用
するのが効果的と出て、探索値のバラツキもそこそこ揃って、探索時間も予想できる範囲に。
メモリ使用量も安定しました。
ある棋譜に対し、２０手目から終局まで順に、深さ１〜１７の探索を、反復深化を活用しながら
探索値を求めるプログラムを用意して、１４棋譜を対象に実行したところ凡そ７時間で完了。
速度的にはこんなものかなぁという感じ。もっとも、深さ１７だと結構、探索時間・ノード数の
バラツキが大きいので、１０件前後だと終了時刻もバラツクはず。
とりあえず、棋譜からランダムに１０件程度を抽出し、この探索結果を貯めていくところまで
作りました。トータル１００件程度集めれば、MPCパラメータ計算には十分だと思う。
探索結果を貯めてあるので、毎晩１０件くらいづつ追加し、直説法で都度パラメータ再計算
して精度を上げていく事ができる。
- 379 名前：310 mailto:sage [2016/01/04(月) 22:22:10.63 ID:1p46+Vgy.net]
- MPCのための探索データ蓄積の間に、並列処理について調べてみました。
VC++だとopenMPとPPLってのが使えるみたいです。
?concurrent_unordered_mapが便利そうなので、PPLにしよううかなと。
で、脳内コーディングであれこれ考えていたら、AIの中でBoardクラスを参照渡しして、
差分型で盤面を進めたり戻したりしているのが、とても並列処理と相性が悪い事に
思い至りまして・・・。コピー型に戻して、何をクラス化するのかとか見直してみようかと
言う事に。
多分数日がかりになるかなと。
- 380 名前：名前は開発中のものです。 mailto:sage [2016/01/04(月) 22:36:46.74 ID:iMclxIQO.net]
- Boardはスレッドごとに持てばいいんでない
スレッドを生成するときだけコピーすれば
- 381 名前：名前は開発中のものです。 mailto:sage [2016/01/05(火) 01:07:47.45 ID:UyX0E5Wd.net]
- 自分の場合は将棋作ってて、並列にしたけどstockfishのソースとか参考になるよ
スレッド待機させてノードの終わりの方で判定して、OKなら分割させて
そこで上でも言われてるけど、盤の情報をコピーして走らせるの
自分は盤面作成とか更新巻き戻しなどを最初スレッドとか考えてなく直にアクセスしてて
全てポイントにからに変更するのが、かなりだるかった
- 382 名前：名前は開発中のものです。 mailto:sage [2016/01/05(火) 20:35:26.92 ID:zrGyzNpa.net]
- へーこのスレって意外と人いるんだなぁ
将棋作ってる人がいるとは驚き
- 383 名前：310 mailto:sage [2016/01/09(土) 02:12:28.10 ID:GhyCVx1P.net]
- どもです。
とりあえず、コピー方式に変えてましたが、変にバグを仕込んだりして、時間がかかって
ました。ようやくデバッグもあらかた終わったのですが、まだ原因不明・解釈不能な速度
差があって、終盤探索のみ速度が１０％以上低下した状態です。
というか、コピー版を書きながら気づいた箇所を、ボードクラス版にも反映すると、ボード
クラス版が高速化して、差が広がるという。
で、クラス版がFFO#40で１．４０〜１．４２秒になりました。
>>380さん
おっしゃる通りですorz
プログラム直しながら、ネットでVC++の解説をつまみ読みしながらのコーディングに
限界を感じたので、オライリーさんの出番という事で、アマゾンに本を数冊注文しました。
到着待ちの間にやるなら、適当に作っていったクラスの整理統合かなぁ。
あと、openMPのお勉強。
- 384 名前：名前は開発中のものです。 mailto:sage [2016/01/09(土) 02:32:30.66 ID:Uphigh+6.net]
- 最近のvc++使ってるのなら普通にstd::threadでやるのもいいかも
- 385 名前：310 mailto:sage [2016/01/10(日) 01:14:26.88 ID:F6Uvkb4b.net]
- うわ。色々やり方あるのね。
VC++だとPPL、openMP、std::threadか。
PPLについては、逐次処理のまま置換表で使っているunordered_mapをconcurrent版に
変えてみたところ、置換表付探索の速度がおおよそ半分になってしまったので、結構
微妙な印象を持っています。
とりあえずopenMPでどこまでできるか試してみて、気に入らなかったらstd::threadで
細かく制御できないか考えてみます。
先ほど、コピー版で置換表登録に影響するバグ発見。直したところ、FFO#40が1.26秒
とかになってしまいました（汗）。不可思議な速度差の原因はこれで間違いないと思います。
edaxまであと１０倍の速度アップかぁ。並列化で３倍くらいまで詰められないかと期待。
一応、Boardクラスのポインタ渡し版（差分方式）も試してみましたが、今のところ、若干
速度低下しています。もともとの差分方式は、Boardクラスを継承したAIクラスのメンバ
関数として実装してます。
これらの一見無駄な作業も、バグ探し＆逐次探索の速度アップに有効だったという事でorz
- 386 名前：310 mailto:sage [2016/01/11(月) 20:31:40.39 ID:IrhGHm3u.net]
- とりあえずopenMPで並列化トライしてみましたが、コンパイル中に内部エラーになる。
ネットで見ると最適化オプションがらみらしいけど、なんかよくわからなかったのでパス。
PPLを使って、とりあえず並列化のテスト。オセロでは標準的と思われるｎ段YWBCに
してみました。forループみたいな特定の形ではPPLは結構簡単という印象。
バグは一通りとれた状態だと思いますが、FFO#40で１．２５秒が０．８５秒程度になり
３０％強の高速化。あと少しだけソース修正するつもり。
使ってるパソコンは２コアでした。昨夜まで４コアのつもりでいましたが（汗）、２コアなら
こんなものなのかな。
- 387 名前：名前は開発中のものです。 mailto:sage [2016/01/11(月) 21:53:26.50 ID:oLh2eOse.net]
- 2コアYBWCにしてはまあまあ並列化されてるような感じ
もちろんもっと効率化はできるけど
- 388 名前：310 mailto:sage [2016/01/13(水) 13:02:44.01 ID:Yd1pcfW8.net]
- どもです。
コア数２だと、理屈の上では２倍近くまでは速度アップできるのかなぁと思います。
一般的にはどのくらいの倍率をターゲットにしているのでしょうか。
YBWCの適用のパターンをいくつか試しましたが、タスクマネージャーで見たCPU使用率
は、ほぼ１００％になってるので、単純にはスピードアップは難しい感じがしてます。
PPL自身のオーバーヘッドなのか。
PPLは楽ちんだけど、チューニング箇所がなさすぎな感じ。
あと、YBWCやってる以上、YBの着手をmove orderingする意味が無い感じなので、
sortが一つ省けるかなぁというところ。ルートに近いので、あまり効果は無いと思うけど。
ここまで来ると、８コアのパソコン持ってきたら・・・
SIMD拡張命令だBMI命令だを使っておきながら、コア数２で頑張るのもどうかみたいな。
- 389 名前：310 mailto:sage [2016/01/16(土) 09:10:45.76 ID:mjTPCiWE.net]
- PPLはMicrosoftのDeveloper Networkくらいしか情報が無いので、ひたすらリンクを
たどって情報収集してますが、ほとんど機械翻訳で、結局カーソルあてて英文読ま
ないと意味が分からないという・・・
で、排他制御とかいい加減にしていたノード数カウントなどをきちんとして、ソースの見易さ
と効率を上げようと色々と細かく修正。combinableとかcritical_sectionとかInterlockedとか。
と・・・思ったら・・・中盤探索で確率１０％程度で違う答えが返ってくる・・・
並列探査のバグはわかりにくくて時間を食ったのですが、どうもcombinableの動作が変。
期待した動作をしていない。でも、情報が無さすぎで、どこを直せば良いのかわからず、
結局同等の機能を動的配列にしてしまった。
- 390 名前：310 mailto:sage [2016/01/16(土) 11:37:48.70 ID:mjTPCiWE.net]
- 中盤探索を１万回程度回して、違った答えが返ってこない事を確認できました。
ノード数カウントはInterlockedIncrementを使っているんだけど、やはり排他待ちロスが
大きいようで、ノードカウントありだと０．８秒前後、無しだと０．７秒前後になる。
使えなかったcombinableみたいな形にして、一つの再帰関数内はローカル変数で加算
して、最後にまとめて１か所で排他加算するようにしてみようかな。
並列タスクの起動順で、探索ノード数が違ってくる関係で、実行時間のバラつきが±０．５
秒くらいになっている。
- 391 名前：310 mailto:sage [2016/01/18(月) 09:54:27.64 ID:ED4vwFCp.net]
- 結局、ノード数・リーフ数カウントは、戻り値を構造体にして返す方向にて検討。
普段の探索には不要だけど、solverだと表示したいので。
これで完全にローカル変数になり、排他ロスを気にする必要がなくなる。
デバッグ用の置換表回りの統計は、所詮デバッグ用なので、一旦全削除。
必要になったら、こちらは#ifdefで囲って、排他加算する。
で、構造体の形であれこれ悩んでいたら、戻り値をクラスにできる事に気が付いて・・・
あらためてC++すげーと感心中。
けど、かなり全面的な修正になるので、時間食ってます。
まずは中盤探索を修正して、ノード数がおかしくない事を確認。
終盤探索の修正はこれから。探索を使う系の統計処理も変更しなきゃならないけど、
MPC以外は、次いつ使うかわからないｗ
- 392 名前：310 mailto:sage [2016/01/19(火) 00:13:53.27 ID:Dh1WPUXC.net]
- 終盤探索の修正完了。
０．８秒±０．０５秒と、結局、Interlockedでグローバル変数のノード数を加算するのと、
大して時間が変わらないか、もしかしたら微妙に遅くなったかも。元に戻すのが面倒
なので、他で改良点を探すしかないかなと。
- 393 名前：310 mailto:sage [2016/01/21(木) 10:04:20.88 ID:c00KCFqr.net]
- YBWCでは、最適着手手順（PV）のラインで置換表でmoveorderする意味が無いという事
を突き詰めていくと、いちいち前回探索の置換表を引くループを回して、都度最善の着手
を求めるのではなく、前回探索で得たPVを渡せば、時間が短縮できそうな気がしてきま
した。ツリーの浅い部分なので、全体にどれくらい効くのかはわかりませんが。
また、浅い探索などで最適着手手順を取得する時、negaScout＋置換表だと正しいscoutmiss
が発生した時に、nullサーチ時の置換表が適用されて、それ以後のPVが得られないという
事で、悩むところではあります。
まずは戻り値の構造体でPVを返すように改造して、効果を見たうえで、YBWCを適用する
深さでnegaScoutをやめてnegaMaxにするか、それともnullサーチは置換表適用外とするか
どれが良いか試してみようかなと思っています。
できるだけ高い位置で並列化した方が良いという指摘と、置換表もなるべく高い位置で
効かせた方が良いという指摘の、どちらを優先するのかですね。置換表はばっさり探索
をカットできるけど、並列化はカットせずに時短するので、置換表優先かなという気もして
いますが、高い位置でどれくらい置換表が効いているのかもわからないですし・・・。
- 394 名前：310 mailto:sage [2016/01/23(土) 01:31:00.95 ID:0OQfWIYl.net]
- パソコン再起動すると、何かのタスクがCPUを３０％くらい占有してしまいます。
昨日まで快調に動いていたのが突然遅くなって、悩んでいましたが、これが原因のようです。
というわけで、本日は色々改変したソースの速度が計測できずに悶々としてました。
色々すったもんだ挙句、PVラインを渡す形にしましたが、効果があったかどうかは微妙。
色々付け足した事で生じた速度低下はペイしたかなぁという感じで、#40で0.78秒前後。
本格的にネタが尽きて来たので、ここから先は、MPCをきちんと実装してiterative widening
にかけるしかないかなぁという感じです。あと、定数で渡している置換表適用高さなどの
パラメータを、空マスや使用条件で作ると、実用的になるかな。
- 395 名前：310 mailto:sage [2016/01/27(水) 01:18:29.98 ID:IVwAw5rN.net]
- オライリーの並列化本が来たので拾い読みしながら並列プログラミングの勉強。
PPLの各アルゴリズムが何を目的とするものなのかが、少しずつ分かってきました。
抽象化度が高いので、最初のとっかかりとしては良いかも。何故かcombinableが
上手く動かないとか、parallel_reduceの中身がよく分からないとかありますが。
で、並列化できるところを探して速度が上がるか試したり、同じ処理をより綺麗に書き
換えしたりして、微妙に速度アップし、0.70〜0.75秒くらい、ノード数が15M、NPSが21M
nps程度になりました。たまに0.68秒台が出ます。
Edax4.3のFFOベンチの結果を確認したところ、ノード数で１．５倍、NPSで４倍、計６倍の
差があります。NPSをコア・クロック換算しても１．５〜２倍の差があり、ノード数は別として、
まだ速度アップの余地があるのではないかという事で、単品速度アップに走ってます。
ノード数はMPC導入後のiterative wideningである程度追い付けるかなと淡い期待。
いくつか速度アップネタがありますが、サッカー日本代表見ながらでははかどらず。
続きは明日。
- 396 名前：310 mailto:sage [2016/01/29(金) 11:31:08.14 ID:trvaxUQ+.net]
- 先日の速度アップネタはすべて不発でしたが、その際にノード数のカウント漏れを見つけ
て、修正したところ、ノード数は１７〜８Mという感じでした。その際に、最終２手高速化の
箇所でもカウント漏れがあり、まずは正確なノード数を簡便に把握しようと外してみたところ、
意に反して速度低下しないところか、どうも微妙に高速化したように見えまして（汗。
最終３手高速化を試してみたり、最終１手高速化も外してみたり、moveorder適用とか、
そもそもmobilityを求めずに空マスを順に着手してみるとか、その辺の適用深さを変えて
みたりいろいろとやって現時点の最適パラメータにしてみたところ、0.63〜0.68秒、最速で
0.60秒が出るようになりました。
αβカットの効きが悪くなっているため、ノード数は２４〜２５Mとなりました。
その分NPSは３７〜３８Mと速くなっていますが、こんな方向で高速化してて良いのか？
というわけで、ノード数が違う段階でNPSを比較しても意味が無いという事に気が付きました。
- 397 名前：310 mailto:sage [2016/01/30(土) 20:51:37.62 ID:yCKBToEa.net]
- 囲碁がすごい事になってますね。オセロで一通り勉強したら小さい盤の囲碁をやって
みようと思っていたので、モチベーション低下中。とはいえ、ああいうのをオセロに応用
しようとしたら、あそこまでマシンパワーいらないんじゃないかとか・・・。
ここのところ、もっぱらSTLやPPLの機能を綺麗に使う方向での改良ばかりしてました。
pararell_reduceの使い方もわかりました。negaScoutの繰り返しループが綺麗に並列化
できたんじゃないかと。ただ、MAPする件数がしれているので、parallel_reduceではなく
逐次版のaccumlateの方が速いという結果に。あと、時間計測が結構飛び飛びの値に
なるので時間計測関数を精度１msのものに変更。
色々やった結果、若干高速化したうえで、時間のバラつきが消えてくれました。
１００回試行で計測すると610ms±15ms（１σ）となり、逐次処理のほぼ２倍の速度に。
ノード数は同程度で、NPSは40M超えて来ました。このNPSのままノードを半減できれば
良いのに。
- 398 名前：310 mailto:sage [2016/02/07(日) 21:48:19.14 ID:xNqeS9Ve.net]
- ここら辺で、EDAXとかとの速度差の原因を考えたところ、次の２点が考えられました。
１．評価関数の精度が悪い可能性
２．個々の関数で速度アップの余地がある可能性
という事で、１は熟考が必要なので後回しで、速度アップの対象として、flipとmobilityの
高速化を検討。とはいえ、良い知恵があるわけでもないので、ネット徘徊。
現在、ポインタ関数で分岐して処理しているflip関数を１発で処理するopenCLのソースを
発見。Master Othelloの作者のものでEDAX4.3のflip関数を参考にしているらしい。
中身を解読するとベクターを使っている。とりあえず処理を真似て逐次処理で組んでみたら
結構速度アップしました。
解読の過程で、ようやくベクタ化の意味がわかったので、mm256系の命令を使って、
ベクタ化してみましたが、若干速度低下。原因は恐らくlzcntで一回ベクタを抜けてしまう
所だと思うので、ハッカーのたしなみを読んでベクタ演算で組み直してみる予定。
合わせてmobility関数もベクタ化。若干速度アップしたかなという程度。
組み込み関数は使い方が面倒臭いので、演算子のオーバーロードしまくってみました。
flip関数は非ベクタの分岐無しバージョン、mobilityはベクタという状態で、500msを切る
数字が出るところまで来ました。flipのベクタ化ができて、パラメータ調整するともうちょい
良い数字が出るかなと期待。
- 399 名前：310 mailto:sage [2016/02/09(火) 01:09:41.58 ID:MeGl+gwc.net]
- flip関数続き
・lzcntを自前で組んでみましたが、やはり処理が重く速度低下。ボツ。
・右方向と左方向で処理が違うので、片側＋１８０度回転で、同じ処理にしてlzcnt不使用
にしてみたが、１８０度回転×４が重くて速度低下。ボツ。
・できるところまでベクタ化して、lzcnt以後はスカラ計算で、速度若干改善。
・上記からlzcnt後、再度ベクタ化してみたら、速度若干低下したのでボツ。
・64bit×４の値を代入する関数を変更したら、意に反して結構速度改善。
・闇雲に__declspec(align(32)) してみたら若干速度改善してバラツキ減少。
これらにより、450msくらいになりました。
ベクタ化はまだ何かありそう。
ちゃんと書いてなかったですが、途中からノート数カウントを外してます。入れると100ms
程度の速度低下になります。一応、デバッグ用に#ifで切り替えられるようになってます。
が、そんな状態なので、nps計算に意味が見いだせないという・・・。
続いて評価関数をベクタ化できないか考えましたが、BMI命令使っているので厳しい。
計算楽にするため、でかい配列を何回も引いているので、ここを何とかしたい気がする。
黒・白・空の３を基数とする３進数でナンバリングしているんだけど、高速で計算する方法
が見つからず。
平衡３進法を手早く計算する方法があると、黒を1、白を-1、空を0にして、定数足すとか
できるんだけど、どんなに調べても、基数変換に王道なしという言葉しか見つからない。
- 400 名前：名前は開発中のものです。 mailto:sage [2016/02/15(月) 00:14:34.50 ID:2rfyeFpJ.net]
- 高速化については一旦棚上げ。何やっても速度が上がらない。
ひたすらノード数カウントの速度低下を抑えて、カウントのバグ取りして。
色々発見はあったけど、結局ソースを綺麗にしただけだった。
後は、いずれゆっくり時間をかけて、評価関数を作り直すかな。
MPCを組みました。一応動作している模様。
これからしばらく、GUI作りに入ります。
MFCよくわからん。
- 401 名前：310 mailto:sage [2016/02/20(土) 13:43:08.30 ID:ZGi2V8ih.net]
- GUIできた。昔作った序盤定石部分と合体。
中盤探索を反復深化にして、３秒を超えて新しい深さに入らないあたりで調整。
MPCで２５手くらいまで読めるように調整。
終盤完全読みは３８手から。３６手からMPC付で完全読み（つまり完全ではない）。
こんな感じでできたので、早速プレイ。自分だと軽く全滅負けしてしまうので、zebra先生
にお越しいただきました。が、滅茶苦茶弱い。
良く見ると、定石が効いている段階で＋１６だったのが、中盤読みになった瞬間に一気に
−１４くらいまで落ちて、そのまま挽回できない感じ。zebra先生は、その前に定石から外れ
て、既にzebraから見て＋１４程度の評価値を算出している。つまり、定石部分がおかしい。
それ以外は、評価値もzebraとは大きく違わないし、終盤探索もちゃんと機能している感じ。
- 402 名前：310 mailto:sage [2016/02/20(土) 23:06:47.33 ID:ZGi2V8ih.net]
- zebra先生にならって定石の評価を表示するオプションをつけてみました。
ロジック的には間違いなさそうですが、定石DBがおかしいというか、定石に登録がない
手順に正しい変化があって、それを無視しているため、間違った判断をしているみたい。
一応、完全読みという触れ込みの棋譜を元にしているはずなので、使い方をどこかで
勘違いしているんだと思います。しばらく悩むしかなさそうです。
- 403 名前：310 mailto:sage [2016/02/21(日) 01:04:17.33 ID:nPWuqcvw.net]
- 試しに定石部分を外して、中盤探索で開始してみたら、zebraの２０手読みに対して
２戦して１勝１分となりました。読みの深さは、こちらが上なので、こんな感じでしょうか。
序盤２０手分は評価値が無いので、２０手近い探索を反復無しで探索するため、MPCを
使っても最初の数手は１手あたり５分以上掛かってしまいます。
定石については、以前にウェブで見つけてテキストに起こした定石データがあるので、
それを評価０で登録してみようかなぁと思っています。
定石の自己学習とか、評価付けとか、どうやるんだろ。
- 404 名前：310 mailto:sage [2016/02/25(木) 21:06:56.39 ID:fXRsnvrs.net]
- 定石データを、上記の手打ちデータで作り直しました。
当初は並び取りとかの極端な進行以外は評価０．０にしたため、mobility関数のビット列
の下から定石に従って着手する形となり、zebra先生のBookに誘導されるように、少しずつ
不利な定石に乗り換えていき、負けるという展開に（汗
悔しかったので別のソフトを拾い、戦ってみると、そちらには圧勝。決して弱くはないと思う。
また、zebraとの対戦時にBookで評価値がついているものは、それを参考に修正したところ、
時々勝てるような感じになりました。
EDAX先生＋UnifiedBookなるものを拾って、そちらと戦ってみたところ、軽く惨敗。
ｆｊｔ定石とかだと終盤近くまでBookがあるみたいで、Bookが続く限り紛れが無い。
こちらが中盤探索などでミスるたびに−２づつ落としていき、お話にならないレベル差を感じました。
しばし熟考の上、定石の拡張、評価付けを考えてみようかと思います。
あと、評価値が近い時には、何らかの確率で手を選択するようにもしてみたいと思います。
- 405 名前：310 mailto:sage [2016/02/28(日) 01:10:48.52 ID:hQzoi2Tz.net]
- 縦取り系は白番黒番試して、定石の評価値を修正してみました。
あと、AIの進行ごとのパラメータを試行錯誤して、なるべく負けないようにしてみました。
これにより、AIの読み時間が結構伸びて、１ゲームワーストケースで１手２分、トータル
５分くらい思考してしまいます。これは、反復深化などで、タイムアップをせずに、次の
ステップに入る制限時間だけ決めているためです。
EDAX＋Unified Book先生はレベル２１で、黒番白番ともに引き分けになります。
こちらは２０手前に定石が切れていますが、その後も最善手が打てているという事になり
ます。こちらは何局打っても手を変えないので、EDAX先生のBookの進行に合わせた
だけですが。一方zebra先生は比較的手をいろいろ変えてくるので、勝ち負けが発生します
（もちろん、各アプリの設定次第ですが）。
序盤定石の評価値をそれなりにしたら、後は引き分け進行をひたすら登録していって、
相手が最善しか着手しないと信用すると負けないプログラムができちゃうのではないか
と、ふと思いましたが・・・。トップ同士の対局が引き分けばかりになるのは、こういう事
なんでしょうね。というか、完全解析ってこれが完成した状態なのか。
EDAX先生のUnified Bookは、いくつかの引き分け進行棋譜の集合体のようですが、
元データが幸い既知のWthor形式なので、それをもらってしまうと、トップレベルになる
のかなぁ。トップな人がBook構築に主眼を移したり、開発が止まったりする訳だと。
そろそろ、混とんとしているプログラムを綺麗に直して、パクリBook作って開発終了しちゃ
おうかと思い始めています。速度的には、まだまだ改善の余地はありそうですが。
- 406 名前：じょげなら ◆kXDiHQuNQ2 mailto:sage [2016/02/29(月) 19:18:07.19 ID:etqtABZA.net]
- ライフゲーム囲碁というゲームのネット対局場を作りたいです。
囲碁でいうKGSみたいなのが理想です。
プログラムはある程度わかりますが、ネット関連の知識が乏しいです。
何から始めればいいですか？
- 407 名前：名前は開発中のものです。 mailto:sage [2016/02/29(月) 19:21:39.28 ID:etqtABZA.net]
- ＵＲＬがＮＧワードに引っかかる…
- 408 名前：名前は開発中のものです。 mailto:sage [2016/02/29(月) 19:34:26.59 ID:etqtABZA.net]
- 好きな言語
C++
C#
Ruby
嫌いな言語
Java
Python
Perl
- 409 名前：４０６ mailto:sage [2016/03/01(火) 20:52:33.32 ID:6wFQeZGp.net]
- とりあえずHTML5の本買ってきた
- 410 名前：406 mailto:sage [2016/03/03(木) 19:44:49.47 ID:Hi4nZgiL.net]
- fast-uploader.com/file/7012557196681/
碁石をぽちぽち置けるところまで作った
- 411 名前：310 mailto:sage [2016/03/04(金) 10:15:09.55 ID:Q4DtXsqP.net]
- >>410
一晩考えてみた。
通信回りに興味を持って遊んだのは１５年くらい前だし、Javaとかイメージしかないし。
あまり助言できる事はありませんが、一つ言えるのは、UIに凝ったりサービス内容を
考えたりするのは最後で良いと思います。
Rubyが好きなら、まずはCGIベースで、テキスト表示で対戦を実現する仕掛けを作る事
だと思います。次に複数のユーザーが接続するのであれば、身元確認のためのID/パス
ワード管理が必要になりますし、個々の対戦を区別するにはセッション管理が必要になり
ます。この辺は、スタンドアロンのアプリには無い、独特の世界なので、結構新しい技術、
テクニックの習得が必要になるかと思います。いまどきあるのかわかりませんが、チャット
のスクリプトとかあれば、参考になるかも。
その辺から入り込んで、いろいろ調べていくと、だんだんと必要な技術、知識が増えてくる
んじゃないかと思います。
- 412 名前：406 mailto:sage [2016/03/04(金) 18:58:38.77 ID:w3YPuhPg.net]
- >>411
レスありがとうございます。
確かにセッション管理とか知らないです。
チャット調べてみます。
- 413 名前：406 mailto:sage [2016/03/07(月) 21:05:27.22 ID:NI+TTWmM.net]
- RoRの本買ってきた。
チャットはまだ調べてない。
- 414 名前：名前は開発中のものです。 mailto:sage [2016/03/09(水) 19:45:29.94 ID:Cf1/SDqU.net]
- うおおおおセドルがああああぁぁぁ
- 415 名前：310 mailto:sage [2016/03/10(木) 02:00:10.79 ID:hvbQwbFh.net]
- うむむ。
これにて、オセロができたら次は囲碁という目標が雲散霧消してしまいました。
どうしよう。
- 416 名前：310 mailto:sage [2016/03/10(木) 18:05:03.79 ID:b1SmaPOg.net]
- AlphaGO強すぎ・・・orz
今夜は、囲碁関係者だけじゃなく、AI周りの人も、Google以外全員お通夜ですね。
- 417 名前：名前は開発中のものです。 mailto:sage [2016/03/10(木) 19:38:43.78 ID:SphVvbk5.net]
- ３１０氏もalpha碁注目してたか。
セドル一発入れてほしいなぁ
- 418 名前：名前は開発中のものです。 [2016/03/11(金) 09:04:36.30 ID:HTdTU0Fi.net]
- 浮上
- 419 名前：名前は開発中のものです。 mailto:sage [2016/03/12(土) 12:19:15.41 ID:k2nAbsiz.net]
- おお、このスレ生きてたんだ
なんで RoR なんか見てるのよスレ間違えたかと思った
- 420 名前：名前は開発中のものです。 mailto:sage [2016/03/13(日) 18:01:59.50 ID:X9umXTnK.net]
- せどるううううッよくやったあああああぁっ
人類の勝利やあああぁぁっ
- 421 名前：名前は開発中のものです。 mailto:sage [2016/03/13(日) 19:02:49.19 ID:Gv0++KTh.net]
- お、第四局はセドル勝ったか
- 422 名前：310 mailto:sage [2016/03/13(日) 20:47:23.70 ID:50OeMIN8.net]
- うむ。なんか期待を裏切られっぱなしｗ
この負けっぷりを見ると、囲碁もトライしたくなってくる希ガス。
- 423 名前：406 mailto:sage [2016/03/15(火) 20:44:49.53 ID:NF77F+OG.net]
- RoRとjavascriptの連携がよくわからん。
でもちょっとづつだけど進んでる。
- 424 名前：310 mailto:sage [2016/03/16(水) 23:06:52.43 ID:YEZK1fac.net]
- アルファ碁ロスまっただ中ですｗ
オセロ作ったおかげで、一連の勝負をいままでとは違う視点で見れたかなぁ。
とりあえず、囲碁のモンテカルロ解説した本と、ディープラーニングの入門書を
買ってきた。さらっと読んだけど、ディープラーニングは理解に時間がかかりそうorz
オセロで３層パーセプトロンを試したときは、結局うまく動かなかった。
実装が悪いのもあるけど、学習にもすごく時間がかかった。
あれをディープにしたら、どうなっちゃうんだろうかは不安ではある。
こちとら、SurfacePro3しかないし（汗
- 425 名前：406 mailto:sage [2016/03/19(土) 20:06:25.11 ID:Ik15FlWh.net]
- railsでdeviseとかいうgemをつかってユーザー認証機能実装したけど、
複数ユーザーがログインして対局させる方法がサッパリわからん。
- 426 名前：406 mailto:sage [2016/03/24(木) 20:20:54.97 ID:C08ak5N3.net]
- ブラウザ閉じたときに自動ログアウトのやり方がわからん
- 427 名前：名前は開発中のものです。 mailto:sage [2016/03/25(金) 13:51:48.34 ID:9Ea9sx62.net]
- ブラウザは通信があった時にしかクライアントの消息が確認できない。
ｎ分アクセスが無かったらサーバー側で勝手にログアウトさせちゃう
タイムアウト方式が普通かなと。その時間経過後にアクセスがあっても
ログインからやり直し。
このログインからタイムアウト（ログアウト）までの間をセッションと呼ぶ。
- 428 名前：名前は開発中のものです。 mailto:sage [2016/03/25(金) 14:16:19.46 ID:9Ea9sx62.net]
- １行目おかしかった。
＞WEBサーバ、ブラウザという仕組みは、ブラウザから通信があった時にしか、
＞サーバーはブラウザの消息を確認できない。
に修正。
１．初画面からログインする
２．サーバが、HTMLにセッションNoを埋め込んで、ブラウザに表示。
サーバでは、セッションIDを配列などで管理して、IDと最終アクセス時間をとっておく。
３．ブラウザ側からのCGIリクエストには、必ずセッションNoを入れて送信。
セッションNoで、相手がだれか（ID)を特定して、処理を行う。
つまり、個々の処理はセッションNoで管理されている。
４．ブラウザからCGIリクエストが来た時に、タイムアウトしていたら、ログアウト処理へ
あと、ゴミ掃除で１日１回くらいタイムアウトしているものを削除。
この辺が基本。対局型の場合。
５．２つのセッションが対局している事になるので、対局管理する配列を用意。
６．相手の着手待ちの時に、どうするのか？その辺が肝。
HTMLに細工して、１秒ごとにリロードさせる。リロードにより、着手が行われたか
それとも秒読み時間切れになったか？判断をサーバーに依頼する。
などなど。やり方は色々あるかと思う。
とにかく、肝は、情報がブツ切れで、あちこちにある事。これにより、サーバーで簡単に判断
ができない事があるので、いくつかの機能をブラウザスクリプトに依頼しなきゃならん。
それでも、相手が放置して逃げた時、ブラウザを閉じて逃げた時（回線切断やPCダウン）、
などなどの例外が起きるので、それらをタイムアウト検出などで拾わにゃならん。
どうするのかなどの、例外処理をリストアップして、一つずつ対応を決めていく事。
プログラムテクニックはどうとでもなるけど、例外事象の拾い上げの方が大変。
- 429 名前：406 mailto:sage [2016/03/25(金) 17:43:19.31 ID:/V6G/Eic.net]
- 丁寧にありがとうございます。
javascriptのwindow.oncloseからなんとかならないかといろいろ調べていましたが、無理筋なんでしょうか。
タイムアウト検討してみます。
- 430 名前：名前は開発中のものです。 mailto:sage [2016/03/26(土) 21:27:54.24 ID:DUGO8n57.net]
- >>429
そういう事を考えるんなら、Javaアプレットとか、ActiveXとかの、
ブラウザ上で動いて通信できる方法を試した方が良いかもね。
- 431 名前：406 mailto:sage [2016/03/30(水) 21:45:07.64 ID:yYbYes7U.net]
- すいません、教えてください。
４．ブラウザからCGIリクエストが来た時に、タイムアウトしていたら、ログアウト処理へ
あと、ゴミ掃除で１日１回くらいタイムアウトしているものを削除。
このゴミ掃除というのはサーバー側がクライアント側から何のアクションも受けずに
能動的にタイムアウトしているセッションをみつけ削除するということですか？
どうやって書けばいいのかわからないのですが…
- 432 名前：名前は開発中のものです。 mailto:sage [2016/03/30(水) 23:26:15.10 ID:DNbQONAE.net]
- >>431
そうです。別にしなくても良いし、月１回手作業で削除しても良いけどね。
- 433 名前：406 mailto:sage [2016/03/31(木) 20:31:39.10 ID:dkaj1Oq1.net]
- >>432
手作業ですかうーん。
まあ、頭の片隅に置いておきます。
ありがとうございます。
- 434 名前：名前は開発中のものです。 mailto:sage [2016/04/01(金) 19:52:02.46 ID:JLskKsZt.net]
- 隠しコマンド受け付けるようにしておいて
管理者のクライアントから定期的にコマンドを投げればいい
- 435 名前：310 mailto:sage [2016/04/05(火) 10:45:13.03 ID:82XTVDoH.net]
- 久々登場。アルファ碁ロスがでかすぎて、やる気がでないです。
とりあえず、BOOK上で乱数入れて手をばらけさせるようにしました。あとの課題は、
１．持ち時間制度
２．ステータスバーの更新
標準のStatusBarだとOnMouseMoveなどで更新されるとの事。
リアルタイムに更新させるためには、マウスくるくるさせてなければならん。
３．中盤探索の高速化
反復深化＋置換表で高速化が効いていない懸念があるけど未確認。その他の高速化検討
４．同じ手順で負けないためのBOOKの自動学習
５．オフラインでの引分手順の自動生成
となります。けど・・・本当にモチベーション上がらない。
時々、気が向いた時に、Zebra先生やEDAX＋UB師匠相手にポチポチ手打ちで対戦して、
相手のBOOKに登録されている引き分け手順を見つけて、手入力でBOOK更新してます。
Zebraは研究モードがあるので、ほぼ拾い終わりましたが、逆に引き分けだらけになりました。
EDAX+UB相手だと、こちらが定石から外れるケースでも、EDAX側は学習データで先が
見えていて打ってくるので、ほぼ負けになります。
たまに、EDAX＋UBも中盤探索が走ってくれて、極まれに勝勢になる事がありますが・・・
何が腹が立つと言って、そういう時に限って完全読み時にEDAXがバグって、既に石がある
所に着手して逆転した事にされます。もちろん反則なので勝利は勝利ですが、すっきりと
勝たせてもらえないのが腹立たしい。をのれ。
というわけで。やはりオセロは、引き分け手順のリストアップが、強さの肝である事も再確認
してしまいまして。そこまでの根性は無いなぁというのも、モチベーション低下の原因。
- 436 名前：406 mailto:sage [2016/04/06(水) 22:31:38.47 ID:SXJnF3U3.net]
- ログインユーザー一覧表示できるようになりました。
RoRのコーディングは一休みして棋譜管理にとりかかろうと思ってます。
SGFをパクろうかとおもってますが、結構難しい orz.
- 437 名前：406 mailto:sage [2016/04/08(金) 22:18:30.78 ID:kkoRA2nm.net]
- 棋譜ツリー表示すんの結構メンドクサイような希ガス
いいライブラリはないんか
- 438 名前：406 mailto:sage [2016/04/09(土) 23:59:42.58 ID:SBv5rCvL.net]
- KGSのレーティングシステム難しい。
まだそんなこと考える段階じゃないけど。
- 439 名前：406 mailto:sage [2016/04/11(月) 21:25:49.37 ID:A4FL2sT8.net]
- javascriptでオブジェクトの比較ってjsonで変換してそれを比較しろとか某ページで見たけど
そんな事せにゃならんの？
- 440 名前：406 mailto:sage [2016/04/12(火) 23:02:53.74 ID:xYnFmhAQ.net]
- textuploader.com/5w3sq
棋譜ツリーだいぶ形になってきた。
- 441 名前：406 mailto:sage [2016/04/16(土) 22:59:10.60 ID:MXucFBba.net]
- Rails側とjavascript側の連携がやっぱわからん。
色々めんどくさすぎ。
- 442 名前：406 mailto:sage [2016/04/23(土) 00:16:56.63 ID:Gce7F8Ms.net]
- エンコード間違えてて動かなかったわ。
railsがログ吐いてくれてなきゃ一生気づかなかっただろうな。
- 443 名前：406 mailto:sage [2016/04/27(水) 21:48:14.23 ID:JGExYAi7.net]
- 開発に使ってたノートのキーボードが一部効かなくなったわorz.
windowsにログインできなくて焦った。
アカウントでも乗っ取られたのかと思ったらソフトキーボード使ったらログインできた。
ＵＳＢキーボードとかで代用できればいいんだがどうかな〜。
- 444 名前：406 mailto:sage [2016/05/02(月) 21:58:59.67 ID:i7WwatVD.net]
- invalid multibyte character
とかってエラーが出るんだけど、どこに全角があるのかさっぱりわからん。
app/controllers/application_controller.rb:1にあるらしいんだけどいくら調べてもみつからん。
- 445 名前：406 mailto:sage [2016/05/02(月) 23:06:51.86 ID:i7WwatVD.net]
- 以下のログが出るんだけど、だれか原因わかる人いない？
Started GET "/" for ::1 at 2016-05-02 22:55:10 +0900
ActiveRecord::SchemaMigration Load (1.2ms) SELECT "schema_migrations".* FROM "schema_migrations"
ArgumentError (invalid multibyte character):
app/controllers/application_controller.rb:3:in `<top (required)>'
app/controllers/home_controller.rb:5:in `<top (required)>'
- 446 名前：４０６ mailto:sage [2016/05/03(火) 11:00:58.43 ID:6pwgCgml.net]
- すいません、解決しました。
- 447 名前：４０６ mailto:sage [2016/05/13(金) 22:42:29.22 ID:Zx20RSfa.net]
- やはりポーリングだけでは限界があるか？
- 448 名前：310 mailto:sage [2016/05/16(月) 21:32:31.63 ID:KQ1qSDyb.net]
- モチベーションダダ下がりだったけど、なんとなくソースの整理していたら、
直したいところがいろいろ出て来て、見直し中。
後ろ向き枝刈で探索時間は変わらないけど、探索ノード数が2/3になった。
この枝刈手法の速度アップできたら面白いかもと思いつつ、元々自分が
結構高速に書いていた処理（未使用）を流用しているから、これ以上速度アップ
できるかわからん。
でも、EDAXには勝てないんだろうなぁ・・・
EDAXの孫情報からインスピレーション得てるネタだし。
- 449 名前：310 mailto:sage [2016/05/26(木) 16:01:37.05 ID:ZBCA70ec.net]
- 遅々として進んでいます。
ソースを一から組みなおして、いろいろと綺麗にしてます。
並列探索を入れない段階で、FFO#40が結構速くなった。
いまさらながらに、FFOテストを40〜59まで実行して比較しようとしたところ、
前から薄々気づいていたけど、FFO#41以後が遅い。酷いケースになると
探索ノード数が１０倍＝時間も１０倍になる（#51）。自分のは指数関数的に
比較的にきれいにノード数が増加している。同じようなノード数のものもあるので、
ZebraやEdaxはどこかで上手にばっさり刈り込んでいる感じ。#52以後は時間が
かかりすぎて、未検証ですが。
ZebraやEdaxもノード/秒が一定しているので、置換表みたいな重い方法では
なく、簡単な方法で刈り込んでいるっぽい。とすると、moveorderかなぁ。
一応、MPCの99%で評価値の並び順は置換表に残してあるので、そんなに
間違った順番でソートしていないと思うんだけど。
あと、mtd(f)だと最初から最後までNullサーチしかしない事に思い至り、そこで
処理の効率化できる箇所が無いかと考えてます。Nullしかやらないんなら、
アルファ越えの再探索でウィンドウを広げる必要もないわけで。逐次探索部分
では効果不明だけど並列探索だとYBWCでPVを検索し終わるまで待つ必要が
そもそもない（仮アルファを求める必要がない）ので、多少速度アップできない
かなぁと。
- 450 名前：310 mailto:sage [2016/05/27(金) 00:36:10.52 ID:gIFpjm1c.net]
- 早々に状況が判明しました。ここに書くと進むんだよなぁ。
mtd(f)＋negaScoutで繰り返し探索しながら、置換表に置換データを置いて、更に
それを並び替えに利用していたのですが、最初にPVを探索してしまうと、その後は
別の着手も評価値がαになってしまい、並び替えの意味が無くなっている感じです。
ちなみにPVだけは別ルートで必ず先頭に探索するようにしてあります。
というわけで、テスト的に初段のみ敢えて並び順を逆転させてmtd(f)を未使用にして
ただのnegaScoutで、mpc99%→全探索をしてみたところ、探索ノード数がかなり減り
ました。置換表使用の深さ全部で並び順を逆転させてみたら、mpcの99%ですら全く
終了する気配がなくなりました。
さて、どうやって実現しようかなと。
今のところ、mpcはかなり高速なので、これをnegaMaxにして。
いわゆる並び替え専用の浅い探査にしようかなと。
- 451 名前：406 mailto:sage [2016/06/27(月) 22:12:32.72 ID:rUgIsnK8.net]
- 対局場は結構難しいorzので一旦横に置いておいて
手始めにもうすこし簡単な１人ゲームからPHPで作ろうと思ってます。
具体的にはこれ
www.vector.co.jp/soft/winnt/game/se513226.html
の一人プレー場とランキングを作りたいです。
元ネタはコンウェイの天使と悪魔という問題みたいですね〜。
- 452 名前：406 mailto:sage [2016/07/02(土) 23:28:52.20 ID:qo9Pciu3.net]
- textuploader.com/5iagw
とりあえず、HTML & javascriptでシコシコ書いてます。
だいぶ大分形になってきました。
遊んでみてください。
- 453 名前：406 mailto:sage [2016/07/02(土) 23:40:37.16 ID:qo9Pciu3.net]
- なんか文字化けしてんなぁ
なんでだ？
まあいいか
- 454 名前：名前は開発中のものです。 mailto:sage [2016/07/14(木) 21:31:20.75 ID:GXGadAU3.net]
- 必殺技が使えるリアルタイムアクションオセロまだですか
- 455 名前：名前は開発中のものです。 mailto:sage [2016/07/17(日) 23:40:28.28 ID:M3Q2Msci.net]
- とりあえず公開しました。
ランキングはまだ未実装です。
nagata442000.xxx.ne.jp/EngelDevil.html
xxxはさくらに変えてください。
- 456 名前：455 mailto:sage [2016/07/18(月) 00:05:57.51 ID:Lx2YZiAH.net]
- 455=406です。
- 457 名前：406 mailto:sage [2016/07/21(木) 23:55:32.48 ID:oilR8wYn.net]
- うーんアクセスがないぜ。
検索エンジンにも引っかからないし。
SEOとかいうのに手を染めるしかないのか？
- 458 名前：406 mailto:sage [2016/07/27(水) 00:25:34.27 ID:42/ungMS.net]
- 結果を保存できるようにした。
- 459 名前：406 mailto:sage [2016/07/27(水) 22:44:58.98 ID:42/ungMS.net]
- 棋譜を登録＆閲覧＆再生できるようにした。
そろそろ宣伝かな〜。
- 460 名前：名前は開発中のものです。 mailto:sage [2016/08/01(月) 12:39:59.89 ID:BFi+UVWj.net]
- このようなスレがあるとは…
自作でオセロソフトを作成している者です
現在は自己対局による学習中です
初手f5
以降ランダム7手〜8手、
中盤8手読み
中盤で次善手を85%の確率で一手のみ打つ
終盤20マス空き読み切り
で300万棋譜集めようかと
この設定であれば一局1〜3秒程度なので２ヶ月半くらいで達成できる予定です
まだ86万局程度ですが、今のところFFOはこんな感じです
FFO#40 (a2:+38) 1.36sec FFO#41 (h4: +0) 3.75sec
FFO#42 (G2: +6) 4.86sec FFO#43 (C7:-12) 6.33sec
FFO#44 (B8:-14) 9.46sec FFO#45 (b2: +6) 64.88sec
FFO#46 (b3: -8) 13.20sec FFO#47 (G2: +4) 5.66sec
FFO#48 (F6:+28) 67.74sec FFO#49 (e1:+16) 121.90sec
FFO#50 (d8:+10) 376.73sec FFO#51 (E2: +6) 86.08sec
FFO#52 (a3:+0) 132.61sec
- 461 名前：406 mailto:sage [2016/08/02(火) 00:17:59.05 ID:R38aaX9h.net]
- だれかSEOのやりかた教えてくれ。
- 462 名前：460 mailto:sage [2016/08/02(火) 09:44:26.07 ID:/HFRnWj4.net]
- 白の得点が微妙にマイナスに傾いているので9手目までランダムに固定しました。
初手はf5なので8手目までだと白の方がランダム手数多くなってしまうことに気づいて・・・
9手目ランダムだと7手目までの評価値はまともな値にならないのですが、そこはBOOKでどうにかしようかと。
まともな値にならないだけで、互角定石以外に進行したりとかはしないので、とりあえず無視します。
- 463 名前：406 mailto:sage [2016/08/02(火) 20:37:12.35 ID:R38aaX9h.net]
- Google検索で引っかかるようになったみたいです。
でもコンウェイの天使と悪魔なんてワード検索する人そんなにいないだろな。
- 464 名前：310 mailto:sage [2016/08/03(水) 14:35:23.97 ID:WXOcEHjz.net]
- ここしばらく、評価関数に新機軸をと、ディープラーニングにトライ中ですが、
囲碁のように、畳み込みの画像認識の応用では、なかなか上手くいかないと
言うか、自分のパソコンで手におえるくらいの規模のネットワークだと全く歯が
立たない感じです。
というわけで、色々と手はいっぱい動かしているのですが、何にも成果があら
われていない状況です。
- 465 名前：名前は開発中のものです。 mailto:sage [2016/08/03(水) 22:36:32.67 ID:u2EcbVrc.net]
- >>464
ディープラーニングってライブラリ使ってんの？
それとも自家製？
- 466 名前：310 mailto:sage [2016/08/04(木) 01:59:01.51 ID:XH3ZGPYC.net]
- >>465
最初はGitHUBのDeepLearningの参考プログラムを元に自家製でAutoEncoderにDropoutをつけ
たりしてました。
次にCNNで、GitHUBでtiny-cnnというライブラリを落として使用。技術的に凝りすぎライブラリで、
解読するのにC++の勉強が主になってしまいそうなので、改造はあきらめました。
そして、今は、行列ライブラリ（Eigen）落としてきて、自家製に戻りつつあります。Sparse正則化の
ために、ミニバッチ処理をしようかと思って（最初のは逐次処理のみ）、ついでにAVX２命令や
並列化対応を、この行列ライブラリに頼ろうかと思ってます。
Eigen使ったMLPでxor解くテストプログラムは、さきほどできましたが、本当にこれで良いのか、
結構不安です。多少間違っていても、収束しちゃうときがあるので。
明日はAdagradに対応させる予定。何とか２〜３層程度で収まらないかな。
パソコン環境が貧弱なので、あまり重い処理ができないのが最大の難点です。
もっとも、できあがった評価関数が重いと、探索深さが浅くなってしまうので、ある程度は妥協
しなきゃならんかなと思っています。
- 467 名前：名前は開発中のものです。 mailto:sage [2016/08/04(木) 22:03:08.50 ID:5/KmfpOW.net]
- 壮絶やな。
その情熱がうらやましいぜ。
- 468 名前：310 mailto:sage [2016/08/05(金) 20:44:21.05 ID:sOgjr/Uz.net]
- 楽しんでやってますので（笑
で、AdagradとSparse正則化ができました。Sparse正則化は思ったより時間がかかり
ませんでした。さすが行列ライブラリって感じです。AdagradとSparse正則化込みで、
結果も、正則化もちゃんと出来てますので、多分間違いはないでしょう。
今夜はオセロ関連ライブラリ持ってきて、学習データ作って、Sparse Auto Encoder
にしてテストです。全結合層クラスを積み重ねていくだけだし、データ作成は３回目
なので、後は簡単ですが、隠れ層のノード数と、目標とする活性ノード数を色々試す
のが面倒です。
まあ、ここまで全敗なので、あんまり期待していないけどさ（汗
やればやるほどBuroさんの評価関数の凄さがわかってきます。
- 469 名前：460 mailto:sage [2016/08/08(月) 01:32:00.53 ID:1caSYJwt.net]
- PV-LINE(最善の着手リスト)の表示を実装してみました。
PVノードの更新は非常にまれな事象ですが、あまり深い所で表示更新すると
やはり探索速度に影響与えてしまうので、6手目以下の浅いノードで表示更新しています。
あと自己対局棋譜が100万局集まったので、中盤MPCパラメータを作成中です。
現在20手読みのカットペアの計算に入ったところで、これが終われば終盤MPCの実装に入ろうと思います。
- 470 名前：名前は開発中のものです。 mailto:sage [2016/08/10(水) 01:12:31.39 ID:BL+f+Yy5.net]
- 310と460はホントに別人なのか？
ディープにオセロＡＩに取り組む人が２人も現れるとはにわかには信じがたいｗ
- 471 名前：310 mailto:sage [2016/08/10(水) 22:37:11.88 ID:C09Nh62j.net]
- >>470
他のスレで出会って、誘導させていただきました。
ほんと絶滅危惧種ですよね（汗
Auto EncoderにSparse正則化を加えましたが、やっぱり特徴抽出は
簡単ではないようです。Auto Encoderとしては申し分なく機能している
のですが・・・線形回帰をつけて評価値を算出してみたのですが、ただの
乱数返しているような状態になります。
なんか、微妙に恒等変換を学んでいる臭いんだよなぁ。むむむ。
- 472 名前：名前は開発中のものです。 mailto:sage [2016/08/10(水) 22:53:03.62 ID:BL+f+Yy5.net]
- >>310はかなりハイレベルだと俺は思ってるが
>>310からみて>>460はいい線行ってるの？
- 473 名前：310 mailto:sage [2016/08/11(木) 23:18:44.20 ID:M0iE7EXH.net]
- >>472
僕は全然ハイレベルじゃないですよ。
すぐ脱線して役に立たないことばかりやってるだけです。
別スレでお互いのFFOテストの結果を見せっこしたところ、
前半５つで、速度はほぼ同じくらいでした。
>>460さんと情報交換したところ、末端ノードの高速化の
方向性が全く逆だったのが意外でした。
- 474 名前：名前は開発中のものです。 mailto:sage [2016/08/12(金) 00:22:58.37 ID:+2V5AEwc.net]
- ほほう
460さんも期待出来そうですな
- 475 名前：460 mailto:sage [2016/08/12(金) 02:42:42.36 ID:mvQ0iJdF.net]
- >>472
自分はディープランニングなどの人工知能系はさっぱりなので・・・
310さんはよく勉強されていると思います。
自作オセロですが、今まで32bitで開発していましたが
今ではもう32bitOSを使用する方が稀だと考えて思い切って64bitに移行しました。
探索ノード数がいきなり10〜20%程度上がってビックリしています・・・
- 476 名前：460 mailto:sage [2016/08/12(金) 04:26:50.73 ID:mvQ0iJdF.net]
- あ、探索ノード数ではなく探索速度ですｗ
終盤探索だと10000Knps〜15000Knps程度出せるようになりました。
自分の環境だとWZebraが20000Knpsなので、大幅に負けています・・・
そろそろチューニングも視野に入れつつやっていこうと思います。
まずは探索ノード数を終盤MPCで削減しなくては・・・
- 477 名前：460 mailto:sage [2016/08/12(金) 07:59:35.21 ID:mvQ0iJdF.net]
- 64ビット移行＋120万局の学習でFFOテストの結果をまとめました。
32ビット＋86万局の学習だと合計が17219.7sだったので36%ほど高速化しています。
シングルスレッド動作なので、将来的にはマルチに移行したいところ・・・
OS:Win10 CPU:i5-6500 キャッシュサイズ:128MB
FFO#40 (a2:+38) 1.04s FFO#41 (h4: +0) 3.22s
FFO#42 (G2: +6) 4.01s FFO#43 (G3:-12) 13.10s
FFO#44 (D2:-14) 3.22s FFO#45 (b2: +6) 58.63s
FFO#46 (b3: -8) 10.27s FFO#47 (G2: +4) 4.60s
FFO#48 (F6:+28) 36.09s FFO#49 (e1:+16) 50.33s
FFO#50 (d8:+10) 354.14s FFO#51 (E2: +6) 59.20s
FFO#52 (a3:+0) 142.79s FFO#53 (d8:-2) 656.87s
FFO#54 (c7:-2) 1718.85s FFO#55 (G6:+0) 5588.48s
FFO#56 (H2:+0) 314.27s FFO#57 (a6:-10) 1045.01s
FFO#58 (g1:+4) 973.58s FFO#59 (g8:+64) 0.25s
合計11037.95s（トッププログラムは合計で600秒台orz）
- 478 名前：460 mailto:sage [2016/08/12(金) 08:01:32.72 ID:mvQ0iJdF.net]
- >>477
FFO#56はH2:+0ではなくH5:+2に訂正です。。
- 479 名前：310 mailto:sage [2016/08/12(金) 15:16:23.38 ID:USoZXJIB.net]
- がーん。今まで、こちらはノートPCだしと、密かに思っていましたが、32bitでしたか・・・。
完全に脱帽です。
だったら、僕もこのスレで教わったAVX2とかBMIとかの組込関数使って、あとPPLとか
OpenMPとかで並列化して４コアなら３倍強程度なので、トータル４倍以上に速度アップ
すると思いますよ。つまり、その辺やるだけでEdax並まで行くかなと（汗
ちなみに、DeepLearningはあきらめ方向にだいぶシフトしてきました。
- 480 名前：名前は開発中のものです。 mailto:sage [2016/08/12(金) 16:41:11.53 ID:8u/4Xx1J.net]
- 仲間が出来ていいのう
- 481 名前：460 mailto:sage [2016/08/12(金) 17:56:57.44 ID:wDmYSTDl.net]
- シングルスレッドだとトッププログラムですら合計2000秒台と限界があるので、マルチスレッド対応は必須ですよね
ただybwc等の並列化アルゴリズムの理解に時間がかかりそう…
- 482 名前：310 mailto:sage [2016/08/12(金) 20:50:39.55 ID:USoZXJIB.net]
- >>481
YBWCはnegascoutのnull window searchを並列化して一括処理する
ようなものだと解釈して実装しました。
この辺はゲーム計算メカニズムなる本で勉強したかな。
並列処理のフレームワーク何使うかが問題ですね。
自分はVC++なのでmsdnで情報が得やすいPPLを使いました。
インテルTBBとかOpenMPなんてのもあります。
PPLは結構使いやすかったですが、速度は不明。
まあ、ルートの方でしか使わないので、あまり影響ないと思っています。
手組でマルチスレッドなプログラム書ける人には不要かも知れません。
- 483 名前：310 mailto:sage [2016/08/13(土) 14:18:44.65 ID:D+1dBs0T.net]
- あ、考え方がnegascoutみたいだという事で。
- 484 名前：名前は開発中のものです。 mailto:sage [2016/08/13(土) 20:35:07.80 ID:p7EbJiId.net]
- avx2って256bitだよな
オセロだと128bitしか使えないような？
- 485 名前：310 mailto:sage [2016/08/13(土) 20:47:52.09 ID:D+1dBs0T.net]
- 方向が８つあって、それぞれの処理を８回計算するとき、
右シフト方向が４つ、左シフト方向が４つ。
256bitは64bit×４。右シフトと左シフトで２回。
というわけで、mobilityとかflipとかで便利に使えます。
- 486 名前：460 mailto:sage [2016/08/14(日) 16:41:37.52 ID:ALD5heTO.net]
- 現在、終盤用MPCパラメータ作成中です。
23手完全読みのカットペアに入っています。24手読みの計算が終わったらいったん実装に入るつもりです。
>>310
YBWCに関して調べましたが、そうみたいですね。
MPCパラメータを作成している間に、なんとなくで適当に実装してみましたが
なぜかエラーで落ちまくりでしたｗ
排他がかかっていない致命的な箇所があるのか・・・置換表は排他をかけたのですが・・・
PVライン生成あたりも怪しい、とりあえずもう少し調べてみないとダメそう。
- 487 名前：460 mailto:sage [2016/08/14(日) 16:42:16.06 ID:ALD5heTO.net]
- >>310は>>482の間違いです。。
- 488 名前：名前は開発中のものです。 mailto:sage [2016/08/17(水) 21:19:58.40 ID:Z2gXWq7v.net]
- 俺もボードゲーム系ＡＩでディープラーニング書いてみたいと思ってるけど難しいんだろな。
論理もそうだけど膨大なデータが必要そうだし。
>>479
どのへんで諦めました？
- 489 名前：310 mailto:sage [2016/08/18(木) 15:43:08.07 ID:7GnJQiSP.net]
- >>488
まだ細々やってます（汗
Eigenの導入と、少しづつ進んでいくC++技術のおかげで、前よりは試行の
スピードはアップしていますが、なかなか成果は出ません。まだ、色々な
パターンを試しながらディープラーニングって何ぞやを体感しているところ
なんだと思います。
少なくとも「簡単に凄い事ができそう」という幻想は捨てる事ができました（汗
ボードゲームがターン制なら、基本はmin-Maxになると思います。
まずは、盤面の状態に（恣意的で構いません）点をつける評価関数作るところ
から始めたらどうでしょう？
次のステップで評価関数に統計（線形回帰）を持ち込むと、ディープラーニング
じゃなくても、プレイ譜がたくさん必要になります。
オセロの場合は、Buroさんという先人が、実用レベルの評価関数が線形回帰
で作れる事を示してくれています。
僕がディープラーニングを適用しようと思っているのは、ただの思いつきでして。
場合によっては、より軽くて正確評価関数が作れるかと思いましたが、実際に
始めてみると、なかなか評価関数として機能してくれないし、仮にできたとしても
重いものになっちゃいそうという感じです。
- 490 名前：488 mailto:sage [2016/08/19(金) 23:15:11.39 ID:i9HkvHw2.net]
- >>489
手動評価関数はかなり昔五目並べで書いたことあります。
min-maxで思考時間が１手５分くらいかかったけど、
自分でプレーして負かされることもあるくらいの強さにはなりました。
そのBuroさんの線形回帰とやらはWebで論文とか見れたりしますか？
読んでも多分理解できないだろうけどちょっと興味あります。
- 491 名前：488 mailto:sage [2016/08/19(金) 23:23:27.55 ID:i9HkvHw2.net]
- ぐぐったらこんなのがあったけど多すぎ。
https://skatgame.net/mburo/publications.html
- 492 名前：310 mailto:sage [2016/08/20(土) 16:51:13.03 ID:m44rb9b4.net]
- >>490
Buroさんが作った伝説のオセロプログラムがLogistelloです。
Thellというオセロプログラムの作者の方が日本語で解説してくれています。
sealsoft.jp/thell/learning.pdf
5.2の計算の高速化のところの説明（P.8の冒頭）のところ。
自分なりに解釈したら、自分が解釈違いしたのか、説明がおかしいのか、
この通りではなかった記憶があります。
とはいえ、これはオセロの考え方であって、将棋なんかだとbonanzaなどを
参考にすべきだし、全く別のゲームであったら、別な事を考えなければなり
ませんね。当たり前ですが。
- 493 名前：488 mailto:sage [2016/08/20(土) 20:33:47.55 ID:+7ONDgCM.net]
- >>492
パターンの重みの線形和が評価関数になる的なことが書いてあるっぽいですけど、
パターンというのは人間が与えてやるわけですよね？
そのパターンすら学習で求めるというのがディープラーニングなのかと思ってますけど。
まあディープラーニングにはロマンがありますね。
- 494 名前：310 mailto:sage [2016/08/20(土) 21:29:23.21 ID:m44rb9b4.net]
- >>493
ですです。
あと、Deepじゃなくても、２層以上のパーセプトロンだと、線形分離不可能問題の
分類ができるようになります。XORの学習が典型ですね。
ところが、パターンの部分まで学習で求めてくれるってのは、やっぱり幻想でして。
ある程度パターンを想定しながら、ネットワークを作らないといかんのではないか
という事に思い至っています。
例えば畳み込みニューラルネットワーク（CNN）で、何故畳み込みをするのかという
と、縦線横線などの隣接ドット同士もつながりを識別してもらうためですし。そもそも
畳み込みのフォワード計算自体が、画像に対して例えば輪郭線強調といったフィル
ターかけるのと、プログラム的に同じものだったりします。学習対象は、フィルターに
なります。
オセロは、囲碁とかと違って、石の色がコロコロ変わるので、隣同士の石のつながで
判断するCNN的なネットワークをそのまま適用できないよなぁというのが、最近の諦め
ポイントであります。
じゃあ、何に頼るかというと、自分はオセロ弱いので・・・No ideaだったりします。
あんな簡単な（DeepLearningと比較して）線形和でBuroさんの評価関数ができています
ので、パターンを活かして、まずはそこに点数を割り振るところをMLPなんかでできない
かなぁと思っています。
- 495 名前：488 mailto:sage [2016/08/21(日) 00:04:33.21 ID:EnsCDbgT.net]
- >>494
>ところが、パターンの部分まで学習で求めてくれるってのは、やっぱり幻想でして。
>ある程度パターンを想定しながら、ネットワークを作らないといかんのではないか
>という事に思い至っています。
ふーむそうなのか。残念。
聞きかじった知識だと夢のような技術なのかと思っちゃったけど、
実戦してみるとなかなか難しいのかぁ。
- 496 名前：名前は開発中のものです。 mailto:sage [2016/08/21(日) 21:39:11.08 ID:EnsCDbgT.net]
- いくらオセロの盤面が小さいからってシングルスレッドで
10000Knps〜15000Knpsというのはとてつもなく速く感じるんだが。
どうやったらそんな速度がでるんだ？
オセロ業界じゃ普通なのか？
- 497 名前：310 mailto:sage [2016/08/22(月) 02:41:50.59 ID:2ubnBUwd.net]
- Kが余計で３桁間違えているんじゃないかと（汗
- 498 名前：310 mailto:sage [2016/08/22(月) 02:46:41.58 ID:2ubnBUwd.net]
- あ、違った。自分が３桁間違えていた。
全然おかしくないです。自分の２コアで１３０００Kくらい出てます。
シングルで同等の速度ですから、かなり速いとは思いますが、
敢えて言うなら２倍程度なら縮められないとは思えない差です。
- 499 名前：460 mailto:sage [2016/08/22(月) 08:13:03.66 ID:yZES3OuI.net]
- 終盤MPCを実装完了してFFOを測定してみました。。
残すのはFFO#57のみですが、この時点で9364秒と1万秒を割ってるので
10%程度の高速化は期待できそうです。（評価テーブルは64ビット移行＋120万局から変更なし）
- 500 名前：460 mailto:sage [2016/08/22(月) 09:20:01.85 ID:qlwiS2PE.net]
- >>496
簡単な実装だと終盤探索は2000万ノード/秒いけますね。
合法手生成が将棋などより速いので。
とはいえ、中盤探索だと色々やるので5000knps程度に落ちてしまってます。
- 501 名前：496 mailto:sage [2016/08/22(月) 21:10:28.52 ID:WzxI/O2e.net]
- 2000万ノード/sとかってsseやavx使って始めて可能になるレベル？
オセロの合法手の実装になにかすごい効率的なビット演算やってるとか？
- 502 名前：460 mailto:sage [2016/08/23(火) 11:44:32.28 ID:sSUGbl7L.net]
- >>501
終盤探索だと合法手生成は葉ノードの近くでは使わないので、ループや条件分岐を使ったコードでなければアセンブラでなくても速度はそれなりに出ますよ。
こことかが参考になります。
d.hatena.ne.jp/ainame/touch/20100426/1272236395
自分はこんな感じのコードをアセンブラに落として少し改変したものを使ってますー
- 503 名前：460 mailto:sage [2016/08/23(火) 11:47:50.11 ID:sSUGbl7L.net]
- 置換表に超大バグがあることに気づき修正したらFFO45が32秒になりました…w
180万局の学習を朝に終えたので今晩再度FFOを測定しようと思います。
- 504 名前：310 mailto:sage [2016/08/23(火) 13:54:12.88 ID:LVh7XLe+.net]
- >>502
そのサイトは知りませんでしたが、同じことやっています。
自分の場合は、それをAVX2命令で1,7,8,9ビットシフトを４つ並列で動かす様にして、
右シフト左シフト２回の演算をC++で組んでます。並べて書くと混乱しそうだったので
演算オーバーライドしまくりで、バグ防止しました。
やっぱりアセンブラの方が速いんでしょうね。
ディープラーニングな評価関数の方ですが、突然収束を始めました。
まだ途中ですが、見た感じざっくりで、平均二乗誤差の平方根（σ）が0.6石程度に
収まりそうです。２σで１石、スコアは２づつ変わるので、評価逆転が起きる確率を
数％程度にするには、0.5石以下にしたい。
肝はミニバッチのサイズだった様です（謎）。ハイパーパラメータとしては考慮対象外
でしたが、テスト用に小さくすると収束が悪くなる感触があったので、思い切って大き
くしてみたところ…大きくすればするほど記録を更新していくという状態。ついに212640
件という特大バッチサイズにしてしまいました。メモリー的にはまだいけるかも。
今までの比較検討データは全てパーになったので、検討済のネットワークも、バッチ
サイズ変えて再評価です。今やってるのは、Buroさんパターンがベースのネットワーク
ですが、もしかしたら入力ベタ打ちで「勝手に特徴抽出してくれる。すげー！」に戻るかも（汗
- 505 名前：名前は開発中のものです。 mailto:sage [2016/08/23(火) 19:39:22.88 ID:1+aieVpn.net]
- >>502
ループはおろか条件分岐すらいらんのか（驚愕）
>>504
おお、ディープラーニング期待してます。
- 506 名前：名前は開発中のものです。 mailto:sage [2016/08/23(火) 21:26:59.10 ID:KqeLXU8U.net]
- 文系の俺には全然分からん｡
もっと簡素な3目並べなら勝てるAIとか作れないかな(´；ω；｀)
- 507 名前：名前は開発中のものです。 mailto:sage [2016/08/23(火) 21:47:29.66 ID:1+aieVpn.net]
- ちょっと興味が湧いたんでとあるオセロアプリ落としてやってみた。
弱設定ＡＩが程よく負けてくれて嬉しいｗ
一方的にボコされたら詰まらんよな一般人は。
オセロＡＩはもう神の領域だし。
- 508 名前：460 mailto:sage [2016/08/24(水) 01:02:17.32 ID:elb1k4A2.net]
- 色々チューニングしてトライしましたが、FFO57を大きく落としてしまい、放心中ですｗ
FFO57以外は全体的に高速化しているのですが、合計としてはあまり変わらない結果に・・・
終盤MPC探索中にa6とg7でかなりふらつくので、置換表に次善手も入れておかないとダメかもしれません。
とりあえずEdaxとゼブラのオーダリングあたりのソースを見直す予定です。
name move time[s] node[Mn]
FFO#40 a2:+38 1.05 10.61
FFO#41 h4:+0 3.23 37.85
FFO#42 g2:+6 2.43 31.69
FFO#43 G3:-12 7.69 79.04
FFO#44 D2:-14 5.09 48.95
FFO#45 b2:+6 30.21 409.43
FFO#46 b3:-8 7.23 78.8
FFO#47 G2:+4 3.1 38.9
FFO#48 F6:+28 19.58 207.46
FFO#49 e1:+16 45.11 527.45
FFO#50 d8:+10 144.14 1330
FFO#51 E2:+6 39.91 502.74
FFO#52 a3:+0 52.56 687.22
FFO#53 d8:-2 617.63 8360
FFO#54 c7:-2 944.7 13410
FFO#55 G6:+0 測定中
FFO#56 H5:+2 262.85 3410
FFO#57 a6:-10 1523.67 19710
FFO#58 g1:+4 674.09 9760
FFO#59 g8:+64 1.08 5.57
合計4385.35[s](FFO55未測定) 合計ノード数：58645.71[Mn]
- 509 名前：310 mailto:sage [2016/08/24(水) 10:40:19.04 ID:GpcelPIW.net]
- こちらも大バグを見つけて放心中です（汗
ミニバッチサイズごときで収束具合が大きく変わるのがおかしい点。
ミニバッチサイズを大きくすると、収束点がかなり規則的に減少していくように見える点。
この２点から、寝ながらデバッグしてたんですが、テストデータの件数で平均を出すべき
ところで、ミニバッチサイズで割っていた事に思い当りました。
で、修正して、行列の列数で割るようにしたのですが、今度は列数がリセットされていない
事が判明。どうもポインタ渡しで行列を渡した時に行数・列数が正しく引き継がれないよう
な現象のようです。
というわけで、一瞬大喜びしましたが、全くのやり直しとなりました。
- 510 名前：460 mailto:sage [2016/08/24(水) 14:56:52.40 ID:Kkx6VEyM.net]
- >>509
学習プログラムのバグはやっかいですよね。
自分も何回ひどい目に遭ったか…
今でもまだありそうな気がして怖いですw
- 511 名前：460 mailto:sage [2016/08/24(水) 22:16:05.70 ID:elb1k4A2.net]
- FFO57をどうにかしようとチューニングをして、なんとかFFO57が1200秒台に縮まりました。
ある程度縮まったので、期待せずにもう一度全部を測定してみると
全体がかなり高速化されていて、FFO55がまさかの3774秒までに縮まりました！（奇跡）
とりあえずこれをオーダリングの暫定最終結果として、次は並列化に手を出してみようと思います。
まずはYBWCアルゴリズムの実装方法の検討から・・・
FFO#40 (a2:+38) 1.05s FFO#41 (h4: +0) 3.19s
FFO#42 (G2: +6) 2.55s FFO#43 (G3:-12) 7.82s
FFO#44 (D2:-14) 4.18s FFO#45 (b2: +6) 29.77s
FFO#46 (b3: -8) 6.99s FFO#47 (G2: +4) 3.10s
FFO#48 (F6:+28) 19.49s FFO#49 (e1:+16) 36.63s
FFO#50 (d8:+10) 128.15s FFO#51 (E2: +6) 50.46s
FFO#52 (a3:+0) 36.88s FFO#53 (d8:-2) 427.77s
FFO#54 (c7:-2) 730.26s FFO#55 (G6:+0) 3774.07s
FFO#56 (H2:+0) 185.22s FFO#57 (a6:-10) 1281.31s
FFO#58 (g1:+4) 556.86s FFO#59 (g8:+64) 1.08s
合計：7286.83[s]
- 512 名前：310 mailto:sage [2016/08/25(木) 00:17:23.06 ID:ZE8G6YuY.net]
- >>510
Eigen導入前のプログラムみたいにFFOの盤面渡して評価値見るようにしていれ
ば良かったのですが、あまりに収束しないので、収束の兆しが見えてからやろう
なんて放置していたのが失敗でした。あまりに急速に状況が改善していったので、
０．５石切るか知りたくなって、確認が後回しになってました。反省orz
ちなみに、列数がリセットされない問題も、原因がわかりました。
これも自分のミスというか、Eigenの使い方間違ってました。
Eigen便利すぎて、少なくとも行列演算部分に関してはバグフリーで、簡単に先に
進めちゃうので、細かいところがなおざりになっていたような感じです。
- 513 名前：460 mailto:sage [2016/08/25(木) 11:20:22.96 ID:PNQVZmVa.net]
- そういえばFFOに夢中すぎて中盤の強さ評価を忘れていました。
現在は180万局の学習が終わっていますが、ゼブラ(24手読みBookなし中盤誤差なし)と黒と白で戦い、
それぞれ+8と-2という結果になりました。
完全にBook無しだと、白黒両方とも虎定石からのe3酉定石に分岐するため、
金魚や大量取りなどの主要な引き分けオープニングからの勝率を測定しようと思います。
あとHTML5版のMasterReversiレベル3とも対戦してみましたが、白黒両方とも-2という結果に…orz
Book構築方法もそのうち考えようと思います。
- 514 名前：460 mailto:sage [2016/08/27(土) 00:02:49.98 ID:ct+QEGYU.net]
- 学習プログラムのバグが怖くなって見直してたら超大バグを見つけました・・・
パターンモデルのうち、triangle(Thellが用いているモデル)だけが
局面出現数のカウントリセットされておらず延々と増え続けていましたｗ
あと同じ棋譜が結構あり、ダブった棋譜を全て除去すると180万局よりも10%程度減りそうです。
とりあえず除去中の150万局の棋譜でもう一度再学習します・・・orz
- 515 名前：460 mailto:sage [2016/08/27(土) 13:15:04.86 ID:ct+QEGYU.net]
- 学習プログラムのバグを直して再学習させたWZebraとの対局結果ですが、芳しくないです。。
棋譜生成で次善手を選ぶ時、打った後の7手読み（対局が8手読みなので）評価値で全ての手をソートしてから
2番目を選んでいるのですが、評価誤差を全く気にせずに選んでいました。
最善手が+10でも次善手が-4とかいう局面も結構あるので、そういった誤差が大きい手を選んでしまうと棋譜の質が低下します。
なので、最善手と次善手との誤差が-2以下の場合のみ次善手を打つようにしました。
その代わり85%で1回打つという処理を単に5%で打つように変えています。
これでなんとか中盤が強くなればいいですが・・・
- 516 名前：460 mailto:sage [2016/08/27(土) 13:18:13.50 ID:ct+QEGYU.net]
- WZebra24手読みBOOK無し評価誤差なしとの対局結果
ゼブラは評価誤差がEdaxやMasterReversiに比べて大きいので、本来負けちゃいけないんですよね。。
実際50万棋譜計画のやつで学習させた場合はほとんど勝っていました。(負けても-8とかはありえない)
牛定石[f5f6d6]
黒持ち：+2
白持ち：+0
酉フック[f5d6c3d3c4f4c5b3c2e3]
黒持ち：+8
白持ち：-8
金魚[f5d6c3d3c4f4c5b3c2e6]
黒持ち：-2
白持ち：+4
FJT[f5d6c3d3c4f4c5b3c2e6]
黒持ち：-4
白持ち：+2
コンポス[f5d6c3d3c4f4f6]
黒持ち：-2
白持ち：-6
- 517 名前：名前は開発中のものです。 mailto:sage [2016/09/01(木) 22:33:13.77 ID:PkLGbL4G.net]
- マイナーゲームで良質の棋譜が大量にない場合、どうやって学習させればいいんだろう？
- 518 名前：名前は開発中のものです。 mailto:sage [2016/09/02(金) 09:47:35.76 ID:+DjGOwAN.net]
- 事前学習じゃなくて、強化学習な手法を試したら良いのではないかな。
何をどうすれば良いのか、俺はわからんけど。
- 519 名前：名前は開発中のものです。 mailto:sage [2016/09/03(土) 00:54:14.21 ID:lICUKSF2.net]
- うおお線形回帰とか最小二乗化とかわかんねぇぇ
- 520 名前：名前は開発中のものです。 mailto:sage [2016/09/03(土) 20:21:58.46 ID:lICUKSF2.net]
- とりあえず自己対戦棋譜が１０００局集まりそう。
まだ足りないかな？
ここからどう学習させればいいのか…
- 521 名前：名前は開発中のものです。 mailto:sage [2016/09/03(土) 21:00:16.00 ID:DJdWXbUx.net]
- 自分も機械学習とか興味あって細々作ってるけど、とても難しい
学習以外の部分も難しくて辛かったけど、学習はなかなか思い通りにするのに苦労する
とりあえずオンライン学習ってので、自分なりに色々やってみたけど
やっとちょっと上手くいき始めたかなってところ
ミスって学習やり直しとか何回もしてしまった
- 522 名前：名前は開発中のものです。 mailto:sage [2016/09/03(土) 22:28:55.42 ID:lICUKSF2.net]
- 今ブラッドリーテリーのモデルとやらを調べてる
数式ムズイＴ△Ｔ
- 523 名前：460 mailto:sage [2016/09/04(日) 01:59:20.91 ID:f4dqEnZp.net]
- >>520
オセロは今でこそ強いソフト同士の棋譜が手に入りますが、
初期は人が対局した棋譜(ISOなど)を残り十数手のみ修正して学習させていたようです。
マイナーゲームが何かによりますが、オセロみたく終盤で神のような読み切りが出来る場合は
自己対局の教師あり学習で適当なモデルでもかなり強くすることはできるかと思います。
- 524 名前：460 mailto:sage [2016/09/04(日) 02:00:39.37 ID:f4dqEnZp.net]
- レス番号間違えました。。>>523は>>517宛てです。。
- 525 名前：460 mailto:sage [2016/09/04(日) 02:14:06.21 ID:f4dqEnZp.net]
- 自己対局中は暇なので、GUIの拡大縮小対応に手を出してみようと思ってドツボにはまりました。。
C#って描画ほんと遅いですね。。フルスクリーンにするとリスケールも含めて150msecぐらいかかります。
1024x768くらいだと50msecなのでギリギリ許容範囲内かなぁ。
あとGUIの実装に合わせて定石の変化度をツールバーから選べるよう実装していたのですが、
変化度を上げると着手時になぜか頻繁に落ちることが判明。
調べると、定石の木構造を作る処理に壮大なバグがあり、
３０万近くある定石のうち１万くらいしか読み込めておらず、
リストも頻繁に上書きされてめちゃめちゃ状態でした。バグというか実装になっていないレベル。。
変化度を弄った時の処理をほとんどテストしなかった数年前の自分を殴りたい。。
かなり昔のコードなので、もう修正をあきらめて再設計して一新しているところです。
- 526 名前：310 mailto:sage [2016/09/04(日) 17:00:43.77 ID:WEaBeSKk.net]
- 実際、開発中ってアドレナリン出てるから、ほとんどノーテストで行けるところまで
行っちゃって後で何やってるの俺？って事がしばしば（汗
というかここ数日も、非常につまらない確認漏れというか、毎回間違うswitch文でバグ
出しているのに気づかずに、これはメモリーリークか？それとも計算式が間違ったのか？
みたいな状態になっていました・・・。
さて、今いじってるディープラーニングの仕組みは、かなり汎用性持たせて作ってます。
あまりに収束具合が悪いので、試しに、Buroさんモデルにしてみました。１層の活性化
関数無しにして、入力プログラムを流用するだけなので簡単です。でも、なかなか収束
しない。そこで、過去にどこまで収束したのか、残ってるログを探したところ・・・実際、
同じような感じ（１σ＝約３．５石）でした・・・つまり、なんかできてると言えばできているし
これで満足かといえば満足ではなしと。また、なまじデバッグでまじまじ評価値を見ちゃっ
たため、これで本当に使えてるのか？状態です。
で、ミイラ取りがミイラになって、ディープラーニングの学習係数の最適化手法とか、
学習効率向上の方法を色々実装してました。勾配ノイズなる手法も入れてみました。
一体自分はどこに向かっているのだろうって状態です。
- 527 名前：460 mailto:sage [2016/09/05(月) 19:53:28.81 ID:5Av5ahUz.net]
- そういえば散々オセロソフトを開発しておきながらネット対戦のオセロを一回もやった事ないなと思い・・・
やってみると案外勝ててしまいました。
この形は有利不利とかイメージだけで打っていましたが、、人間のパターン認識も結構優秀ってことですかねｗ
- 528 名前：460 mailto:sage [2016/09/05(月) 20:11:21.05 ID:5Av5ahUz.net]
- >>526
ディープランニングはやはりなかなか曲者のようですな。
こちらも終盤の評価値が悪いところはよく見えて良いところは悪く見えるという平均化が起こっていてやばいです・・・
まずは次善手の割合を調整したのでどうなることやら。。
というかもうランダム数手をやめて、引き分けオープニングからの棋譜生成を重点的にやった方がいいのか考え中です。
- 529 名前：名前は開発中のものです。 mailto:sage [2016/09/05(月) 20:52:57.56 ID:A3E5Chzv.net]
- 学習始めたら速いPCが欲しくなってしまった
結果が出るまで時間掛かるなあ
- 530 名前：310 mailto:sage [2016/09/05(月) 22:33:11.28 ID:KkVISbKe.net]
- 上に書いた通り、線形回帰はディープラーニングに内包される計算手法ですので
（実際に最急降下法とバックプロパゲーション部分以外の計算式はほぼ同じ）、
学習率の設定にディープラーニングの最新の手法が使えるんじゃないかと思います。
学習率を外から与えるのではなく、初期値だけ与えて、後は誤差の具合を管理して
動的に変える。しかも、各重み毎に個別に学習率を変える。という発想です。
参考）
postd.cc/optimizing-gradient-descent/#gradientdescentoptimizationalgorithms
qiita.com/skitaoka/items/e6afbe238cd69c899b2a
※）数式で、ただの変数のように書いてますが、行列だったりベクトルだったり解読が必要です
自分はこの中で一番新しいSMORMS3を使用してみたところ、モーメンタム法の１０倍
以上の速さ（学習回数）で収束するようになったと感覚的に感じています。大体３０〜
５０回も回せば収束してしまう感じです。実装＆テストだけして確認していませんが、
AdamやRMSpropでもそん色ない程度には速くなると思います。
でも、早いPCで解決できるんなら、それに越した事はありませんねｏｒｚ
- 531 名前：名前は開発中のものです。 mailto:sage [2016/09/05(月) 22:36:42.16 ID:omFelghI.net]
- remi coulomの書いたMM法のコード見つけたが難しくて読めないorzorzorz
頑張って読むか
- 532 名前：310 mailto:sage [2016/09/05(月) 22:41:44.52 ID:KkVISbKe.net]
- いかなディープラーニングでも評価関数をいきなり作るのは厳しい気がしてきてます。
ここはアルファ碁の学習の仕方にならって、最初は次の１手を学習させてみようかと。
で、今までは頭でわかったつもりになっていた、多クラス分類問題を調べてみると、
Softmax関数の微分（バックプロパゲーションで必要）がわからない事にあらためて
気が付きました。
幸い、Softmax関数の定義があるひな形プログラムがあったので、これから解読です。
人さまのプログラムを見ると、自分がいかにC++を知らないのか、思い知らされますorz
- 533 名前：460 mailto:sage [2016/09/07(水) 01:48:41.72 ID:UfwPrMcb.net]
- 自己対局ですが、８手読みの２０マス空き完全読み設定だと、２日で大体２０万局終わることが分かりました。
ここまで速いと１０手読みの２２マス空き読みにランクアップしてみたいところ。。
体感だと1/3くらい遅くなっているのですが、２２マス空き読みだと偏りもひどくて、
１〜２日やってみないとなんとも言えない感じです。
２日で７万局程度終えられるなら、それでのんびりやろうかと思います。
- 534 名前：460 mailto:sage [2016/09/07(水) 03:02:28.63 ID:UfwPrMcb.net]
- 今しがた動かし中ですが、４００局完了まで１６〜１７分でした。
１時間で１４００局程度できそうなので、１か月で１００万局くらい行けそうです。
とりあえずこのまま１００万局集めようと思いますｗ
あと、初手ラムダムをやめて最悪手が数％程度で打つよう、評価値によって着手確率を調整しました。
最悪手の絶対値の１．２倍をそれぞれの評価値に加算した後の総和を使って
それぞれ加算した評価値を除算という古典的な方法ですが・・・
この方法だと絶対値が０に近いと悲惨な事が起こるので、絶対値は＞＝４にしています。
- 535 名前：名前は開発中のものです。 mailto:sage [2016/09/07(水) 23:27:08.71 ID:4MEE20eO.net]
- 誰かヘルプ！
このページのmm.tar.bz2の使い方わかる人いない？
www.remi-coulom.fr/Amsterdam2007/
makeしてexe作るところまではできたんだけど
README通りにmm.exe < input.dat > output.dat
ってやってもoutput.datが空ファイルにしかならない。
- 536 名前：460 mailto:sage [2016/09/07(水) 23:57:41.97 ID:UfwPrMcb.net]
- >>535
とりあえずmm.exe < input.datでコンソールに何が出てきてるか見た方が良いかも。
Cygwinでやるとこんなの出てきました。
$ ./mm < input.dat
..
Games = 2
Feature1 -0.89588 2.44949 0.0285792
Feature2 -0.867301 2.38048 0.15838
Feature2 -0.708921 2.0318 0.0737065
Feature2 -0.635214 1.88743 0.0358307
Feature2 -0.599384 1.821 0.0187057
・・・（略）・・・
0 1.49416
1 1.21426
2 0.586193
3 0.668003
4 2.13451
outputは下５行だけが出力されるみたいです。
- 537 名前：535 mailto:sage [2016/09/08(木) 00:10:42.63 ID:/oQCQhP8.net]
- >>536
おお、返信ありがとうございます。
mm.exe < input.datやってみましたが何も出ないです。
もしかしてinput.datはなにか編集しないといけないのでしょうか？
- 538 名前：535 mailto:sage [2016/09/08(木) 00:16:47.92 ID:/oQCQhP8.net]
- すいません。
makefileからコンパイルオプションを取り除いたところ結果が出力されました。
-O3がダメなのかなぁ。
ともかく、ありがとうございました。
- 539 名前：460 mailto:sage [2016/09/08(木) 00:21:28.75 ID:LcwQkLYi.net]
- >>537
input.datは全く編集せずにやりました。
Cygwin64bitだと動くのですが、環境によっては動かないんですかね・・・
gcc-5.4.0でビルドしましたが、コンパイラのバージョンの差異も原因かもです。
- 540 名前：460 mailto:sage [2016/09/08(木) 00:23:56.75 ID:LcwQkLYi.net]
- >>538
動いてよかったです。
最適化が悪さしていましたか。。-O1程度の方がいいかもですね。
- 541 名前：460 mailto:sage [2016/09/10(土) 21:06:28.42 ID:FA2ccDEd.net]
- >>534の読みを深くさせた自己対局棋譜ですが、１５万程度集まったので
無理やり学習してWZebraと対局させてみたところ、黒持ちで＋１２、白持ちで＋２でした！
次善手や序盤ランダムの考慮と読みを深くした効果が現れてて安心しました。。１００万達成した時の結果が楽しみです。
- 542 名前：460 mailto:sage [2016/09/11(日) 09:03:13.98 ID:UepiTkRD.net]
- ついにBOOKの読み込みとアルファベータによる手の選択を実装できました。
まだ最善しか着手できないので、誤差率によるランダム着手も実装しようと思います。
ゼブラのExtra-Bookをそのまま使っているので、ゆくゆくは自力で構築できるシステムを
考えたいところ。。
- 543 名前：名前は開発中のものです。 mailto:sage [2016/09/11(日) 11:41:57.36 ID:dMHrH3w2.net]
- >>542
やっぱり最終目標は完全解析なんですか？
- 544 名前：460 mailto:sage [2016/09/11(日) 15:25:12.97 ID:UepiTkRD.net]
- >>543
いえ、さすがにそこまでは・・・ｗ
Edaxの作者が完全解析を先行してやってるみたいですし、そこは任せようかなと。
最終的にEdaxやMasterReversiと同等の評価関数やBOOKを作成できるレベルまで持っていきたいです。
- 545 名前：535 mailto:sage [2016/09/12(月) 21:36:16.05 ID:vkOlNla9.net]
- >>535です。
<number of gammas for this feature>というのがよくわからん。
とりあえず１にしとけばＯＫみたいな？
input.dat色々いじってみたけど確かにそれっぽい値はに出る。
- 546 名前：310 mailto:sage [2016/09/12(月) 22:52:49.52 ID:5hD0Gf9W.net]
- >>460さん、着実に進んでいてうらやましい。
自分はというと、だんだんとオセロの事は忘れて、ディープラーニングのプログラムの
確認修正、機能追加に頭がスイッチしちゃってる感じです。むむむ。
C++スキルも微妙に上がってきていますので、オセロ側に戻る時も、もう１回１から
全部コーディングしなおした方が良いかもｗ。ほとんどCの状態から始まって、もう３回
くらい書き直しているので、そんなに時間かからないと思うし。
と、どんどん脱線していくのであった。
>>545さん
そのプログラム見てないですが、γというと、たいてい何かの係数パラメータじゃないかと。
- 547 名前：535 mailto:sage [2016/09/12(月) 22:58:52.81 ID:vkOlNla9.net]
- >>546
返信ありがとうございます。
係数ですか。詳しい説明がどこにあるのかわからなくて。。。
プログラムって最初から書き直すほど洗練されていきますよねｗ
- 548 名前：535 mailto:sage [2016/09/14(水) 22:57:07.95 ID:lQtAf6dT.net]
- 本番のデータ使うと結果が表示されないorz
入力ファイルの形式なんか間違ってるんだろうけど
何間違ってるのかわからんorz
- 549 名前：535 mailto:sage [2016/09/15(木) 21:47:58.41 ID:NUOEmvbB.net]
- もしかして万が一だけど同じフィーチャーに属するガンマは同じチームになれないとかあるのか？
- 550 名前：535 mailto:sage [2016/09/15(木) 23:35:36.05 ID:NUOEmvbB.net]
- うお〜わかんねぇぇぇ
コード熟読しかないのか？
厳しいぃぃぃ
- 551 名前：310 mailto:sage [2016/09/16(金) 00:03:09.94 ID:44uFy3HE.net]
- featureってコンピュータの世界では、機能を意味するよね。
あと、もう一度読み返すと、γが複数形になってるので、
γの数であってγの値ではなさそう。
「この機能で使用するγの数」となるけど・・・
これだけだと正直なんのこっちゃだねｗ
この機能が何を表すかどこかに書いてないの？
- 552 名前：名前は開発中のものです。 mailto:sage [2016/09/16(金) 07:31:01.43 ID:mrye4Vvn.net]
- もう一年くらい将棋をちまちま作ってるけど、なかなか強くならないな
最近ようやくアマ高段くらいには行った感じだ
ランダムでただ指すところから始めて、先人の歴史を全部なぞるようにプログラムして来た
みんなはゲームは違うだろうけど、もうその筋ではかなり強いレベルなの？
- 553 名前：460 mailto:sage [2016/09/16(金) 13:50:57.59 ID:gJ0b6G2+.net]
- 自己対局での棋譜生成ですが、10手読みだとまだまだ精度が落ちるようで、思いきって中盤16手読みの24手読みにしてみたところ…10分で35局…w
今日は出勤時間がせまっていたのもありこのままで生成していますが、
中盤14手読みか12手読み、22マス空き完全読みにした方が良さそうです。
ああ、PC10台くらい並べて棋譜生成したい…
- 554 名前：535 mailto:sage [2016/09/16(金) 21:02:11.49 ID:l6ih+FVI.net]
- >>551
返信ありがとうございます。
どこかに解説あるんですかね？
ちょっと本気で探してみるか…
- 555 名前：名前は開発中のものです。 mailto:sage [2016/09/16(金) 21:22:13.05 ID:l6ih+FVI.net]
- www.remi-coulom.fr/Amsterdam2007/
の「囲碁の手のパターンのEloレーティングを計算する」をよみゃいいのかな？
もしかして
- 556 名前：535 mailto:sage [2016/09/16(金) 22:26:17.01 ID:l6ih+FVI.net]
- 囲碁の手の特徴にパス、トリ、伸び、自己当たり、当たり、
盤端との距離、直前の手との距離、２手前の手との距離、モンテカルロオーナー
などがあると書かれている。
feature=特徴？
- 557 名前：名前は開発中のものです。 [2016/09/17(土) 22:31:21.85 ID:mQ7ypIPZ.net]
- 下がりすぎ
上げるぜ
- 558 名前：460 mailto:sage [2016/09/18(日) 02:39:21.57 ID:6855FAgd.net]
- オセロオンラインというアプリに付属されている真・HAYABUSAと対戦してみました。
どうも定石がかなり充実しているようで、普通にやってると
こちら側が記憶していないドロー進行に分岐されて負けます。。
しょうがないので野兎とか序盤から不利な定石に分岐して評価関数の勝負に入らせると、案外勝てましたｗ
評価チューニングがEdaxなどに比べると結構甘いようです。
とはいえ国産アプリでここまでチューニングされているとは思わなかったので驚いています。
- 559 名前：名前は開発中のものです。 mailto:sage [2016/09/18(日) 09:21:43.32 ID:u+E0nELs.net]
- おめでとうございます
ひょっとして物足りないと感じましたか？
それなら次は
PREMIUM・HAYABUSA に挑戦してみませんか？
いまなら特別キャンペーン中につき(ry
- 560 名前：535 mailto:sage [2016/09/21(水) 00:02:39.39 ID:DjDR9tnr.net]
- すいませんが誰か俺のデータを>>535のmm.exeにかけてみてくれませんか？
まじで何が悪いのかさっぱりわからん。
環境の問題かも？
thuploader.orz.hm/uploader/
のmy_input.zipが俺のデータです。
だれか親切な方よろしくお願いします。
- 561 名前：310 mailto:sage [2016/09/21(水) 01:01:30.09 ID:CFP8O8Vn.net]
- >>558
www.slideshare.net/uenokazu/20130906-hayabusa
これですね。色々AIの特徴を説明してますが、まあLogistelloの
日本語解説みたいな感じで、皆さんのAIもほぼ同じ構造かなと
思います。
テレビ番組企画でEdaxと良い勝負するAIを短期間で開発したという
のが開発経緯らしいので、恐らくEdaxをたたき台にして定石DBの
学習をしていると思います。
つまり、Edaxよりちょこっとだけ強ければよいと割り切った目標をたて、
目標がはっきりしている分、手間をかける箇所を、定石DBの対局学習に
集中したって感じだと思います。想像ですが。
で、これ読んだ時に、オセロAIの強さって結局は定石DBじゃんと、
結構真剣に思いまして・・・。まあ、それゆえ、オセロAIの開発者の多くが
ドロー進行のリストアップに走ってしまったのかなぁと。
- 562 名前：535 mailto:sage [2016/09/21(水) 20:18:28.81 ID:DjDR9tnr.net]
- 環境が悪いのかと思い押し入れからノートＰＣを引っ張り出して走らせてみたところ
計算結果がNaNになってるっぽい。
駄目なのか？うーむ。
- 563 名前：460 mailto:sage [2016/09/22(木) 13:08:07.84 ID:aLXK2a2e.net]
- >>561
ほとんど考えずに打ってくるので、もしやと思い定石からわざと外してみたらいきなり１０秒超の長考でした・・・ｗ
本当にBOOKの精度がEdaxよりちょっと良いのでしょうね（逆に言うとそれだけ）
開発期間が短期間って制限があったらしいので、しょうがないのでしょうけどもったいない気もします。
- 564 名前：310 mailto:sage [2016/09/22(木) 20:43:51.38 ID:esximYO0.net]
- BOOK学習ってあんまり実装例見ないので、その点は評価しても良いかなと。
Buroさんの論文はあるので、自分もいずれは実装しようと思っています。
が、BOOK学習で、別のオセロプログラムとひたすら対局学習させると、そのプログラム
相手限定ならほぼ負けないBOOKが得られるんです。
EdaxのBookは引き分け進行のリストアップで、そこに記載されていない分岐は、基本は
分岐した方が負けるはずなのですが、分岐後は純粋に評価関数の読みの勝負になるの
で、いかなEdaxでも間違える事があります。で、勝った手順、負けた手順をリストアップし
ていき、負けたら勝つ手順が見つかるまで、ランダムな手番で別の分岐を探していく。
Edax側がBOOK学習をオフにすれば、間違えた箇所は何度対局しても同じ間違いをする
ので、勝った手順になれば勝ちは確定し、負け手順は自分は打たないようになっていく。
要するに、そのプログラムの弱点を学習する事になるので、勝率が上がっていく。
EdaxのBookより精度が良いというのとはちょっと違う気がします。
とはいえ、Edaxとかの引分進行リストをパクっても意味が無いし、限られた時間で、パソコン
ぶん回して引分進行を発見していっても、間に合わないしで、これしかやりようがないんだ
とは思います。
実はこれに気が付いた時、BOOK学習＋乱数着手（打たない箇所がない）で、自己対局を
延々と続けていくと、究極のBOOKができるんじゃないかと妄想してしまいましたが、よくよく
考えたら、それって全手順リストアップというか、完全解析大差ない事に気が付きました（汗
- 565 名前：535 mailto:sage [2016/09/22(木) 21:29:54.82 ID:kzrJOomn.net]
- RemiさんのMM法諦めるしかないのかなぁ
他の学習方法探すか…
- 566 名前：535 mailto:sage [2016/09/27(火) 23:07:26.38 ID:AU3JIk+S.net]
- いまいち手ごろな強化学習が見つからなかったので
モンテカルロ木探索をパターンに応用することにした。
- 567 名前：535 mailto:sage [2016/09/28(水) 22:21:31.56 ID:DgDU0GF3.net]
- とりあえずConnect 4のAI書いてるんだけどまあまあ強くなってきた。
Connect 4は完全ソルバが公開されてるので
先手でこれに一発入れるのが当面の目標。
Connect 4 完全ソルバ
connect4.gamesolver.org/?pos=
- 568 名前：535 mailto:sage [2016/09/29(木) 20:34:59.17 ID:1GHOMTNV.net]
- 評価関数の基になるパターンが悪いせいで
一生学習しても完全ソルバに勝てない気がしてきました。
- 569 名前：535 mailto:sage [2016/09/29(木) 21:12:02.15 ID:1GHOMTNV.net]
- まあ、Connect 4は習作なので一定の成果が確認できたということで一旦休止します。
これから本番のゲームに着手します。
できたConnect 4のexeをアップしてみます。
fast-uploader.com/file/7030706137212/
Connect 4の経験がない人にはかなり強く感じるはずです。
遊んでみてください。
- 570 名前：535 mailto:sage [2016/09/30(金) 22:44:03.81 ID:Ol1OvzoR.net]
- 人為的なパターンを評価関数の基礎においてると
幾ら学習しても完全解析にたどり着かない可能性があるよね？
十分学習すれば完全解析にたどり着くと保証できる
出来るだけ効率の良いパターンセットてのは
なんとか数学的に割り出せないだろうか。
- 571 名前：460 mailto:sage [2016/10/01(土) 15:19:39.34 ID:NwASWJgd.net]
- >>570
オセロしか開発したことがないのですが、connect4のノード数だと4兆程度だと聞きました。
オセロよりも合法手生成が簡単かつ常に7つなので、相当早い段階から完全読み出来そうです。
現在のAI同士を戦わせて数千から1万局程度の棋譜を作成すれば、
簡単なモデル（縦横斜めだけとか）でほぼ完ぺきな評価関数が線形回帰で
出来そうな気がするのですが、どうでしょうか。
- 572 名前：535 mailto:sage [2016/10/01(土) 16:21:13.92 ID:UW3pMcrq.net]
- レスありがとうございます。
線形回帰は試したことないですが縦横斜めのモデルで
勝率で重みを振って評価関数を作ったのが>>569です。
線形回帰で学習させれば>>569はもっと強くなるんですかね。
縦横斜めモデルは意外とイケてないんじゃないかというのが今の私の感触です。
あと初手から１０手目位まではＢＯＯＫ作ったほうが良いのかなぁとも思ったり。
終盤完全読みは今やってないですが、やってみる価値ありそうな気がします。
- 573 名前：535 mailto:sage [2016/10/01(土) 22:20:23.15 ID:UW3pMcrq.net]
- ちょっと思いついたんで、縦横斜めのパターンに加えて、
盤面の空マスの情報をパターンに加えて再学習させてみます。
もしかしてこれなら完全ソルバに一発入るかも？
- 574 名前：460 mailto:sage [2016/10/02(日) 00:33:37.72 ID:jNeryq9p.net]
- >>572
完全読みは深くすればするほど線形回帰で有利になってくるのでオススメです。
オセロでも20手読みの棋譜と22手読みの棋譜では2手違いなのに強さが段違いでしたので・・・
- 575 名前：535 mailto:sage [2016/10/02(日) 00:38:22.45 ID:8lzQrfNi.net]
- レスありがとうございます。
オセロでも20手も読めるのか！
Connect 4ならもっと読めないとダメですね〜
線形回帰はちょっと調べてみます。
- 576 名前：名前は開発中のものです。 mailto:sage [2016/10/02(日) 01:27:36.48 ID:8lzQrfNi.net]
- 完全読みかなり厳しいorz
なぜオセロは２０手も読めるんだろう？
よほど実装がいいのか？
- 577 名前：460 mailto:sage [2016/10/02(日) 04:03:56.40 ID:jNeryq9p.net]
- >>576
オーダリングはしてますか？オーダリング無しだと20手は厳しいと思います。
オセロは最後あたりだと数マスしか無くなるので合法手が1手しかないとかも頻出するのですが
connect4は最後まで７つあるので、20手はちょっと難しいかもですね。。
- 578 名前：名前は開発中のものです。 mailto:sage [2016/10/02(日) 18:53:33.45 ID:8lzQrfNi.net]
- すいません。
オーダリングとはよさそうな枝を先に読むってことでしたっけ？
なぜそれで計算量が削減できるんでしたっけ？
最終的に全部読むなら結局同じのような…
素人考えですが。
- 579 名前：名前は開発中のものです。 mailto:sage [2016/10/02(日) 19:09:19.16 ID:8lzQrfNi.net]
- 完全ソルバと対戦させると誤った学習をしてしまってるように見えます。
悪い手を良い手と思ってる。
うーん。
学習量が足りないだけなんだろうか？
- 580 名前：310 mailto:sage [2016/10/02(日) 20:32:53.90 ID:n86BxDyi.net]
- >>578
αβ刈りしているでしょ。
最初に読んだ手でα値が最高値になる。
次の手を１段読んだ時、それを超える手が出ないので、全ての手がβカットの対象となる。
本当に一番良い手を選べるんなら、そもそも読む必要がないけど、何らかのヒューリスティック
な基準でよさそうな手から読むと、それが正解だった時に、βカットが大量発生して、実際に
読む事になるノード数が激減する。
αβ刈りみたいな方法は、後ろ向き枝刈と言って、完全読み切りに必要が無い手を読まずに
済ます手法。
- 581 名前：名前は開発中のものです。 mailto:sage [2016/10/02(日) 20:59:00.22 ID:8lzQrfNi.net]
- レスありがとうございます。
αβですか〜。
実はあれ、私、理解してないんですよね。
説明読むとなんとなくわかった気になるんですけど
いまだ実装できたことない。orz
MinMaxなら実装できるんですけどね。
- 582 名前：名前は開発中のものです。 mailto:sage [2016/10/02(日) 21:29:32.92 ID:8lzQrfNi.net]
- αβが最高に上手く働けばMinMaxの倍の深さ読めるんでしたっけ？
それなら２０手行けそうですね。
- 583 名前：535 mailto:sage [2016/10/03(月) 00:03:31.42 ID:5qtC3pHr.net]
- 完全ソルバでいろいろ試してるんですが、
Connect 4って思ったよりずっと底の浅いゲームのような気がしてきましたｗ
□□□□□□□
□□□○□□□
□○□●□○□
□●□○□●□
□○□●□○□
□●□○□●□
この配石が必勝法の骨格のようです。
ここさえ押さえればあとは自動的に勝つる。
- 584 名前：310 mailto:sage [2016/10/03(月) 01:55:16.80 ID:alBluDZI.net]
- >>582
深さはなんとも言えないけど、オセロで言えば、αβだけでノード数は1/100くらいに
なるってどこかのサイトに出ていたかな。1/100だとアバウト２〜４手くらい深く読めるはず。
置ける箇所が結構絞られるゲームなので置換表入れたら更にいけるかもしれない。
あとはビットマップの実装だね。
ゲームの規模的には（ネットチラ見だけど７兆パターンって書いてあった）完全解析を
ターゲットにしても良い気がする。軽はずみ発言だけど。
- 585 名前：310 mailto:sage [2016/10/03(月) 02:02:27.60 ID:alBluDZI.net]
- ちなみに。当方、Sparse正則化付AutoEncoderの実装に不安が付きまとった挙句、
MNISTという手書き数字認識のテストで動作確認をするという遠回りな事をしてます。
というか、何をしたら認識率改善するのかという事を考えて、色々といじって時間を
食ってました。
結果、オセロの方が盤面は狭いけど、良く現れる状態の数と、その特徴の複雑性が
圧倒的に違うので、やはり畳み込みのような、盤面の特徴の解釈の仕方を外から
与える方向に行く必要がありそうだという事になりました。
いままでも薄々気づいていたんですが。
ただ、画像解析や囲碁のように隣接するノードとの関係性からスタートしても意味がなさ
そうなので、その辺の工夫をしてみようと思っています。
- 586 名前：535 mailto:sage [2016/10/03(月) 22:00:29.42 ID:5qtC3pHr.net]
- 完全解析はできるに越したことはないですが、
Connect 4やってるのは勉強の意味あいが強いので
Connect 4以外では通用しないようなヒューリスティックで強くなるのは
出来るだけ避けたいです。
理想的には汎用的な手法で完全解析レベルまでもっていきたいですね。
αβもそろそろ片づけなければいけない宿題ですね。
- 587 名前：460 mailto:sage [2016/10/04(火) 00:53:57.08 ID:OTRn7xTU.net]
- コネクト４、軽く実装してみましたが（ほとんどオセロの流用）
単純アルファベータ、置換無しオーダリング無し、
評価関数が連続している数だけ考慮・・・だと8手涛ﾇみは一瞬ですｂｪ、12手読みはｂｷでにきついでｂｷね。。
末ｾ日評価関数を給lめてみてとりｂえず8手読みで535さんのAIと対戦してみる予定ですｗ
- 588 名前：535 mailto:sage [2016/10/04(火) 21:18:36.22 ID:dRd+Ucp+.net]
- おお！楽しみですね。
ありがとうございます。
工夫無しの８手読みなら勝ちたいですねｗ
ちなみに私のＡＩは結構思考時間が長いのでｗ
統計といえるほどの試合数はこなせないと思いますが期待しちゃいます。
よろしくお願いします。
- 589 名前：460 mailto:sage [2016/10/05(水) 00:36:10.60 ID:JvSO0BT6.net]
- >>588
結果ですが、ぼこぼこにされましたｗ
ヒューリスティックだとやはり限界ありますね〜
- 590 名前：460 mailto:sage [2016/10/05(水) 11:21:34.44 ID:WWXbBFqc.net]
- オセロは大体やることはやったので、そろそろ将棋か囲碁に着手してみようかと思っています。
ルールの実装が楽なのは囲碁なのかな…
自身が囲碁を打ったことがないのでルールから調べないとですがw
- 591 名前：310 mailto:sage [2016/10/05(水) 12:08:04.26 ID:Iif/OHnc.net]
- やっぱ囲碁行きたいですよね。
昔調べた感じでは、日本ルールと中国ルールで勝敗の判定が微妙に違って、日本
ルールだと曖昧なところがあるので、AI開発は中国ルールでしているみたいです。
ルールの実装は着手禁止点が少なくて拍子抜けするくらいですが、その先が・・・
色々と一筋縄ではいかないようです。
オセロの評価関数ですが、AutoEncoderの限界を感じ、DCNNの実装を始めていますが、
バックプロパゲーションがスパゲッティでわけわからん状態になっています。しばらくは
紙と鉛筆で考える必要がありそうです。DCNNがある程度できたら、僕も囲碁に行って
みようかな。
その前にConnect4に脱線してみたい気も（汗
- 592 名前：535 mailto:sage [2016/10/05(水) 19:29:25.92 ID:KcSrUkxH.net]
- >>589 >>590
ん。ＩＤが違いますね。
>>589は偽物ですかね?
- 593 名前：535 mailto:sage [2016/10/05(水) 19:48:59.89 ID:KcSrUkxH.net]
- >>591
囲碁は終局判定させるのも結構難しいみたいですね。
セキの判定とか。
Connect 4は易しすぎず難しすぎずいい塩梅のゲームだと思います。
完全解析も狙えますしｗ
- 594 名前：460 mailto:sage [2016/10/05(水) 21:34:13.58 ID:JvSO0BT6.net]
- >>592
同一ですよ！
スマホから書き込んだのでID変わってしまいました
- 595 名前：535 mailto:sage [2016/10/05(水) 21:53:19.85 ID:KcSrUkxH.net]
- ん〜そっちのＩＤ使って同一って言われても。
>>590のIDで書き込みお願いします。
- 596 名前：名前は開発中のものです。 mailto:sage [2016/10/05(水) 22:05:36.36 ID:KcSrUkxH.net]
- まあ、こんな過疎スレでわざわざ嘘をついて騙るひともいない気もしますが…
- 597 名前：名前は開発中のものです。 mailto:sage [2016/10/05(水) 22:31:22.88 ID:KcSrUkxH.net]
- >>590の書き込み時間からすると学校や職場から書き込んだ可能性もありますね。
とすると>>590のIDでは今は書きこめないかもしれませんね。
- 598 名前：460 mailto:sage [2016/10/06(木) 20:28:59.44 ID:1mBat3Ee.net]
- 460の名前があるものは偽物ではないので大丈夫です・・・
コテ付けた方がいいかもですけど、まぁこの人数ですし、そこまでする必要もないかなと思いますー
囲碁ですが、ネットから集めた棋譜をざっと見てみましたが、投了がほとんどなんですね・・・
中押し勝ち？はて・・・？となって調べるくらいルールを理解していないという；；
投了だとするとロジスティック回帰でないとあんまり良い精度は出なさそう・・・？
というより一般的な機械学習のアプローチで良いのかも微妙ですね。
やはりディープランニングなのでしょうか。。。腰が引けますｗ
- 599 名前：535 mailto:sage [2016/10/06(木) 21:04:20.88 ID:/7+JrWaw.net]
- >>598
ん〜そうですか。
それは失礼しました。
- 600 名前：310 mailto:sage [2016/10/06(木) 22:11:43.15 ID:2nbHwrUk.net]
- >>598
投了は将棋用語で「参った」です。むしろ中押し勝ちと同じ意味です（汗
将棋の場合、詰まれるまで粘る事はみっともないこととされているので、
入玉とか千日手、反則負けなどの特殊なケースを除けば全て投了です。
囲碁は、逆に終局まで打つ事があって、「数え碁」と呼ぶみたいです。
この間のアルファ碁ｖｓセドルの試合見て覚えました（笑）
オセロのように必ず最後まで打って、得点差がはっきりと出るゲームの
方が珍しいのかも知れません。
オセロみたいなmin-Max＋評価関数は既にダメ認定されてます。
アルファ碁までは、MTCS（モンテカルロツリーサーチ）が主流で、
モンテカルロ系には評価関数はありません。着手順決定のための
ヒューリスティックが大事になります。
アルファ碁の登場で、一気にディープラーニングにシフトしていますが、
基本骨格はMTCSです。着手順のヒューリスティックに「次の１手を返す
DCNN」と、評価値たるモンテカルロの勝率に、補助的に「勝率を返す
評価関数としてのDCNN」を組み合わせているようです。
- 601 名前：310 mailto:sage [2016/10/08(土) 22:22:06.53 ID:wBSLMo4h.net]
- あ、MTCSじゃねー。MCTSだ。
>>600書きながら、Q-Learningなるものの存在を思い出して、調べ始めたら、
やっぱりDQN（ブロック崩しで有名になった奴）はQ-Learning＋DeepLearning
だった。
興味津々だけど、どんどん発散しちゃうなぁ。
- 602 名前：535 mailto:sage [2016/10/10(月) 19:51:24.57 ID:WonRpXhk.net]
- なんかモチベーションあがらんなぁ
三連休まるまるさぼってしまった。
- 603 名前：名前は開発中のものです。 mailto:sage [2016/10/10(月) 22:22:05.27 ID:WonRpXhk.net]
- 将棋電王戦あったみたいですね。
- 604 名前：名前は開発中のものです。 mailto:sage [2016/10/10(月) 22:38:31.22 ID:WonRpXhk.net]
- 優勝はポナンザか。
一発勝負のトーナメントなのに強え。
- 605 名前：名前は開発中のものです。 mailto:sage [2016/10/10(月) 23:10:57.87 ID:WonRpXhk.net]
- ん？
一発勝負じゃないのか？
- 606 名前：310 mailto:sage [2016/10/13(木) 11:06:43.08 ID:f6Nd8WJL.net]
- ここ数日、気分転換でConnect4やってました。
ビットマップ方式の置換表付αβのオーダリング無し。リーチ状態のみ後方枝刈。
完全解析ができそうか確認してました。
全４２手でルートから３０手くらい置換表適用すると、序盤はかなり良いペースで探索
してくれますが、数時間で置換表パンク。置換表を２０手くらいまでにとどめると、びっくり
するほど速度低下。手順の前後で簡単に同形が生じるので、置換表が肝なのは確か。
というか、手順前後の同形を排除する仕組みが作れればメモリ節約可能になる。
けど、それを一般化した処理が置換表なので、全てカバーしなくても３手以内くらいで
排除すれば状況はかなり改善するかも知れない。
あと、パンク前も探索が進むにつれて徐々にnpsが低下していきます。原因不明。
書きながら気づいたのですが、置換表のハッシュ値はオセロのものを流用しています。
Connect4はビット数が少ないので、ハッシュ衝突が頻発して、格納効率が低下して
領域拡張が頻繁におきて、探索速度も落ちている可能性があります。
というわけで、現段階では置換表周りを工夫しないと完全解析は厳しそうです。
一方で、空２６箇所くらいの終盤探索なら実用的な速度が出そうな感触です。
>>569の完全ソルバは、評価値表示機能があるけど、あの表示の仕方だと、証明数
探索みたいな手法を使っているのかなぁ。ほぼノータイムで最善手のみ着手してくる
ので。完全ソルバの出現で終わっちゃってるゲームなんでしょうね。
で、このゲームってMCTSの練習台にちょうど良いのではないか？とふと思いついて
しまいまして・・・。更に脱線しようかなと思います。Playout関数は作りましたが、ツリー
展開の仕方に疑問があり、まだ調べ中です。
- 607 名前：名前は開発中のものです。 mailto:sage [2016/10/13(木) 21:15:41.15 ID:XMNeJMFS.net]
- 310氏もConnect 4 参戦か〜
- 608 名前：535 mailto:sage [2016/10/13(木) 21:53:14.86 ID:XMNeJMFS.net]
- 名前書き忘れた。
終盤２６手読み行けそうというのは流石ですな。
完全解析ってConnect 4だと簡単そうに見えますがこれが意外と手強いんですよね〜
- 609 名前：310 mailto:sage [2016/10/15(土) 13:58:53.52 ID:iZ3eY/zy.net]
- NPS低下問題はやはりハッシュ衝突のようで、ちょこっと直したら解消しました。
Connect4は手順前後しても同じ形になる事が多いゲーム（DAG問題多発）なので、
置換表を上手く使わないと、７兆種類あると言われている盤面を何度も重複探索して
しまう事になります。が、置換表探索と登録のオーバーヘッドは結構大きく、メモリ
パンクでスワップ多発の問題も起きます。
今の設定だと残り２７手探索くらいなら難しい問題で１分程度で解けそうです。
NPSは２０メガくらい。が、メモリパンクや重複探索の問題があるので、その速度を
もとに完全解析に要する期間を推計するのは無理っぽい感じです。
というわけで、完全解析はこの辺にして、MCTSの方に行きます。
- 610 名前：535 mailto:sage [2016/10/15(土) 20:55:10.85 ID:jn3cHMWR.net]
- >>609
多分純粋なMCTSだけではあまり強くならず、
プレイアウトになにがしかの工夫を入れる必要が出てくると見てます。
逆にプレイアウトさえ改良できればMCTSはびっくりするくらい強くなる。
しかしそれでも完全ソルバには届かない。みたいな感じだと思います。
- 611 名前：310 mailto:sage [2016/10/15(土) 21:29:59.48 ID:iZ3eY/zy.net]
- MCTS（UCT）多分できました。STL様様です。
探索時間１秒で４０万プレイアウト。
playout部をnegamax的に書いたので、ちょっと混乱しました。
まだ終局判定とかいい加減で、引分近辺で落ちる可能性あります。
オセロでも１秒で１０万プレイアウト以上いけるんじゃないかなぁ。
探索時間固定できるのでオセロ序盤〜中盤で使えるかも。
>>535さんのプログラムはもうダウンロードできないですね。
- 612 名前：535 mailto:sage [2016/10/15(土) 21:54:42.38 ID:jn3cHMWR.net]
- 秒速40万プレイアウト！？すげぇぇぇぇ
1プレイアウト=1手てことですか？
1プレイアウト=1局てことですか？
- 613 名前：535 mailto:sage [2016/10/15(土) 22:17:47.78 ID:jn3cHMWR.net]
- 460氏もオセロで10000Knps〜15000Knpsとか言ってるし、まじか〜
やっぱ本気でやってる人達は違うのかな…
- 614 名前：535 mailto:sage [2016/10/15(土) 23:46:45.43 ID:jn3cHMWR.net]
- NPSは２０メガって書いてありますね…
すいません。
- 615 名前：310 mailto:sage [2016/10/16(日) 01:32:06.03 ID:KTdXBWLt.net]
- プレイアウトなので１局です。色々ごにょごにょはありますが、ランダム着手で、
とりあえず勝負がつくまで打ちます。これで１プレイアウト。
速度が出るのはビットマップとBMI命令などのX64命令を使ってるからだと思います。
が、Perfect Solverに先手で勝てません（汗。５手目に必ず間違えます。
評価値を眺めても、当たり前のように、正解（真ん中列）が最下位になります。
パラメータをそこそこいじってみましたが、状況は変わらないです。
一本道には弱いって事かなぁ。
とはいえ、自分がやると、さっくりと負けてしまいます（汗
- 616 名前：310 mailto:sage [2016/10/16(日) 13:25:18.14 ID:KTdXBWLt.net]
- mobility周りにバグがあって直したところ、１秒読みでPerfect Solverに先手で勝ちました。
昨夜は１２０秒読みでも同じ手順で負けていました。
とはいえ、乱数が絡むので引き分ける事もあります。
まだ若干問題があります。１本道を交互に着手していくと自動的に勝ちが確定する盤面
なのに、評価が引き分けになっています。プレイアウトの終局判定で何かの条件が抜け
ていて、勝ちと判定されていない感じです。
直したらまた勝てなくなったりして（汗
C++の診断ツールを今回初めて使ってみました。
関数ごとの使用時間がわかるようで、速度アップの検討に重宝します。
が、どうもUCB1の計算で使うsqrtとlogを使ってる箇所でCPUを９割くらい使っている
感じです。見方が良くわからないけど、多分そういう状況。速度アップ難しい。
- 617 名前：535 mailto:sage [2016/10/16(日) 16:43:19.50 ID:Ts0NTtMt.net]
- 一秒読みで完全ソルバに勝とかまじか〜
やっぱ積み上げてきた基礎力が違うんだろうな〜
- 618 名前：310 mailto:sage [2016/10/16(日) 17:19:15.26 ID:KTdXBWLt.net]
- どもです。評価値問題は治りました。
乱数じゃなくて、ある手順で引き分けな手を選んでしまう事が判明したので探索時間
を延ばしてみたら、逆に序盤で負け手順を選んでしまうようになりました（汗。
ツリー部の地平線臭い感じなのかなぁ。
というわけで、たまたま選んだ１秒が良かっただけかも知れませんorz
MCTSも理論的には探索回数を∞にすると、最善手を必ず導き出す事は保証されて
いるらしいのですが、中途半端な回数の時は保証されていないんですよね。
- 619 名前：535 mailto:sage [2016/10/16(日) 21:36:30.64 ID:Ts0NTtMt.net]
- なんか将棋で評価値を深く探索した時の評価値に近づけるっていう学習方法があるみたいですね。
ちょっと興味あります。
- 620 名前：310 mailto:sage [2016/10/16(日) 22:45:31.89 ID:KTdXBWLt.net]
- なんか、デバッグ報告みたいな状況になってすみません。
地平線臭い状況を調べていたら、負ける寸前なのに評価値が勝ちになってます。
つまり負けを認識していない。
着手を間違えるのはこの辺も原因かも知れません。
ぱっと思いつく原因が見当たらないので、しばし長考します。
- 621 名前：535 mailto:sage [2016/10/17(月) 22:03:40.14 ID:B9d5KHtX.net]
- connect 4序盤ブック作ってみようかな。
完全ソルバ丸パクリでｗ
- 622 名前：310 mailto:sage [2016/10/18(火) 00:57:04.06 ID:k8M1GDOc.net]
- 色々直して、ほぼバグは取れたと思います。
で・・・強くなったはずですが・・・PerfectSolverに先手で勝てなくなりました。
かつて勝てたのはたまたま上手くバグっていたという事みたいです。
１秒設定は途中で間違えて引き分け、１０秒設定は初手で負け確定（真ん中以外に着手）。
１秒設定で初手真ん中を選択するのはたまたまかもしれません。
初手だけ調べると１５０万プレイアウトくらいで間違えはじめ、１５億プレイアウトまで確認
しましたが、雰囲気的には当分正しい答えに戻ってこないようです。
評価値の推移を見ると、一本道問題に引っかかっているように見えます。
DAG問題がやっぱり気になるので、ハッシュと組み合わせて合流できるようにしてみます。
多少は改善するかも知れないし、逆にもっと早く真ん中から外れるかも。
- 623 名前：名前は開発中のものです。 [2016/10/18(火) 17:50:18.00 ID:7idTlLLA.net]
- 読めば読むほど弱くなるとは不思議
ucbの計算間違えてるとかでは？
- 624 名前：名前は開発中のものです。 [2016/10/18(火) 19:31:31.87 ID:4bRvdGb+.net]
- ボードゲームのオリジナルオーダー制作
www.logygames.com/logy/ordermade.html
簡単に本格自作ボードゲームが作れる時代到来！！
jellyjellycafe.com/3869
100円ショップでボードゲームを自作しよう
https://sites.google.com/site/jun1sboardgames/blog/makeyourbg
ノーアイデアでボードゲームを作ろう第1回「100円ショップで物を買う」
boardgamelove.com/archives/boardgame-make-1/
自作ゲームをゲームマーケットで売って来た
portal.nifty.com/kiji/160418196277_1.htm
「街コロ」はカードゲームに興味ありな初心者の入門用に最適、サイコロを振って
カードを集めどんどん自分の街を発展させて勝利を目指せ
news.livedoor.com/article/detail/10962802/
ようこそ「男の世界」へ。『ダンジョン オブ マンダム』試されるカードゲーム
www.moguragames.com/entry/dungeon_of_mandum/
かわいいひつじを増やして増やして増やしまくれ！ “一人用”カードゲーム『シェフィ』
www.moguragames.com/entry/shephy/
- 625 名前：535 mailto:sage [2016/10/18(火) 22:30:42.36 ID:5rT5zFZw.net]
- 完全ソルバから定石パクるの意外とめんどくさいな。
クローラーみたいにして自動でパクれるようにしようかな。
でも迷惑かかるかな？
- 626 名前：535 mailto:sage [2016/10/18(火) 23:07:54.58 ID:5rT5zFZw.net]
- なんか本末転倒だからやめとくかｗ
- 627 名前：310 mailto:sage [2016/10/19(水) 02:53:35.54 ID:YWnebdEb.net]
- まさかの場所にバグ発見。
プレイアウトでランダムに１手選ぶところがバグってました。
良く動いていたものだと思う反面、MCTSってそういう所がある事も薄々感じてます。
が、状況はほぼ変わらず。初手真ん中と、５手目真ん中。この２か所が鬼門。
まだバグがあるのかも知れない。やっぱり自分が一番信用できないですね。
DAG問題対策でノードの合流を実装しました。枝とノードを分離して、ノードをハッシュ
にして、ノードの下に次の枝をぶら下げました。同時に、ハッシュキーに細工して、
左右同形も合流させてます。あまり変化はない気が。
速度低下が酷いです。
- 628 名前：310 mailto:sage [2016/10/20(木) 00:37:06.99 ID:yz39woaL.net]
- ５手目真ん中以後どうなるのか１秒探索検証。６手目２列目に対しては、勝利（全て
最善着手）。６手目１列目に対しては、５列目着手で引き分け進行に入り、引分終了。
この時の手順では、全箇所が最善手という盤面ばかり通っていくように感じています。
つまり、MCTS的に勝利期待値が最大になりやすい手です。という事で、まあ、そんな
に間違った手は打っていないかなと。
また、プレイアウトを繰り返して手がどう変遷するのか見ていくと、最善手である真ん中
は、ある一定数からほとんど選択されなくなっています。結果、その手で枝の分岐が起き
ない事から、いつまでたっても評価が更新されず正解に戻らないと推測できます。
そこで、試行回数に圧倒的な差ができても、下位の手も一定回数は試行されるように
できないかと、手の選択基準をucb1の大きい順から、ソフトマックス関数を通して確率
分布に変えて、乱数で選択してみました。
結果は・・・。expの計算がある事からか、速度が激減。PVに割り当てられる試行回数は
2/3程度になり、その時点の最悪手でもそれなりに試行されるようになりましたが、それ
でも手の選択は微妙な感じです。この程度の効果なら、他のパラメータいじった方が
速度低下も無く良かったかも（汗
というわけで、本日のトライアルも失敗。
気が進まなかったけど、やっぱりucb1計算の検算をしてみます。
あと、部分的にmin-Maxを適用するとか。
- 629 名前：310 mailto:sage [2016/10/23(日) 09:58:44.72 ID:qEEwIK82.net]
- UCB1の計算は合ってました。
プログラムがC++的に美しくない事が気になりだし始めて、全部書き直ししてました。
書いた端から美しくないのが気になりだしましたが（笑）
UCTで後方枝刈というか、小枝の勝敗が確定していたら、ツリーを縮小していく処理を
追加。一本道問題が多少緩和するかと期待。対戦はちゃんと動いているっぽい。
デバッグ情報をファイル出力する処理書いて確認。
間違え方はあまり変わっていないのが残念というか、安心というか（汗
モンテカルロで１手目から最善手順が確実にわかったら、それはそれでゲームが
簡単すぎるって事になっちゃうので、大きく間違えないんなら、それで仕方ないかな。
というわけで、COM１手目は真ん中に固定。
プレイアウト部を高速化できる気がしていますが、やってみないとわかりません。
プレイアウトの末端部分に完全読みを数段入れるのも良いかと思っています。
DAG問題対応と左右対称チェックを入れて毎秒２０万プレイアウトくらい。
評価値の算出方法でちょっと悩み中。
そこそこ落ち着いたらオセロの中盤探索に応用してみます。
- 630 名前：310 mailto:sage [2016/10/26(水) 20:47:59.29 ID:H5ji3apJ.net]
- また美しくない病が出て、書き直したところ、びっくりするほど弱くなってしまった。
しばらくデバッグで悩みそうです。
- 631 名前：535 mailto:sage [2016/10/26(水) 20:59:11.78 ID:+YpzcPTO.net]
- Connect 4は一旦休止して別のゲームのＡＩ書いてます。
マイナーゲームですが囲連星というゲームで囲碁と五目並べを混ぜたようなゲームです。
簡単に言うと、七目並べれば勝ち、囲った石は取れるというルールです。
ついさっき黒番で公式ＡＩのLV0に１勝できました。
(;SZ[19]
;B[jj];W[kj];B[jl];W[ji];B[ik];W[km];B[kk];W[ki]
;B[ii];W[lj];B[ll];W[mm];B[hh];W[gg];B[im];W[ih]
;B[ig];W[jh];B[ij];W[in];B[lk];W[gi];B[hk];W[gk]
;B[mk];W[nk];B[hn];W[hl];B[jn];W[io];B[lm];W[jo]
;B[go];W[fp];B[gh];W[hi];B[fg];W[ko];B[gf];W[ln]
;B[hg];W[jg];B[ff];W[gj];B[gg])
囲連星AIはこちらで配布されてます。
www.vector.co.jp/soft/win95/game/se401975.html
- 632 名前：535 mailto:sage [2016/10/27(木) 22:26:16.59 ID:CgNWWTgQ.net]
- LV2からも黒番で一本取りました。
キセキが起きたｗ
(;SZ[19]
;B[jj];W[ik];B[ji];W[hj];B[jh];W[jk];B[kk];W[jl]
;B[gi];W[il];B[ll];W[hm];B[ii];W[hh];B[hi];W[ki]
;B[mm];W[nn];B[li];W[in];B[kh];W[fi];B[mi];W[io]
;B[kj];W[lj];B[ki])
- 633 名前：535 mailto:sage [2016/10/27(木) 22:53:05.70 ID:CgNWWTgQ.net]
- 黒番でLV3からも一本取りました。
なかなかいい感じ。
ここからどう高めるか。
(;SZ[19]
;B[jj];W[ji];B[ij];W[kj];B[kk];W[ii];B[ki];W[lj]
;B[lk];W[jk];B[ik];W[kh];B[li];W[mj];B[lh];W[hl]
;B[mk];W[hj];B[jl];W[hk];B[ok];W[nk];B[nj];W[hh]
;B[nl];W[km];B[jk];W[lm];B[nk])
- 634 名前：310 mailto:sage [2016/10/27(木) 23:41:56.56 ID:KUg+LQ1A.net]
- バグ取れました。わかればどうという事はないですねorz
左右対称はデバッグが面倒くさいので省きました。どうせ序盤でした
意味がありませんので。
初手真ん中は、多分モンテカルロでは答えを出すのが相当厳しいです。
５手目真ん中は、乱数次第みたいな感じで、１００万プレイアウトくらいまでに
出るか、１億プレイアウトしても出ないかみたいな感じになります。
一応、DOS窓ベースでプレイできるようにして、途中でMTCSのツリーを
色々と確認したり、追加のプレイアウトをしたりできるようにしましたが、
本質的にモンテカルロなので、完全に近いけど完全じゃないし、乱数の
具合によって着手する手もバラつくという事で勝手に納得してしまいまして、
せっかく作ったデバッグルーチンも禄に活用していません。
高速化も、一時期は４０万プレイアウト毎秒くらいまで出たように感じて
ましたが、最終的に２０万くらいで落ち着いてしまいました。
次のステップでオセロに応用と思ったのですが、その前に並列処理化を
してみようかと思います。上手くやれば探索ノード数は３倍強（自分のPC
では）くらいにはなりますが・・・数段深く読んだとて、結論にはあんまり大差
が無いのかなと。まあ練習ですな。
というか、min-Maxとモンテカルロのノウハウ、仕事で使えそうだなぁ。
- 635 名前：名前は開発中のものです。 mailto:sage [2016/10/27(木) 23:46:29.29 ID:CgNWWTgQ.net]
- >>310氏はプロのプログラマなのか。
まあ納得。
- 636 名前：310 mailto:sage [2016/10/28(金) 10:50:00.21 ID:/58y3Hfc.net]
- いや。趣味の深夜プログラマです。
物流業務改善の会議で提案してみて、わからんと言われたら
ソース見せて動作検証してやろうかなと。
システム屋さんからすると、とてつもなく面倒くさいクライアント
だと自覚しておりまするorz
- 637 名前：535 mailto:sage [2016/10/29(土) 21:09:01.77 ID:4znFYNwN.net]
- 囲連星、公式ＡＩとガッツリ対戦してみました。
LV0はdll化されてないので対戦できませんでしたが。。。
結果はLV1には大きく勝ち越しましたがLV2,LV3には敵わなかったです。
airandom.dllが私のAIです。
50局目
黒(airandom.dll)の勝利回数: 44
白(ai-lv1.dll)の勝利回数: 6
50局目
黒(ai-lv1.dll)の勝利回数: 10
白(airandom.dll)の勝利回数: 40
50局目
黒(airandom.dll)の勝利回数: 20
白(ai-lv2.dll)の勝利回数: 30
50局目
黒(ai-lv2.dll)の勝利回数: 41
白(airandom.dll)の勝利回数: 9
50局目
黒(airandom.dll)の勝利回数: 15
白(ai-lv3.dll)の勝利回数: 35
50局目
黒(ai-lv3.dll)の勝利回数: 44
白(airandom.dll)の勝利回数: 6
私のＡＩが長考するのでこの対戦するのに丸一日以上かかってしまいましたｗ
- 638 名前：310 mailto:sage [2016/10/29(土) 21:13:21.87 ID:hyv6QOjp.net]
- 並列化してみました。
色々やり方ありますが、まあ順当なやり方という事で、ツリー単位の並列化です。
が、４コアに対して４並列でむしろ速度低下。排他で怪しいところを色々変えてみて
ようやく若干（１０〜２０％程度）の速度アップにしかなりません。並列数を減らすと
速度低下していくので、排他待ちが原因ではなく、並列化オーバーヘッドの模様。
ノード＆ツリーの構造で複雑な分、オーバーヘッドが大きくなっているのか、オセロの
時の効果には大きくおよびません。
ルート単位の並列化で、一定時間ごとにツリー統合（合算）というやり方もあるような
ので、次はこちらを試してみます。
もしかしたら、一番効果が無さそうな、プレイアウトのみ並列化の方が効果出たりして。
- 639 名前：310 mailto:sage [2016/10/29(土) 21:14:51.22 ID:hyv6QOjp.net]
- MTCSは並列化と相性が良いとは思えないなぁ。
- 640 名前：535 mailto:sage [2016/10/30(日) 23:47:35.70 ID:11nwLD7b.net]
- return文忘れててめちゃくちゃな値返してた。
この不可解なバグ潰すのに３時間かかったorz.
関数の終わりでreturn文無かったら警告だしてよコンパイラ（泣
まあコンパイラオプション付けてない俺が悪いんだがｗｗｗ
- 641 名前：310 mailto:sage [2016/10/30(日) 23:54:19.10 ID:vT6Vi1L+.net]
- 結局ツリー部の並列化はやめてプレイアウトだけを並列化しました。
ツリー統合も気になりますが、とりあえずこれで末端の評価が正確になります。
プレイアウト部分は処理時間が短いので、プレイアウト回数は大幅に増えます。
MCTSは面倒でも、モンテカルロは並列化向きです。
１００回プレイアウトして、そのスコアでまとめて更新。
ところが、バグを発見してしまいました。
勝ち手順で進めていたのに、最後の最後に１手間違えて引分。
もうプレイアウトではなくツリーの勝敗が確定している状態で、間違えるはずがない。
勝敗確定時のフラグ設定がおかしいようです。
そこから色々見直しを始めたら、negaMax的な処理の扱いに完全に混乱して
しまいまして…。これだと思って修正すると、おかしくなってしまいます。
どこか根本的に勘違いしているみたいなので、しばし長考に入りますorz
- 642 名前：535 mailto:sage [2016/10/31(月) 00:37:25.82 ID:KdjBytFw.net]
- なかなかいい感じのルーチンが書けた。
まだ結果に結びついてないけどこれはあと一捻りいれればかなりいい線行くんじゃないか？
- 643 名前：535 mailto:sage [2016/10/31(月) 21:35:59.05 ID:KdjBytFw.net]
- おかしいな。
石の流れは良くなってるのになかなか勝利に結びつかない。
- 644 名前：535 mailto:sage [2016/10/31(月) 22:47:38.80 ID:KdjBytFw.net]
- パラメータ微調整地獄ｗ
機械学習に切り替えないと限界が…
- 645 名前：535 mailto:sage [2016/11/01(火) 21:33:50.00 ID:pQxzEPLf.net]
- あかん。
完全にバランスを失った。
一から出直しだな。orz
- 646 名前：名前は開発中のものです。 [2016/11/03(木) 03:15:09.64 ID:x7yDYWU2.net]
- ボードゲームのオリジナルオーダー制作
www.logygames.com/logy/ordermade.html
簡単に本格自作ボードゲームが作れる時代到来！！
jellyjellycafe.com/3869
100円ショップでボードゲームを自作しよう
https://sites.google.com/site/jun1sboardgames/blog/makeyourbg
ノーアイデアでボードゲームを作ろう第1回「100円ショップで物を買う」
boardgamelove.com/archives/boardgame-make-1/
ボードゲーム市場がクラウドファンディングの出現で急成長を遂げ市場規模を拡大中
gigazine.net/news/20150820-board-game-crowdfunding/
- 647 名前：310 mailto:sage [2016/11/04(金) 15:36:30.74 ID:zGiY9OSz.net]
- 長考の結果、もう一度作り直し（笑）していたら、混乱の原因がわかりまして。
勝敗の持ち方を逆にしたらすっきりしました。
あと、終盤の手順の前後で、あと３手粘れるのに１手で負けるという現象を調べた
結果、ツリー部で負けと判定している以上、何手先に負けるか関係ないというプロ
グラムになっていた事も判明。バグじゃありませんでした。とはいえ気持ちが悪いので、
なるべく長く粘るようにしてみました。
そこでわかったのは、Perfect Solverの数字は、４２手２１ターン目の引分から何ターン
前に勝負がつくのかを表していて、プラスは勝ち、マイナスは負けという事です。先手で
＋１と出たら最善を尽くせば４１手目の自分の着手で勝つという事のようです。
つまりスコアを勝敗決定ターンにしたmin-Maxで、速度考えるとDB化してるんでしょう。
で、MCTSですが、まあやはりモンテカルロなので間違えます。試しに１０手目程度
の間違えた局面から、シミュレーションを続行してみたところ、億単位の探索（プレイ
アウトとしては１０倍）で、間違えた手が本当は悪かった事に気づいた様子で、そこから
正しい答えに向かって行きました。なので、まあプログラムは間違っていない模様です（汗。
DAG対応とか、自殺手禁止プレイアウトとか、色々やった結果、選択手のばらつきが
減って、「たまたま正解手順を引く」事がなくなって、自信満々に間違えるようになっ
た印象です。それでも、時間をかけて探索を続けると、いつかは正しい答えにたどり着くと。
今となってはあまり意味が無いですが、せっかくなので、ここまで積み上げて来た
ノウハウで、今一度Solver作ってみようかなと。
- 648 名前：535 mailto:sage [2016/11/04(金) 23:52:18.01 ID:lKhN7bKh.net]
- 色々ぐちゃぐちゃやってたら計算時間がとてつもないことになってしまった。
- 649 名前：310 mailto:sage [2016/11/06(日) 13:49:29.22 ID:Z4kqE5wB.net]
- Solver作りました。
PerfectSolverにならって評価値を、４２手目から何手手前で勝敗がついたかにしました。
お蔭さまで、null window searchが使えるようになり、mtd(f)で高速化しました。
あと、初段のみ単純な並列して、残り２８手で６秒強となりました。
そろそろオセロに戻ります。
- 650 名前：535 mailto:sage [2016/11/06(日) 17:53:47.27 ID:B23WCzGo.net]
- 終盤28手読み6秒とか凄い
こっちはというとそろそろαβ刈りを習得しなければ…
- 651 名前：535 mailto:sage [2016/11/07(月) 00:12:13.27 ID:vL8wkeAF.net]
- αβできたっぽいです。
というかwikiの疑似コードを完コピしたらうごいたっぽい？という感じで
理解したとはいいがたいですが。
- 652 名前：535 mailto:sage [2016/11/07(月) 22:06:07.74 ID:vL8wkeAF.net]
- え、もしかしてminmaxに比べてαβめちゃめちゃ速い？
なんか間違ってんのかな…
- 653 名前：310 mailto:sage [2016/11/08(火) 00:02:22.02 ID:CUgV7Bvg.net]
- 安心してください。めちゃ早いですよｗ
後ろ向き枝刈系のアルゴリズムはほとんどがαβを前提にしています。
自分の最初は擬似コードコピペしました。
すぐ忘れちゃいますが、１回は真剣に動作を追っておくと良いですよ。
- 654 名前：535 mailto:sage [2016/11/08(火) 22:35:11.27 ID:BlAmLHY6.net]
- 評価関数が致命的に狂ってる気がする。
手動で直すのは限界があるから機械学習したいがさてどうするか。
- 655 名前：310 mailto:sage [2016/11/10(木) 20:55:19.87 ID:gpSCAC4W.net]
- オセロでUCTをしてます。コピペでちょいちょいと思っていたらパスの処理が面倒で、
思った以上に動作速度が落ちてしまいました。
その後、デバッグしてたらおかしな現象を発見。探索ツリーでプラスになるべき数字が
マイナスに。しかも１か所だけ。発生条件を絞り込めず、なんだかんだと数日間。
原因は整数のオーバーフローでした。設定時間におけるプレイアウト回数でのスコア合計
がちょうど境目にきて、本当に微妙にオーバーフローしていたので、スコアの正負がひっく
りかえったように見えていたのでした。
俺の時間を返せorz
終盤５手読みくらいならすぐにUCTのツリーが終局まで達して、完全読み同等の答えを
返してくれるのですが、１０手だと結構時間がかかり、２０手だと全く歯が立たない。
評価関数を使った中盤探索の置き換えに使えないかと想定しているのですが、やはり
簡単に精度は出ない感じです。
プレイアウトでありがちな手を優先的に着手するように、ヒューリスティックな評価関数を
用意して、プレイアウトの精度を高められるか試してみたいと思います。あと、スピード
アップもしないと・・・。
- 656 名前：535 mailto:sage [2016/11/10(木) 23:14:15.10 ID:4tjjzH07.net]
- Zenは治勲と三番勝負か〜
Zen勝ちそうｗ
- 657 名前：535 mailto:sage [2016/11/13(日) 00:19:43.02 ID:otFLKKMJ.net]
- doubleの有効桁数が足りなくておかしくなってたorz
評価値に差をつけようとして極端にデカい数値を設定してたら
小さい数値が無視されてた
- 658 名前：310 mailto:sage [2016/11/13(日) 00:47:25.03 ID:Be0ooFvL.net]
- DeepZenGo楽しみですね。
ポストアルファ碁の今となってはZenが２勝できなかったらちょっと悲しいかな。
こちらはオセロのモンテカルロツリー探索がほぼできました。
当初かなり速度ダウンしていたのですが、何とか改良できました。vectorが遅かった。
数か所工夫して、テストデータで正解を早く導けるようにしてみましたが、調整が面倒そう。
とりあえずネタ切れなので、次は探索済ツリーを再利用できるようにして、対戦できるよう
にする予定です。で、今一度終盤読み切りルーチンと、序盤の定石DBつけて完成としたい。
しかし、相変わらず評価値をどう計算したら良いのかわからない。
単純に、着手する手の平均スコアだと、探索の進み具合によってあなりブレてしまい
意味がある数字になりそうにない。アルファ碁はDCNNの評価値を使ってるのかなぁ。
- 659 名前：310 mailto:sage [2016/11/13(日) 20:49:23.63 ID:Be0ooFvL.net]
- ちょっと疑念が湧いてきたので数か所工夫したところを全てコメントアウトしてみたところ
やらない方が遥かにマシという結論に（汗。下手な考え休むに至りでした。
全部外してしまうと一旦最善手から外れてまた戻ってくるような事もなくなり、探索時間が
長い方が良いと単純に言えるようになります。
また、評価値ですが、モンテカルロならやはり点差を考慮しない「勝率」であるべきでは
ないかと思い始めています。今は、「点差」を返しています。「勝率」で選ぶ手は、「もっと
良い手があった」となりますし、「点差」で選ぶ手は「欲張りすぎた」となりそうです。
探索済ツリーの再利用の仕組みができました。まだパスがらみのテストはしてませんが、
多分大丈夫でしょう。
ボード関連のクラスをかなり作り直してしまったので、終盤読み切りルーチンや序盤定石
処理を作り直さないといけません。というか、評価関数を持ってないので、終盤探索は
オーダリングの仕方を変えないといけません。
あと、人間側入力待ちの間も探索を継続できるようにしてみたいと思っています。
モンテカルロだと、いつでも停止したり再開できるので、ぜひとも導入したいものです。
- 660 名前：310 mailto:sage [2016/11/16(水) 01:01:14.01 ID:2m1pjf8n.net]
- 人間の入力待ちの時のバックグラウンド探索を実装しました。
並列処理はPPLを使ってるので、思いのほか簡単にできましたが、入力待ちのまま
放置されると、数時間でメモリーを食いつぶしてしまう事に気づきました。
パンクしそうになったらツリーをルートに近い順に削除するようにしましたが、メモリー
リークしてそうでちょっと怖いです。
コンピュータ同士で対戦させてみたところ、まあそれっぽくは打ちますが、序盤で定石
から外れてしまいます。終盤は結構正確に見えます。
評価値の件、独自ロジックを外したところ、それっぽい値を表示するようになりました。
- 661 名前：310 mailto:sage [2016/11/16(水) 09:03:26.60 ID:uZWbEwsE.net]
- 自分のつたないオセロ力では、モンテカルロが着手した手が良いのか悪いのか
わからないので、どうしようかと寝ながら考えました。
まず考えたのは、完全読み切りルーチンを作って、終盤に限っては正解着手も
探索してみる事。でも、最終的には終盤は完全読み切り使った方が、正確で早い
ので、そちらを使用。中盤や序盤の具合がわからない以上、ほぼ意味なし。
続いて、WZebraにある「解析機能」を実現できないかと考えました。中身はわからない
ので想像。使用して感動した経験あり。
「後ろから解析」なら、αβを後ろから回し、自分が着手した手より良い手が無ければ
βカット、あればそれで生じたスコアの増減を記録という形で、中盤のある程度のところ
までは、遡りつつ誤着手を検出できるんじゃないかなと。棋譜にある着手はこのロジック
で評価が定まっているので、探索を省く事ができます。評価関数を持っていないので、
遡れても３０〜３５手目くらいまでかと思いますが、読み切りルーチンをいじれば作れ
そうなので、トライしてみようと思います。
誤着手率がわかっても、簡単に直らないのがモンテカルロですが…。
- 662 名前：535 mailto:sage [2016/11/19(土) 18:30:11.32 ID:X8ZFdPyh.net]
- ん〜Zen負けちゃった。
期待してたんだが。
- 663 名前：310 mailto:sage [2016/11/19(土) 20:47:46.55 ID:F+e1LSRb.net]
- とりあえずWZebra相手に戦ってみたのですが、全滅しない程度に負けますｗ
評価値が全然違うというか、自分は有利なつもりで進んでいても、Zebra的には
＋５０とかになってます。４０〜５０手目付近で末端までツリーを展開してようやく
気づくみたいな。そこまで行くと、ほぼ間違えなくなる（当たり前）のですが、序盤
中盤があまりに酷いので、定石ルーチンで助けられないレベルかなと。
そもそも評価値が間違いまくりで、自分のAIは少し有利くらいの勝率になっている
のに、zebraは既に＋３０とか＋５０とか。形を見ても、素人目にも全く不利な形に。
ランダム着手で勝率や平均スコア求めても意味が無いかも、という本質的な
課題に突き当たってしまいました。
ツリー依存度を上げようと閾値を下げてツリー展開しやすくすると、あっという間に
メモリが溢れてしまいますので非現実的。本来はucb1の計算が機能して、変な
ツリーに手を回さないのですが、むしろ変な手にロックオンしてしまいがち。
囲碁みたいに、１手の価値や、最終的な形が同じなら着手する順番関係ないよう
なゲームじゃないと厳しいのかなと思い始めています。
相手の入力待ちの時のバックグラウンド探索では、敢えて初手についてのみ全て
の手に均等に割り振って、ツリー展開を進めさせてみたのですが、これもやりすぎ
ると簡単にパンクしてしまうので、ほどほどにという感じです。
アンドゥ機能を消して、終わったツリーをバサバサ消す仕様に変更です。
というわけで、解析とか後回しして、強さを上げられないか検討です。
ヒューリスティックな手法で、プレイアウトをもう少し現実的に。同様にUCB1に多少
細工して、よさそうな手の割り当てを増やせないか検討してみます。といっても、
相手の着手可能位置の数を減らすような手を優先するくらいしか、アイデアはあり
ませんが。
- 664 名前：310 mailto:sage [2016/11/20(日) 16:54:24.84 ID:4i7ILKOH.net]
- 「相手の打てる箇所が少ない手を確率的に増やす」程度では全くダメでした。むむむ。
脳内では、プレイアウトの次の１手を決めるのにDCNNでみたいな…本末転倒な対策が
渦巻いてきています（汗。手元にある囲碁のモンテカルロ本（彩の解説、技術的な種本）
でも、自分の石の周辺のパターンを統計的に処理して着手確率を計算みたいな事をして
いまして。オセロでいうと評価関数みたいな事をしていたりします。
オセロは、着手する石の価値が重すぎるので、モンテカルロが向かないって当たり前の
結論ではあるのですが。それにしても、あまりに弱い。
というわけで、ダメ元でプレイアウト時に開放度で着手確率を変える方法を試してみつつ、
技術的勉強で、もう一度、きちんとツリー並列で並列化を実装してみようかなと思ってます。
- 665 名前：535 mailto:sage [2016/11/20(日) 21:28:29.17 ID:gm8FgHLO.net]
- も〜インテルさん早く１ThｚのCPU出してよ〜w
- 666 名前：535 mailto:sage [2016/11/23(水) 19:46:23.65 ID:/Z9U4oFa.net]
- Zen負けちゃったか〜
でも一勝しただけでもすごい。
- 667 名前：310 mailto:sage [2016/11/23(水) 23:37:07.28 ID:wq9OFZ+n.net]
- うむぅ。アルファ碁があるから期待高いけど、互先で１勝したのは凄いよね。
まだ伸びしろありそうだから、次回に期待ですね。
こちらは、モンテカルロがあまりにダメダメで悩み中です。
煮詰まってしまったので、ツリー並列をきちんと実装したり、終盤探索作ったりしてました。
終盤探索は、ようやく>>460さん指摘の偶数理論を実装しました。どうやるのかなかなか
思いつかなかったけど、手を動かしだしたらわかるものですね。Zebraとかのソース見て
いないので、もっと良いやり方があるかも知れませんが。
- 668 名前：535 mailto:sage [2016/11/25(金) 20:21:12.84 ID:udjtSdAy.net]
- 終盤の打ち方はまあまあいいんだが序盤が致命的すぎる。
思考時間もめちゃめちゃ長いし。
あと強化学習やりたいけどアイディア湧いてこないなぁ。
- 669 名前：535 mailto:sage [2016/11/26(土) 14:07:56.90 ID:3TEfCPcy.net]
- LV2が思考速くて強いからってLV2の棋譜大量に集めたら学習が偏りそう？
- 670 名前：310 mailto:sage [2016/11/28(月) 13:44:46.30 ID:moEHPVOW.net]
- >>669
やってみないとわからないけど、棋譜は質が良くて偏らないってのが基本だからね。
間違えたら間違えたなりに、負けてくれる棋譜じゃないと、変な学習しちゃうかも。
この辺の兼ね合いが難しい。
ただ、スタートの棋譜をその辺にして、だんだん更新しつつ、強くしていくって方法も
あるかと思う。
こちらは、終盤探索に手こずっています。
AVX2命令をオペレーターオーバーロードして使っているのですが、グローバルなのが
気持ち悪くて、クラスに変更。ついでに見直しをしていたら、過去にどうしてもわからなくて
別の方法で逃げてしまったバグをようやく解消。速度には大した影響ないですが。
一番の問題は、評価関数を持っていないので、MPCが使えない事。MPCのスレッショルド
を広げながら置換表使って、moveorderを最適化していたので。他の方法で速度アップを
考えないといけない。逃げてを考えると、結局、NNなりなんなりで別の評価関数なり、次の
１手ヒューリスティックが欲しくなります。もともとNN方面に行ったのは、そこが目的だった
事を思い出しました（汗
モンテカルロは、プレイアウトを疑っているので、いずれきちっとやり直してみます。
- 671 名前：535 mailto:sage [2016/11/28(月) 22:46:28.36 ID:nf8GSvVi.net]
- NN興味ありますねぇ。
Zenチームの人とかがわかりやすい解説本書いてくれないかなぁ。
- 672 名前：535 mailto:sage [2016/12/02(金) 21:41:56.73 ID:Vv9WnV3F.net]
- モンテカルロはやはりプレイアウトの質がカギか？
軽くて良いヒューリスティックが欲しいところだ。
- 673 名前：535 mailto:sage [2016/12/02(金) 22:02:53.36 ID:Vv9WnV3F.net]
- モンテカルロは良い枝をカットしないこともかなり重要とみた。
- 674 名前：310 mailto:sage [2016/12/04(日) 20:20:17.67 ID:E6FCgpFL.net]
- うーん。モンテカルロはFFOなんかで残り２０手くらいから戦うと、結構まともな着手を
するんだけど、１０〜３０手目付近がわざとじゃないかというくらい悪い手ばかり選択する。
残り１０手くらいまで行けば完璧。
序盤は次の１手が多すぎるのと、プレイアウトで回す回数が単純に多いので、ツリー部が
なかなか深くならないし、あまり簡単に深くするとすぐにメモリーオーバーフローしちゃうし
で難しい。
>>673
UCTではカットはしません。単純にプレイアウトの割り当ての順番がなかなか回ってこなく
なるだけです。良い手に優先的に割り当てさせるためには、やはりプレイアウトで良い手は
良いと、悪い手は悪いと評価できなきゃならんわけで。それが難しいからモンテカルロだと
言う矛盾。
まあ、オセロの場合は、伝家の宝刀評価関数があるので、プレイアウトを２０手くらいで
打ち切って、評価値を返すとか…MPCみたいな事をして無駄な着手を回避させるか…
と、本末転倒な妄想をしてます（汗。良くなる点は、時間管理が易しくなるくらいかな（涙。
- 675 名前：310 mailto:sage [2016/12/06(火) 00:37:18.95 ID:zUbz1knV.net]
- モンテカルロが弱い理由を探ってます。
WZebraと対戦させると、一番顕著なのは、モンテカルロは辺に着手したがり、その結果
WZebraに内側に潜りこまれて選択肢が減っているという事です。流石に×とかCには
簡単には打ちませんが、序盤からあっさり中辺に出て行き、更にあっさり辺に打ちます。
相手もランダムに着手したとすると、辺の石は１方向からしか返せない（内側は４方向）
ので、プレイアウトでは残りやすくなると言う仮説を立ててみました。つまり全部で２８石
ある辺の攻防が相対的に下手くそになるため、プレイアウトの結果が楽観的になりすぎ
ているのではないかと言う事です。
残り２０手切ってくると、ツリー展開できているので、min-Max的に攻防できるけど、それ
より前の段階ではプレイアウトで、相手のミスを咎めるような手を打たないといけないと
言う事かなと思います。
これをどう次の１手の確率分布に表現するかですね。
- 676 名前：310 mailto:sage [2016/12/11(日) 01:06:32.29 ID:8cq3+Gjk.net]
- なんか袋小路に入ってます（汗
プレイアウトの改良は速度低下との戦いになり、効果が出ません。
結局、とにかく無駄をそぎ落とし、単純化してプレイアウト回数を稼いで、なおかつ
ツリー展開の閾値を下げて、ツリーに頼る形になりました。
が、ここでメモリーパンクとの戦いが始まります（涙
中盤の分岐が多い局面だと、あっという間にツリー部で８ギガくらい使ってしまいます。
更に処理を単純化してメモリー使用量削減に走る事に。
結局、４０手目以後なら使えるけど、それ以前ではあまり精度が期待できないという、
当初やりたかった、少しマシな序盤・中盤探索という目論見は崩れてしまいました。
評価関数があるんだったらαβの方がマシという当たり前の結論に傾きつつあります（汗
- 677 名前：310 mailto:sage [2016/12/11(日) 23:57:52.07 ID:8cq3+Gjk.net]
- たった一晩で楽観してきました。
今までsoftmaxで確率分布を変えていましたが、あまり大きな差はついていないようだった
ので、この際、思いっきり割り切ってみました。１位に７０％、２位に２５％、残り５％で他の
手に均等割り。イメージとしては１σ、２σ、その他って感じです。ヒューリスティックは
αβのmoveorderのものを使用。
もちろんzebraにはぼろ負けですが、今までと違うのは、相手を囲んで着手可能位置を
減らしてしまう事が無くなりました。ちょっとした手ごたえを感じています。これをスタート
に、ヒューリスティックに終盤変化を組み込んだり、序盤は開放度にしてみたりして検証
しようかと思っています。プレイアウトの精度があがったら、無駄にツリー展開しなくて
済むので、メモリーにも優しくなれるかも。
また、敗勢での発狂モードや、勝勢での手抜きモードの原因は、勝敗が明らかになり、
手毎の勝率の差がなくなる事が原因です。プレイアウト回数が多いからか、評価値は
かなりデジタルに変化するので、２５％、７５％などを境目に、石差評価に変更すると、
ある程度回避できるんじゃないかと思います。
- 678 名前：310 mailto:sage [2016/12/19(月) 00:57:35.60 ID:V27xPT8O.net]
- 地味に色々改良。素UCTに色々追加してます。
・uctの終盤にsolverを組み込んだ
・手の割り振りに全手均等な部分を作って読み抜けの可能性を減らした
の２点が主な追加点です
当初想定していたより結構強くなったと思います。
AI黒番３０秒探索。zebra思考中にもMAX３０秒探索で、zebraに対しては２０石強負け
くらい。序盤１回間違えて、中盤ジワジワ差が広がって、４０手前後で読み切りできず
に間違う感じ。序盤は定石で回避できると思いますが、中盤の間違いは２番手の手を
選んでしまいます。修正は難しい感じ。終盤はチューニングか、探索時間延長で対応
できないか検討。
テストで作った２０手目で黒＋１２（zebra評価値）程度の盤面からは、zebraが間違える
のか、終盤に入るところまで、かなり押してまして、読み切りミスで２２石差→１６石差と
ぬるい手を打ちましたが、勝ち切る事ができるようになりました。
ここから先は、レーティングが欲しいなぁ。
オセロでAI使用OKなところないですかね？
- 679 名前：310 mailto:sage [2016/12/22(木) 01:29:32.37 ID:4YVdXlZ1.net]
- 地味に色々改良した結果、あらかたボツにしてます（汗
発狂モード対策でスコア最大化を図ろうとしていましたが、極端なスコアが悪さしている
ようなので、結局勝率のみに限定しました。この時点で終盤はsolver任せに方針転換。
で、勝敗のみにした事で、solverの探索範囲を+-1のシングルウィンドウにできて
スピードアップしたのでプレイアウトのラスト７手くらいでも使用する事にしました。
プレイアウトでは、moveorder順の下位はバッサリカットしました。酷い手が混入する
とスコアが散らかるので。
uctのif分ネストがスパゲッティ化したので、処理順を大幅に見直したら、時々落ちるように
なってしまった。並列化が原因かそれともshared_ptrの使い方が悪いのか、散々調べた
結果、ちゃんと全体をリビルドすれば回避できる事が判明。俺の時間を返せorz
テストで使用している引分手順３０手目から開始すると、たいていは負けてしまうけど、
希にzebraが認識していない勝利手順を見つけて勝つようになった。乱数の具合なので
再現性は低いけど、zebraの評価値にも間違いがある事を実感した。
ここのところ３０手目〜４０手目をターゲットに改善していたけど、それなりに成果が出た。
４０手目以後はsolverを使用し、対局開始は定石DBを２０手分くらい用意したら、まあまあ
なAIになるかなぁと思い始めました。ただ、１手３０秒考えるのは長すぎるなぁ。
あと、正しい手順を見つけ勝率も上回って来ているのに、探索時間が足りずにプレイアウト
回数で負けて最善手が選ばれないケースが散見されます。ものの本だと、そういう時は
探索時間を延長するとか書かれていますので、対応してみようかと思っています。
というわけで、なんか行けそうな気がしてきた。
- 680 名前：310 mailto:sage [2016/12/27(火) 01:58:53.16 ID:lSRXuhfg.net]
- uctの探索部分がある程度できたので、とりあえずDOS窓ベースでゲームとして成り立つ
ようにしました。edax-pvbook_2009.wtbから作った４０手分の定石DBをつけて、終盤探索
は４０手目からsolverで。multi probe cutできないので、FFO#40で１．３秒程度の性能です。
その他諸々。探索時間延長とか。タイマーを作り直してプログレスバーつけたり。
WZebraの２０手読み、定石DB変化大相手に、まれに勝ちます。直接対決はまだして
ませんが、以前自分が作ったmin-Max版よりちょっと弱いくらいかなという感触です。
モンテカルロは乱数がらみで、ナチュラルに変化しちゃうので、５〜１０手に１回程度は
ミスをしちゃう感じです。
プレイアウトはもう少し詰められそうだけど、まあこの辺が潮時かなぁ。
次は何しようかな。
- 681 名前：名前は開発中のものです。 mailto:sage [2016/12/27(火) 06:12:54.86 ID:A0w16iJG.net]
- Vectorとかで配布しては？
- 682 名前：310 mailto:sage [2016/12/28(水) 10:02:51.11 ID:8e16q4EG.net]
- vectorは考えてないですが、どこかでソース晒しても良いかなと思っています。
しばし検討。
なおUCT探索の探索時間は３０秒にしてます。微妙な時は１０秒づつ探索延長します。
また、人間が長考すると、その分だけバックグラウンドで探索が進んで強くなります。
気が長い人におすすめです。
- 683 名前：名前は開発中のものです。 mailto:sage [2016/12/29(木) 00:29:19.19 ID:T+iok27x.net]
- GGSってまだあるんだっけか
トッププログラムの開発者はみんなあそこで対戦しつつ改良してる
- 684 名前：310 mailto:sage [2016/12/30(金) 02:11:45.43 ID:iZpfxqhq.net]
- >>683
GGS探したけど見つかりません。
オセロのAI自体、行き着くところまで行っちゃってるからなぁ。
コメントの整備をしていたら、細かいところが気になって、あちこち手を入れています。
手を入れながら、UCTの探索結果があるので、それでmoveorderすれば良い事に気が
つきまして。SOLVERが少し早くなったので、終盤探索は３８手に格上げ。
しかし、テストプレイしていたら、SOLVERのバグ発見。終局まで打ち続けると、50手目
近辺で間違えます。並列探索部分で、negaScout的に再探索かかったあたりにバグが
ありそうという所まで絞り込みましたが、ちょっと厄介な感じ。
ソース晒す用に昔使ってたDTIのホームページを使えないか調べたら、サービスごと
終了してました（汗。
久々にオセロAIで検索したら、MLPでAIのテストをしている人がいました。評価関数では
なく、次の１手で使っているようです。比較的軽い構成なので、気が向いたらもう一度、
トライしてみようかと思います。
- 685 名前：310 mailto:sage [2016/12/30(金) 20:08:38.43 ID:iZpfxqhq.net]
- バグ直りました。数日前に速度アップできると思いつきで直したところでした。
直ったは良いけど、何故バグるのか理解できないorz
- 686 名前：名前は開発中のものです。 mailto:sage [2017/01/01(日) 01:33:49.09 ID:AXNNcWXn.net]
- 個人的にはディープラーニングやって欲しい
- 687 名前：310 mailto:sage [2017/01/02(月) 09:01:41.61 ID:YMPtqKka.net]
- いま、Bloogerにサイトを作ってやっつけで解説文を作ってます。
あらかたできたら公開します。
が、解説していると細かいバグを見つけて、直して確認が必要になるという…。
やっぱ次はディープラーニングですよね。Eigen使ったMLPで次の１手をやってみます。
DCNNももう一度トライしたいと思っていますが、貧弱なパソコン環境ではどうにもならない
かも知れない。
- 688 名前：535 mailto:sage [2017/01/06(金) 21:06:02.45 ID:/dmWmgCn.net]
- ネット碁でアルファ碁が無双してるみたいですね。
６０連勝？とか凄すぎｗ
- 689 名前：310 mailto:sage [2017/01/09(月) 14:10:27.74 ID:kUxHCmxW.net]
- ６０連勝の相手が、マジトップ棋士だってんだから、あきれるしかないですね（笑
解説書きながらソース見てたら、色々直したくなってしまい、泥沼化しています（汗
強くなったと思ったら弱くなっていたというのの繰り返しです。
- 690 名前：535 mailto:sage [2017/01/15(日) 01:15:01.84 ID:FqCBSr/V.net]
- TensorFlowで学ぶディープラーニング入門って本読んでます。
かなり易しく書こうとしてるのが伝わってくる本なんですがそれでも難しい。orz
- 691 名前：310 mailto:sage [2017/01/16(月) 13:21:19.22 ID:Cfoi8GBB.net]
- カーネルサイズとかチャンネルとかフィルターのあたりですか？
僕の方は・・・モンテカルロだから間違えると思って、思考時間を増やしたり、末端ノードで
１回づつじゃなくて、１００回づつプレイアウトするようにしたりして、プレイアウト回数を稼い
だところ、「同じところで同じように安定的に間違える」ようになってしまいまして（汗。
プレイアウトは適当でも、とにかくツリー展開させるか、それともプレイアウトである程度
正確な勝率を得るけど、ツリー展開は減らさないように努力するのか。その辺で、また
悩み始めてしまいまして。edaxの引き分けBOOKから何か情報が取れないかと頑張って
ますが・・・。そろそろ飽きてきちゃったんだよなぁ。
- 692 名前：535 mailto:sage [2017/01/16(月) 21:00:44.96 ID:UThQer2a.net]
- 専門用語はよくわかりませんが、付属のサンプルコードをなんとなく動かしてます。
行列と誤差関数を定義してやればtensorflowが勝手に最適化してくれるとか。
成果でないとめげてきますよね。
ここらで一発アルファ碁級のブレークスルーが欲しいですねｗ
- 693 名前：310 mailto:sage [2017/01/16(月) 22:06:12.04 ID:cVXIBPCK.net]
- あれはやっぱマシンパワーが・・・
一旦計算できちゃってもそれなりの重さなんだけど、学習しようと思うと重さにめげます。
というか、やる気すら起きないレベルorz
とりあえず、実際の最善手順が、ヒューリスティックの何番目かを統計的に処理して、
プレイアウト関数の手のバラつきを表現しようかと思って、プログラム作ってEXCELで
集計して、それなりに計算が簡素にできる形に変形してなんてやりましたが、やった
所で、何番目を選ぶかはランダムではなくて理由があっての事なんだよなぁと…
ちっとマシなヒューリスティックとか言い出すと…できない事をしようとしている事に深く
思い至るわけで。
- 694 名前：310 mailto:sage [2017/01/17(火) 00:25:27.65 ID:SLwZ7IwS.net]
- 統計処理して作ったプレイアウト関数も結局ダメでしたorz
最後はやっぱりBOOK頼みになっちゃいます。
もう一回NNに行って次の１手計算させてみるべかな。
- 695 名前：535 mailto:sage [2017/01/17(火) 21:19:41.12 ID:wCDEMY6U.net]
- モンテカルロ木探索ってわざと悪い手打ってる？ていうぐらい期待外れの手を打ちますねｗ
プレイアウトの質改善が必須か…
- 696 名前：310 mailto:sage [2017/01/17(火) 22:04:13.23 ID:SLwZ7IwS.net]
- 例えば４０手目くらいの盤面で、UCTの選択基準であるところの実行回数で次の１手を
並べると、トータルではzebraの完全読みの良い手から順に並んでくるんだけど、ところ
どころ順位が入れ替わるんだよね。その入れ替わる場所が、１位と２位とかだと−２して
しまうし、時々−１０くらいの手を選んでしまったりする。
囲碁のプレイアウトをちょっと調べたら、やっぱり盤面のパターンを評価して、次の
１手の順位を決めて、点数に応じて着手確率を変えたり、あからさまに悪い手はカット
するみたいな事をしている。そちらの知見では、良いプレイアウトなら回数は少なくて
も何とかなるみたいな話になってる。
今の相手着手可能数ベースで、edaxのpvbook_2009の最善手順を評価すると、１位の手
が選ばれている確率は４２％くらいで、２位で１７％と、思いのほか手が散っているんです。
これ、同点１位は、ソート順で２位以下にするのではなく１位にまとめるようにしてあるから、
マッチング率が想像していたより悪いって事になります。
別の方法で次の１手ヒューリスティックを作って、一致率を例えば７５％〜８０％くらいに
までできないかなぁと思いまして。結局、もうしばらくモンテカルロを継続する事にしました。
NNに行く前に、縦横斜めのパターンでベースとなる一致率を作ってみようかなと思います。
- 697 名前：535 mailto:sage [2017/01/21(土) 14:40:41.23 ID:7GkfgTKT.net]
- プログラム作るなら単体テストは必須ですね…
後から後からバグが溢れてくる…
- 698 名前：535 mailto:sage [2017/01/21(土) 15:30:15.75 ID:7GkfgTKT.net]
- 机上デバッグはいやだお…T△T
辛すぎる…
- 699 名前：310 mailto:sage [2017/01/22(日) 23:15:41.71 ID:7cgxubHE.net]
- 思いっきり同感だけど、結局サボるというorz
実はモンテカルロやってるから見なかった事にしているけど、Solverにバグがあります。
発生する条件も薄々わかっています。いつの間にバグを仕込んだのか。
さて、プレイアウトのヒューリスティックですが、縦横斜めのラインで、その形が現れた
回数、着手された回数のデータベースを作って、プレイアウトの次の１手の時に、それ
ぞれの確率を縦横斜めで集計して、その高い順にsoftmaxで確率分布にして、着手を
選択させる形にしました。
結果は・・・。ヒューリスティックの次の１手としての精度はいまいちですが、それでも
上位３〜４位くらいには最善手が入ってる感じになります。でも、評価値が極端に出過ぎ
ている感じで、ダメダメな感じになりました。確率のバラつきが小さいように感じたので、
ちょっと修正してみましたがダメなので、思い切って累積確率５０％でカットしてみました。
この辺で大体３〜４位までの着手になります。少しマシになったけど、やはりダメ。
softmaxの計算が重いため、プレイアウト回数が1/7くらいに減ってしまうんだけど、それを
補う精度が出ていない感じです。楽ちんなのでunordered_map使ってますが、もっと速度を
出そうと思うんなら、他の方法を考えた方が良いかも。
簡潔なプレイアウトで秒間プレイアウト数を稼いで、枝を伸ばす方向に逃げたい気持ちを
ぐっと抑えつつ、引き続いてニューラルネット系で次の１手を求めてみたいと思います。
更にスピード低下するので、いま以上に精度が出ないと・・・。
- 700 名前：535 mailto:sage [2017/01/23(月) 23:10:08.18 ID:ii9ofJgq.net]
- 黒番限定ですがLV2に勝ち越せる？というところまで来ました。
何をやっているかというとLV2とLV3を対戦させた棋譜を大量に集めて、
LV2に勝てる手順のＤＢを作ってナゾルということをやっていますｗ
まあほとんどチートみたいなものですが、棋譜を集めれば集めるほど
勝てるようになるのでなかなか面白いです。
白番だとLV2が盤の中央からゲームを始めないのでうまくいかなかったりしますｗ
- 701 名前：名前は開発中のものです。 mailto:sage [2017/01/23(月) 23:46:45.10 ID:ii9ofJgq.net]
- 勝利手順のＤＢからディープラーニングで評価関数を抽出することを考えていますが
今のところ全くうまくいく気配がありませんＴ△Ｔ
- 702 名前：310 mailto:sage [2017/01/26(木) 21:23:21.53 ID:foYEIc8+.net]
- >>700
Buroさんは逐次的にBOOK学習やってました。
僕は論文が理解しきれなかったのと、それやると特定AI相手だけに強いAIが作れて
しまうので禁じ手にしちゃいましたが、オセロというゲームの底の浅さからすると、
それが正解かも知れない（汗
デバッグ兼ねてZebraと対戦していたら、ZebraのBOOKが強化されていくのが実感
できてしまいました。
- 703 名前：310 mailto:sage [2017/01/26(木) 21:32:27.07 ID:foYEIc8+.net]
- さて、本日は非常にショックな事が判明しました。
次の１手を求めるNNを作って、大体できたのでAIに組み込んでました。
NNは以前にEigenで作ったものの流用改造。とりあえず学習結果が確認できる
ところまでやったら、コンパイルが通らない。C2059というエラー。前にも何回か
出ていて、ライブラリの順番いじると直るので放置していた奴。何かの名前が
組み込んだライブラリ間で衝突していると起きるらしい。それが途中からどうにも
直らなくなってしまった。
で、ようやく重い腰をあげて何が衝突しているのか調べたら、A1とかC1とかの
着手位置を表す#defineの定義が、Eigenの内部の型か何かの定義と被ってる。
こちらは#defineなのでnamespaceで回避できない。
楽に回避できる方法を色々考えたあげく、結局、C++良く知らなくてCとしてプログラム
書いていた頃から引きずって#defineを使っているのが悪いのだと気が付いて、
クラスとenumで対処するという、全面作り替えにする事にしてしまいました。
というわけで、修正に３日くらいかかりそうですorz
- 704 名前：名前は開発中のものです。 mailto:sage [2017/01/26(木) 21:36:49.48 ID:NsrLS1+v.net]
- 乙
- 705 名前：535 mailto:sage [2017/01/26(木) 21:43:44.99 ID:NsrLS1+v.net]
- >特定AI相手だけに強いAIが作れて
ディープラーニングが成功すれば汎用度もちっとは違うのかもですが。
- 706 名前：535 mailto:sage [2017/01/26(木) 21:54:02.30 ID:NsrLS1+v.net]
- 強い詰みルーチンが欲しいですねぇ。
ＤＢでほぼ勝ちという局面にもっていってもポロッと落とすことが結構ある。
- 707 名前：310 mailto:sage [2017/01/26(木) 21:56:01.75 ID:foYEIc8+.net]
- あ、もしかしてenumってunsigned __int64が使えないのか・・・
- 708 名前：535 mailto:sage [2017/01/26(木) 23:23:42.26 ID:NsrLS1+v.net]
- ＤＢは勝率で手を選ぶよりも累計勝利数で手を選んだほうが良いっぽい。
そのほうが勝利再現率が上がるっぽい。
- 709 名前：535 mailto:sage [2017/01/29(日) 01:07:10.63 ID:uZb/TXFd.net]
- 負けた手順に対して手動でＤＢを修正するという汎用性がみじんもない作業を始めましたｗ
なにかドカンと強くなる方法ないかなぁ
- 710 名前：310 mailto:sage [2017/01/29(日) 13:11:46.36 ID:rGbRSmBn.net]
- enumで__int64使えますね。というか、どこかのバージョンから使えるようになってましたね。
何か裏ワザ的な使い方考え付かないかと思って試しましたが結局ダメで、前から気になって
いた箇所をクラス化しだしたら大規模改造になってしまいました。
オブジェクト指向を忠実に実行しようとすると、結局何度もライブラリ作り直す羽目になると
いう本末転倒な状態（汗
色々ドタバタしていたので、オセロ共通のクラスのみ修正完了。ロジック部分はこれから。
- 711 名前：535 mailto:sage [2017/01/30(月) 23:07:35.87 ID:nIJrclSx.net]
- ファイル出力が思いのほか重い。
知識では知ってたけど今回、実感しました。
ＤＢ作るときは棋譜をまとめて読み込んで書きこみは１回だけとか工夫しないとだめですな。
- 712 名前：310 mailto:sage [2017/01/31(火) 01:06:15.90 ID:tF0OU/RM.net]
- >>709
ドカンとは強くならないけど、やっている事から推測すると遺伝的アルゴリズムが
合ってそうな気がします。茨の道ですが（汗
>>711
いまどきはメモリが大きいので、全部読み込んで一括処理とか、思いのほか可能ですね。
- 713 名前：310 mailto:sage [2017/01/31(火) 01:17:50.59 ID:tF0OU/RM.net]
- 困った。３層MLPで次の１手を、
qiita.com/kanlkan/items/6bff417519ed7d5ce4da
を参考にして求めている（若干やり方が違う）のだけど、思ったように学習してくれない。
NNの計算どっかおかしい気がしてきたorz
- 714 名前：310 mailto:sage [2017/02/01(水) 15:57:52.90 ID:DrzIg7bz.net]
- ひょんな事から学習できました。デバッグ用に学習データを減らしてテストをしようとしたら
学習できてしまいまして。件数を増やすとダメになる模様。
これは仮説ですが、多種多様な棋譜を学習させると、ネットワークの自由度が不足して、
ウェイト更新が相互に打ち消し合った結果、ウエイトがゼロ（勾配消失）に陥ってしまうと。
学習に失敗した時は、大半のテストの結果が、全て同じ確率（softmaxのため）となってい
ます。中身は見ていませんが、softmax関数を通す前はオールゼロとなっている事が十分
に想像できます。
今から思うと、NNで評価関数を作ろうとして失敗していた時も、同じ状態だったのかなと。
学習データを減らすと精度が落ちますので、ネットワークをより複雑かつ大規模にしない
といけないのかなぁと。結局、同じ問題（ネットワークを大規模化しなきゃいけないけど、
自前のパソコンでは計算が厳しい上に、結果を使用する方もタイムクリティカルなので
あまりややこしくしたくない）の周りをグルグルしはじめてしまいました（汗
- 715 名前：535 mailto:sage [2017/02/02(木) 23:55:47.04 ID:JZtX1mUx.net]
- まとめて読むようにしたら3日かかったDB作成が数分で終了しましたｗ
しかしDBがかなり肥大化してしまいました。
読み込みに5秒くらいかかる。
しかもこの手法だとLV2には勝てるけどLV3には勝てないし。
LV2はパターン少ないからDBで勝利手順なぞれるけどLV3はパターンが多くてカバーできない（多分）。
そろそろ別の手を考えなければ。
- 716 名前：535 mailto:sage [2017/02/03(金) 20:14:00.97 ID:jkxdJ711.net]
- ＤＢを使ってモンテカルロ木探索の探索結果を永続的に蓄積するというのをちょっと思案中。
計算すればするほどＤＢが洗練されていく感じで。
- 717 名前：310 mailto:sage [2017/02/03(金) 20:39:47.64 ID:dv6j41bl.net]
- >>716
同じ事妄想したけど、それなら後方枝刈付のmin-Maxの探索結果をひたすら
ため込んでいく方が容量的にも速度的にも有利で、それができないからモンテ
カルロだって事に思いいたりました（汗
min-Maxなら、いらない枝カットできるかと思いきや、相手がそこに打っちゃった
時の事を考えたら捨てられない事にも気づきました（汗汗
で、適当なところだけ保存して、残りは別途探索・・・って、これ定石DBやん！
というオチでした。
- 718 名前：名前は開発中のものです。 mailto:sage [2017/02/03(金) 20:45:51.93 ID:jkxdJ711.net]
- ボツ案でしたか。
でもまあ、とりあえずＤＢを充実させる方向でやってみます。
他に案がないので。
ディープラーニングがうまくいけばなぁ。
- 719 名前：535 mailto:sage [2017/02/03(金) 20:49:10.94 ID:jkxdJ711.net]
- 今のところ黒番対LV2は２勝一敗ペースてな感じです。
もっと勝てるかと思ったけどそうでもないですね。
- 720 名前：310 mailto:sage [2017/02/03(金) 20:58:39.46 ID:dv6j41bl.net]
- こちとらディープラーニングで完全にドツボってますorz
- 721 名前：535 mailto:sage [2017/02/04(土) 19:33:24.33 ID:neMma6zi.net]
- ディープラーニングは盤面情報だけじゃなくてこちらでなにがしかの特徴量を計算してやって
その数値も食わせたほうがすこしはましになるんだろうか。
- 722 名前：310 mailto:sage [2017/02/04(土) 20:57:26.78 ID:ycMSfQXf.net]
- オセロではBuroさんの評価関数と同じ特徴を入力にしたMLPで評価関数を作った
オセロプログラムがあります。vsOthaというソフトです。
今回はディープなので、できれば特徴量は自動抽出してもらいたいものではあります。
一応、黒白の盤面情報の他、着手可能位置は与えています。
と、ここまで書いて、着手可能位置を求めるように学習させられるのか、ふと気になった。
何らかの事前学習に使えそうな気がする。
やらずに悶々としているだけなのですが、DCNNの四角い窓ではオセロの特徴はうまく
抽出できないのではないかと思っていますが、他に方法が思いつかないのが悲しい。
- 723 名前：名前は開発中のものです。 [2017/02/05(日) 08:03:16.57 ID:36jlTAsU.net]
- そうかそうか
- 724 名前：535 mailto:sage [2017/02/07(火) 20:48:43.68 ID:qiXxRrUf.net]
- 機械学習じゃだめだ、手書き評価関数しかない…
しばらくするといや、手書き評価関数じゃやっぱりだめだ、機械学習だ…
の無限ループｗ
- 725 名前：310 mailto:sage [2017/02/08(水) 21:46:39.89 ID:GrcF81sn.net]
- 昔mnistでオートエンコーダのテストした時のように、学習内容（ウェイト）をBMPにして
可視化してました。テストに時間がかかるので、色々すったもんだバグとりに時間が
かかってましたが、ようやくなんとか表示できるようになりました。で、とりあえず想定より
少な目の隠れ層４０９６個でテスト開始。
勾配ノイズ（焼きなまし）の設定値もでかすぎたので、設定値を自動計算するようにしたり。
NN復活当初うまく動かなかった原因がこれでした。
で、まだ学習途中なのですが、ウェイトデータ見ると１９２個（＝６４×３）毎に１ビットづつ
ずれるパターンに収れんしていっています。１９２といえば入力データのサイズで、
横に６４個づつ並べたビットマップ画像に、まるで光子の回析実験のような縦じまが（汗
そんな周期性が生まれるはずがないので、どこかにバグがあるんじゃないかと。
表示するプログラムのバグかも知れないけど、１エポックに３時間かかるので、止めて
デバッグに入るか、それとも続行するかで悶々中…。
どっちにしても時間がかかるので、裏でDCNNをもう一度コーディング開始。
あまりにネストが深いのでミニバッチは一旦放棄してSGDで。
GoogleのTensorFlowがテンソルな意味が良くわかった。
DCNNだと元データが２次元で、更にチャンネルがある行列では次元が足りないorz
今最大の懸案は、とりあえず隠れ層4096でオートエンコーダの事前 学習しているけど、
それが終わり全体の学習にいって上手く行かなかった時、中間層を増やして再トライ
するか、それともDCNNに行ってしまうか。
- 726 名前：310 mailto:sage [2017/02/08(水) 21:47:47.17 ID:GrcF81sn.net]
- >>724
そこは…絶対的に機械学習である！という信念が必要だと思います（汗
- 727 名前：535 mailto:sage [2017/02/09(木) 22:03:30.31 ID:qkkjChao.net]
- >>726
そうですかｗ
まあそんな気もしますが、でも終盤の積みルーチンだけなら手書きでイケそうな気もするんですよねぇ
そこだけでもなんとかできれば…
- 728 名前：535 mailto:sage [2017/02/10(金) 19:40:14.89 ID:M6OFVkZO.net]
- 黒番だとDBのせいで対LV1よりも対LV2のほうが勝率いいみたいｗ
めちゃくちゃ歪んだAIになってしまったw。
- 729 名前：310 mailto:sage [2017/02/10(金) 23:52:07.84 ID:HUcinQI4.net]
- ３日かけて学習したオートエンコーダ型はやっぱりダメでした。
可能性すら見えなかった。
というわけで、開き直ってDCNN開始。
前回はオセロ専用で展開形を作ってましたが、それではmnistなどでテストできない
ので、max_poolingも含めて、本格的にちゃんとしたものを作ってみました。
とはいえ、まだ畳み込み層の誤差逆伝播の解釈が正しいか、自信はありません。
また、テストで動かしたところ、なんかすごく重い印象です。
ちゃんと動くのかなぁ。
- 730 名前：名前は開発中のものです。 mailto:sage [2017/02/11(土) 10:06:04.43 ID:CnQo/DsP.net]
- ＧＧＳはmimosaというソフトを使うと入れますよ
- 731 名前：310 mailto:sage [2017/02/13(月) 22:45:03.11 ID:d/p+PbrG.net]
- >>730
そのmimosaのサイトがリンク切れで見つからないのです。
- 732 名前：310 mailto:sage [2017/02/14(火) 20:21:59.60 ID:lpq90WbI.net]
- 自作ライブラリにDCNNのレイヤーを書いたのですが、あまりの計算時間にデバッグ中に
めげて、試しにtiny_dnnというC++専用のNNライブラリを入れてみましたところ、自作の
１０倍以上の速度で・・・こちらに乗り換えです。
で、tiny_dnnでmnistやって感度をつかんだところで、オセロの盤面を変換する処理を
書いて、小手調べに簡単なネットワークで動かそうとしてみたところ・・・盤面データの
変換の段階でメモリーが溢れて盛大にスワップ開始（＾＾；
5000,000盤面×100マス（Padding含む）×４チャンネル×４バイト（float）でデータだけで
８Gbytes。自分のパソコンのメモリーは８Gで、空いているメモリーは５Gちょいとメモリー
不足が判明しました。
いまどきのパソコンはメモリーでかいから一括でも大丈夫とか言って、このざまです（笑）。
tiny_dnnは全データ一括で渡して指定エポック回してくれる仕組みなのですが、仕方ない
ので、入力データを分割して、自分でループ回します。
α碁のハード環境がうらやましいorz
- 733 名前：310 mailto:sage [2017/02/15(水) 23:06:48.81 ID:DozmM7Z3.net]
- 色々細かく改造。やっぱライブラリがあると気が楽です（汗
簡単なネットワークの初期の学習の具合では正答率５０％くらいが上限な印象だったので、
ネットワークを複雑にしてみました。で、１エポック８時間以上かなぁ。
もっとハードを・・・って真剣に思いますorz
- 734 名前：名前は開発中のものです。 mailto:sage [2017/02/17(金) 23:21:12.85 ID:ZDoCs64T.net]
- AMDが今度発売するcpuが結構いいかもしれない
- 735 名前：310 mailto:sage [2017/02/19(日) 20:31:51.68 ID:PM1ZzNLK.net]
- DCNNで学習させてるのですが、あまりに時間がかかるので、裏でもう一度
アルファ碁の論文を。日本語解説ページがいくつかできていて助かります。
で、読んでいたら、ロールアウトポリシーなる線形Softmaxでプレイアウトの
手を選択していると・・・。つまりはオセロ評価関数のような特徴を渡して、線形
回帰の代わりに出力をSoftmaxで確率分布にしたものです。
ロールアウトポリシーは棋譜との一致率が２５％程度だけど、計算が圧倒的
に速く、このばらけ具合がちょうど良いとの事。
むむむ。アルファ碁はプレイアウトの手の選択にDCNN使ってないのねorz
日本語解説のおかげで、MCTS部の構造もようやくわかった。
いくらマシンが早くても無理だろと思っていた計算も、これなら何とかなりそう
レベルの構造に落とし込まれていて、納得しました。
でも、実はまだインプットに何を食わせているのかが、よくわからない（汗
- 736 名前：535 mailto:sage [2017/02/19(日) 22:19:16.15 ID:FX6EUVR+.net]
- ついにアルファ碁論文まで…
英語かつ有料記事ということで私は手を出せずにいましたが日本語サイトもあるんですか。
ちょっとググってみるか…
- 737 名前：310 mailto:sage [2017/02/20(月) 20:05:00.30 ID:L40mCRWI.net]
- 論文自体はだいぶ前にダウンロードしてたんですが（汗
MCTSやらない段階では、やはり理解は難しかったと思います。
DCNN部分の投入データあたりは囲碁の知識が必要だったりしますので、
まだよくわからない点が多いです。
で、MCTS的な視点から眺めると、巷の解説とは違うところにフォーカスが
あたったりします。強化学習使ったRL PolicyはValue netの事前学習で
使っていますが、プレイアウトの手の選択では線形Softmax、ノードの分岐
では教師付学習のものを使用しているなど、工夫が見られまして。オセロ
は既に評価関数があるので、無理やりDCNNしなくても応用が効くのでは
ないかと思ったりします。
とはいえ、今学習中の奴は、学習終わるまで１ヶ月くらいかかりそうではあり
ますが、どこまで手の一致率が高められるか、見てみたい気もしています。
- 738 名前：310 mailto:sage [2017/02/20(月) 20:09:54.18 ID:L40mCRWI.net]
- 追記。なんか格好良く書きすぎですね。
ちょうど今MCTSで悩んでいる箇所に見事な回答を与えている点に感動。
日本語で読めたので、そこに速攻で気づく事ができたという事で。
とはいえ、アルファ碁の線形SoftmaxによるRollout関数の入力データは、
囲碁の特性がわからない事から、意味不明な事もまだあり、いずれにして
もそのままでは使え無さそうで、オセロに合わせて別途考えるしかなさそうです。
- 739 名前：535 mailto:sage [2017/02/23(木) 20:58:02.50 ID:ONUfwXLw.net]
- 連続対戦してると突然落ちるバグがあるっぽいが意図的に再現できない。
どうデバッグすりゃいいんだ。orz.
- 740 名前：名前は開発中のものです。 mailto:sage [2017/02/23(木) 23:03:49.03 ID:ONUfwXLw.net]
- 再現した！
けど一回再現させんのに１時間かかるｗ
- 741 名前：535 mailto:sage [2017/02/24(金) 21:40:56.21 ID:sIjNtQpy.net]
- コアダンプの吐かせ方がわからん。Ｔ△Ｔ
デバッグオプション付けてulimit -c unlimitedだけじゃだめなんか。
ちな環境はcygwin。
- 742 名前：名前は開発中のものです。 [2017/02/24(金) 21:43:59.65 ID:P/wI/gFl.net]
- age
- 743 名前：535 mailto:sage [2017/02/26(日) 00:05:27.56 ID:TbeyqTpr.net]
- やっと落ちてる場所見つかった。
ぬるぽだった
- 744 名前：535 mailto:sage [2017/02/26(日) 23:30:45.62 ID:TbeyqTpr.net]
- 特徴量とか便利すぎる言葉考えたやつ誰だよ。
いつでも特徴量が効率よく計算できるとは限らんだろうが。
マジムカつく。
- 745 名前：310 mailto:sage [2017/02/27(月) 01:19:56.03 ID:kLJ7ziJk.net]
- 全く同感orz
- 746 名前：535 mailto:sage [2017/02/28(火) 21:58:57.62 ID:+JAecqpe.net]
- ファイルに２Ｇの壁とかあんの？
２Ｇ以上のデータはどうやって受け渡せばいいんだ。
- 747 名前：名前は開発中のものです。 [2017/03/01(水) 12:15:45.60 ID:jElZYckW.net]
- 「29歳既婚、2年前に会社を辞めた。ボードゲーム作りを始めて3700万円を
売り上げたけど何か聞きたいことはある？」回答いろいろ
labaq.com/archives/51880196.html
日本ボードゲーム界の異端児に聞く！ボードゲームデザイナーとして生きていくには？
https://bodoge.hoobby.net/columns/00013
QRコード・クトゥルフ神話・24世紀などユニークすぎるデザインてんこ盛りのサイコロ「Dice Empire」レビュー
gigazine.net/news/20150313-dice-empire/
ボードゲームの展示イベント「ゲームマーケット」の成長記録からこれからの
市場に必要なことを妄想してみた。6年間の来場者数推移（2016年4月時点調べ）
https://bodoge.hoobby.net/columns/00001
ボードゲーム市場がクラウドファンディングの出現で急成長を遂げ市場規模を拡大中
gigazine.net/news/20150820-board-game-crowdfunding/
実際のところ、自作ボードゲームってどれぐらい売れるもんなの？
roy.hatenablog.com/entry/2016/12/20/220102
ゲームマーケット2016春にて初参加サークルさんに作成数アンケートをとってきました
hidarigray.blog35.fc2.com/blog-entry-614.html
カフェも急増 ボードゲームにアラサーがハマる理由
style.nikkei.com/article/DGXMZO10921930R21C16A2000000?channel=DF260120166491
ボードゲームのオリジナルオーダー制作
www.logygames.com/logy/ordermade.html
- 748 名前：535 mailto:sage [2017/03/02(木) 19:55:15.50 ID:ejFPCGdH.net]
- がっつり連続対戦中。黒番対LV２だけ流し終わった。
100局目
黒(airandom.dll)の勝利回数: 73
白(ai-lv2.dll)の勝利回数: 27
なお他のレベルも平行して回してるけどいま黒番対LV3に1勝54敗中ｗ
なんでこんなに差がでるのかなぁ。
- 749 名前：535 mailto:sage [2017/03/02(木) 20:08:53.54 ID:ejFPCGdH.net]
- 対ＬＶ２はかなり同じパターンで勝ってるな。
勝利手順ＤＢにずっぽり嵌ってくれてる感じだ。
ＬＶ３は嵌ってくれない。
- 750 名前：535 mailto:sage [2017/03/02(木) 21:41:10.44 ID:ejFPCGdH.net]
- 序盤用ＤＢはそこそこうまく動いているが
中盤〜終盤用のＤＢのせいで致命的に打ち手が狂ってるように見える。
ＬＶ３に勝てないのは多分これだな。
- 751 名前：535 mailto:sage [2017/03/02(木) 23:28:08.02 ID:ejFPCGdH.net]
- ずいぶん昔に書いたコードにバグがあった。
ビビるくらい致命的な奴。
よく今まで動いてたな。
- 752 名前：310 mailto:sage [2017/03/03(金) 01:05:23.13 ID:0ijSS6CX.net]
- 次の１手もDCNNもなんか上手くいかないので、アルファ碁の原点に戻りました。
アルファ碁のMTCSとしての特徴は、各ノードで評価関数を動かして、そのノードに
点をつけて勝率と５０％混合する事で、ノードの選択に事前に差をつけてしまう事に
あります。これによって、負けが多いけど１手だけ良い手があるルートを正しく評価
する可能性を高めていると解釈しています。
で、評価関数はオセロでは線形和で確立されているので、昔の奴をと思ったのですが、
どうせならMLPのライブラリ使ってしまえばEigenが使えるので信頼性高い上に、学習
率の最適化でモーメンタムどころかSMORMS3が使えるようになります。インプットが
とても疎なので、EigenのSparseMatrixを使って高速化を図ります。
早速作って学習させてみたところ…僕の記憶が確かなら以前のプログラムの数十倍
くらいの速度で動いています（汗。これなら１００エポックくらい楽勝。
今は評価値を計算させていますが、一旦できたら、次のステップで勝率を計算させられ
ないかなぁと。ただ、評価値がある程度正確なら、勝率ではなく平均スコアでプレイアウト
しても良いのかなと思っています。
- 753 名前：535 mailto:sage [2017/03/04(土) 22:29:00.76 ID:ZrhUKe4E.net]
- DB初期化に35秒かかる。
コンパイラを64bit版に変えると11秒になる。
なぜこんなに差が…
ちなみに囲連星本体が32bitプログラムだからコンパイラ変えられないT△T
なんとかならんか？
- 754 名前：535 mailto:sage [2017/03/05(日) 03:39:08.88 ID:LufQ1oMY.net]
- コンパイラの問題じゃなくてライブラリを静的リンクするか動的リンクするかの違いみたいです。多分。
かなり早くなった^_^
- 755 名前：535 mailto:sage [2017/03/06(月) 18:17:26.36 ID:XCrs8w8i.net]
- 思考時間は試行回数に直結する
重いモンテカルロは一旦封印する
- 756 名前：310 mailto:sage [2017/03/10(金) 01:25:20.88 ID:4qfAid0y.net]
- 評価関数の作り直しを始めたら、計算してはやり直しの繰り返しです。
計算速度が上がったので、比較的気楽に再計算できちゃうのがいかん。
勝率の計算もしてみましたが、結果は似たようなものでした。
いずれにせよ、もう少し精度を上げたいなぁ。
- 757 名前：535 mailto:sage [2017/03/14(火) 22:28:17.78 ID:KNe/k0R5.net]
- LV1の棋譜はDBから削除したほうがいいみたい。
いいとこどりとはいかないか。
- 758 名前：535 mailto:sage [2017/03/15(水) 21:45:36.14 ID:gknDrLfY.net]
- 囲連星のルールは囲碁と共通部分があるから囲碁AIを参考にするのが良いと思っていたが
７連を作れば勝ちというのは王様を詰ませれば勝ちという将棋のゲーム性に近いものがあるのかもしれない。
将棋AIの手法も調べてみるべきか?
- 759 名前：535 mailto:sage [2017/03/18(土) 23:34:35.11 ID:VnDB8sqw.net]
- 手書き評価関数やっぱうまくいかないな。
LV０やLV１も実は結構強かったんだな。
反省。
- 760 名前：535 mailto:sage [2017/03/19(日) 00:56:20.04 ID:y6fifsqj.net]
- やっぱ機械学習しかない。（無限ループ）
- 761 名前：535 mailto:sage [2017/03/21(火) 22:23:02.18 ID:xGpFrIPp.net]
- 特徴量と棋譜は用意できる。
棋譜の勝者の着手に対してどの特徴量が優先的に選択されたか？を計算したい。
どうすればいいかな？
- 762 名前：名前は開発中のものです。 mailto:sage [2017/03/22(水) 00:39:02.37 ID:/GDSNvuJ.net]
- 優先的とか無いでしょ
評価関数は全ての特徴量に対応する評価点を合計するだけ
その各評価点の絶対値が大きくて評価値に割と大きな影響を与えるとかゼロに近いとかはあるけど
- 763 名前：310 mailto:sage [2017/03/22(水) 09:25:05.89 ID:sNSr7O3Z.net]
- >>761
それを統計的に処理して求めるのが線形回帰。
収束アルゴリズムは最急降下法を使用するのが普通。
特徴量あり１、無し０で特徴量並べたベクトルを食わせて、
荷重値であるウェイトを同数用意して内積計算。
出て来たスカラ値が、教師データに合うようにウェイトを収束計算させる。
出て来たウェイトが対応する各特徴量の重要度を表す。
- 764 名前：535 mailto:sage [2017/03/22(水) 20:48:28.79 ID:rRrXmS1r.net]
- 自力で線形回帰を実装するのはしんどそう。
なにかいいライブラリないですか？
>>535のMM法が動いてくれれば話は早かったのになぁ
- 765 名前：535 mailto:sage [2017/03/22(水) 21:25:31.00 ID:rRrXmS1r.net]
- もう一度MM法トライしてみるか…
- 766 名前：310 mailto:sage [2017/03/23(木) 17:35:49.51 ID:xjqriUpX.net]
- 線形回帰というか、最急降下法自体はたいした事ないよ。
ひたすらループ回して、答えを出して、教師データとの差に比例して
ウェイトを調整するだけ。ニューラルネットになるとバックプロパゲーション
が出てくる（これも似たようなものだけど）違いがあるけど。
とりあえず実装の参考にするならこれ。
sealsoft.jp/thell/learning.pdf
GitHUBとかで探すとなんかあるかも。裏ワザではMLPのライブラリ落として
来て、１層の活性化関数無しの全結合層で計算させるって手もある。
- 767 名前：310 mailto:sage [2017/03/23(木) 17:40:46.97 ID:xjqriUpX.net]
- こちらは、線形回帰の評価関数を作り直して、勝率と石差の２つ用意して、
アルファ碁っぽくMCTSに組み込んでみました。
で、テスト開始したらやたらと落ちる。
線形回帰の計算にEigen（行列パッケージ）を使用していたんだけど、こいつ
が並列処理に対応していないのが原因臭い。
というわけで、学習部分と、MCTSで使う評価関数を切り分けて、評価値を
求める時はEigenを使わないように改造中です。
果たして強くなっているのか。
- 768 名前：535 mailto:sage [2017/03/23(木) 20:11:41.72 ID:rddo+SDA.net]
- >>766
ありがとうございます。
さらっと読んでみました。
いい感じの文章ですね。
なんとなくイメージは掴めましたが、実際実装するのは結構大変そうな気がします。
まずはMM法でやり直してみて、駄目だったら手を出してみます。
すいません。
- 769 名前：310 mailto:sage [2017/03/25(土) 10:29:51.08 ID:8t9unId8.net]
- 学習時と使用時の評価関数の切り分け。簡単にやるつもりだったのに、
バグ一杯出してデバッグで大変な事に。
デバッグが行き詰ると、気になっていた箇所を綺麗に直して手を動かし
続けたくなるんだけど、つい計算結果に影響が出てしまうところまで
手を入れてしまい、結局また再度学習しなおしです。
一応バグは解消したと思っていますが・・・
この土日に確認まで行けるか微妙。
- 770 名前：名前は開発中のものです。 [2017/03/25(土) 15:51:24.00 ID:eEMcRod/.net]
- 自作アナログゲームを投稿・共有できる「紙ゲー.net」がオープン
www.moguragames.com/entry/kamigame-analog-game/
- 771 名前：535 mailto:sage [2017/03/25(土) 21:50:08.29 ID:S05KfsXi.net]
- 特徴量、用意できるって言ったけど、いざ作ろうとすると迷うｗ
あれもほしい、これもほしいとなって発散してしまう。
- 772 名前：310 mailto:sage [2017/03/25(土) 23:15:01.53 ID:8t9unId8.net]
- 特徴量の選択はね・・・
実際にその特徴量を使って統計処理（線形回帰でもMLPでもDCNNでも何でも可）して
みて、結果の精度に効くものを残して、効かないもの（ウェイトがゼロになるとか、外して
も精度が変わらないとか）を外して、結果的に決まるものじゃないかと思います。
そういう意味じゃ、仮説検証でトライアンドエラーしないといかん。
オセロではBuroさんが論文書いてくれているので、皆それをベースに小修正程度で、
ほぼ同じ精度のものができちゃいますが、そういう先行者がいないゲームだと、自分で
やらないといけないので大変だと思います。
DCNNで「特徴量を自動的に決めてくれる」ってのに、皆が胸熱になったのは、そういう
事です。自分はオセロに応用しようとして、失敗して、後回しにしちゃいましたが。
- 773 名前：310 mailto:sage [2017/03/27(月) 01:55:55.89 ID:n7C1rJ6D.net]
- アルファチックなMCTSオセロですが、とりあえず途中まで学習してテストしたところ・・・。
終局しているのに両者パスでツリーが伸びて行ってしまう（汗
何度チェックしても原因不明。ブレークポイントでチェックすると、あり得ない場所で
ボードデータが書き換わっているように見えますが…。並列探索が原因かと思い、
シングル動作にしてみましたが、それでも同じ。かなり重症です。
が、それを除くと、途中までテストした感じでは、最善手を打てている模様。
まだ序盤なのにツリー成長が尋常ではなく、終局までツリーができています。
不要な手をカットする仕組みとして、十分すぎる性能になっています。
とはいえ、勝率判定はそれほど正確ではないので、変な局面に誘導されると、
読み抜けが問題になってくるかも知れません。
もしかしたら、終局後もパスでツリーが伸びている問題は、これまでもあったけど、
終盤完全読みにしていて見えなかっただけかも知れません。
- 774 名前：310 mailto:sage [2017/03/28(火) 03:12:19.93 ID:Cq+qEzvW.net]
- パスが伸びる原因は判明。
着手後の盤面を返す関数で、合法手じゃない着手を要求された時を
エラーにせず、元の盤面をそのまま返していたため、手が進まなくなって
いたのが原因だった。
が、そもそも合法手以外の手を渡すはずがないから、エラートラップして
いなかっただけで・・・
まだ根本原因にはたどり着けず。
- 775 名前：535 mailto:sage [2017/03/29(水) 21:27:24.43 ID:a7v8cJOT.net]
- MM法動きました！
でも全然強くないｗ
特徴量が悪いのか棋譜が足りないのか…
- 776 名前：310 mailto:sage [2017/03/29(水) 21:53:37.26 ID:4lOT7Sa+.net]
- 大体バグがとれました。
Zebraの学習モードと対局。
F5-D6から１０手目までは定石使用。その後４０手目まで新AIで手を分析。
途中数回-2の手を打つものの、そのまま終盤まで行き、−４〜−６くらいで安定。
４０手前に負け趨勢が判明（勝率３０％くらいかな？）するとご乱心モード入り（汗
というわけで、Zebraレベルまで、もう少しという感じです。
評価関数を使用したプレイアウトは、重すぎる上に結果も散々で、結局のところ
以前の角評価付相手着手可能数ヒューリスティックで３手を選択し、７５％２０％
５％で振り分けるものを使用しています。評価関数型の方は多分softmaxで
使うexpの計算が重いと思うので、テーブル化を検討してみようかと思います。
一番の改善点は・・・。評価関数で悪いと評価された手には、プレイアウトを割り当て
ないので、とにかくツリー展開が縦深します。３０秒思考で１２〜１４手目には、一番
読んでいる枝は終局に達しています。これで、モンテカルロの偶然がかなり減って
いる印象です。また、余計な横枝が伸びていないので、メモリーにも優しいです。
２手ほど間違えるのは、ツリー展開の初期値で与える評価値の誤差が原因と思います。
ここは、今の評価関数では、これ以上精度出せないので、何か手を考える必要あり。
あと、いくつかの定数調整かな。
- 777 名前：310 mailto:sage [2017/03/31(金) 20:13:06.62 ID:Hurb1/nC.net]
- expの計算は重さの原因ではありませんでした。やはり単純に評価関数が重い模様。
プレイアウトはヒューリスティックのsoftmax版に変更。
ツリーの初期の評価値は、数手読む事で精度アップを図ってみましたが、３手も読む
とかなり時間がかかって、プレイアウト回数が1/10以下になってしまうので、バランス
見て２手読みにしてみましたが、これで強さが変わるのか不明。
１０〜１５手目で１回。３５手前後で１回づつ間違えて、負けを確信したところで乱心。
試しに１５手まで定石DBを使うようにしてみたところ、３５手目まで引き分けで行けました。
やはり３５手目で間違えて−６。むむむ。
４０手までの棋譜。
F5 D6 C3 D3 C4 F4 C5 B5 B4 B3
E7 C6 B6 E6 F6 D7 C8 A6 C7 E3
F3 G4 G3 E2 H3 G5 G6 F7 E8 B7
F2 B8 D1 F1 A8 A7 A5 D8 A4 A3
３５手目のA8以下を、A5 A4 E1 C1 A8 A7としていれば引分でした。
評価の順番はA8/E1/A5と、正解を３番手に予想しています。
Zebraの中盤２０手読みでもE1と間違える局面で２４手読みだと正解するみたいです。
実をいうと、途中で邪魔が入って放置している間に、バックグラウンド探索で１０００万
プレイアウトの上限に２回達しています。強さ図る時はバックグラウンド探索を止めない
と意味ないかも。
囲碁AIの本を読んでいたら、プレイアウトの精度の検証に、プレイアウト結果盤面を
統計的に処理して、終局予想図を出す方法と、重要な手を見つけるクリティカリティと
言う概念の説明がありました。この辺使って、プレイアウトの弱点探してみます。
- 778 名前：310 mailto:sage [2017/04/01(土) 01:30:30.93 ID:Wq4mpDtN.net]
- 直すところが無くなってきたのでパラメータ調整。
たまたまだと思いますが、初めてZebraの中盤２４手読みと引き分けました。
こちらの設定は、バックグラウンド探索無しの１手１分（相手も３０秒考えるという想定）
定石１０手まで。完全読み切りルーチンなし。
F5 D6 C3 D3 C4 F4 C5 B5 B4 B3
D7 C6 B6 E6 F6 G5 G6 E3 A5 E7
F3 G4 E2 C2 H4 H3 H6 H5 C7 D8
G3 H7 A3 A4 A6 H2 F8 F7 C1 D2
C8 E8 F2 D1 F1 B1 E1 G1 B2 A1
A2 B8 A8 B7 A7 G2 H1 H8 G7 G8
ちなみにZebra側は全てBookにあった模様で、一度も中盤探索していません。
- 779 名前：535 mailto:sage [2017/04/01(土) 11:28:54.33 ID:Gu8vVrdS.net]
- おおーZebra越えが見えてきましたか凄い！
こっちも頑張らねば…
- 780 名前：310 mailto:sage [2017/04/01(土) 12:57:37.15 ID:Wq4mpDtN.net]
- あ、たまたま４月１日の投稿ですが、嘘ではありませぬ(^^;
Zebraがエイプリルフールしてくれたのかも知れませんが。
今回はZebra側は、全部Book上で打っていたので、思考時間実質ゼロです。
Bookを変化させるにして、最初にZebra側がBook評価で-0.5くらいの手を選んで
くれたので、緩まずに終盤まで行ったのかも知れません。
でも、流石に思考時間１分はやり過ぎですよね。
あと、Zebraの中盤探索と勝負したいのですから、ZebraもBookを切った方が良いかな。
- 781 名前：310 mailto:sage [2017/04/01(土) 14:20:36.16 ID:Wq4mpDtN.net]
- ZebraをBook無しにして対戦したら、中盤で読み勝って＋２勝ちになりました。
以下棋譜。
F5 D6 C3 D3 C4 F4 C5 B3 C2 E3
D2 C6 B4 B5 F2 E6 F3 C1 A3 A4
A5 A6 A7 D1 B6 E2 E7 D7 F1 E1
A2 G1 F7 G5 G4 G6 F6 H3 E8 C8
D8 G3 B8 B7 H5 H7 G2 H1 H6 G8
B1 A1 A8 C7 G7 H4 B2 H8 H2 F8
Zebra設定：白番、中盤２４手探索、Book未使用、中盤変化せず
当方設定：黒番、１０手目まで引分定石使用、思考時間１分、バックグラウンド探索なし
注）昨夜評価関数の学習を少し進めました。多分誤差範囲です。
Zebraの解析によれば２３手目あたりで間違えてくれたみたいです。
こちらは１０手までは定石使っておかないと、かなり滅茶苦茶な手を打ってしまったり
しますので、Zebraの序盤の精度は凄いですね。
次はどうしよう。
強化学習を調べているんだけど、いまいちどう応用したら良いのかがわからない。
- 782 名前：310 mailto:sage [2017/04/01(土) 16:16:54.26 ID:Wq4mpDtN.net]
- １分探索では申し訳ないので、１０秒探索＋バックグラウンド探索にしてみました。
F5 D6 C4 D3 C3 F4 C5 B3 C2 E3
D2 C6 B4 B5 F2 E6 F3 C1 A3 A4
A5 A6 A7 D1 B6 E2 F1 E1 A2 G1
E7 D7 F7 G5 G4 G6 F6 H3 E8 C8
D8 G3 B8 B7 H5 H7 G2 H1 H6 G8
B1 A1 A8 C7 G7 H4 B2 H8 H2 F8
若干違うけど、ほとんど同じような進行で＋２勝ち。
確認していないけど、手順前後で同じ終局図になっている気がする。
ちなみに２３手目A7は、自分の手番でした。解析結果も、Zebra側が見落とした手
を発見している形になっています。恐らく、その手前の２２手目のA6辺りで見落とし
が起きているのだと思います。
こちらが間違えていないという点は評価できるけど、Zebraを中盤変化させて色々な
パターンを試す必要ありそう。
まだ半信半疑だけど、１０秒探索でこれって、ものすごく強くなってる気がしてきた。
- 783 名前：310 mailto:sage [2017/04/01(土) 17:37:16.14 ID:Wq4mpDtN.net]
- もう１局やって引分。
強化学習って、プレイアウト同士対局させながら、確率的勾配効果法で
１件づつ更新を繰り返す形で良いのかなぁ。
- 784 名前：310 mailto:sage [2017/04/02(日) 18:48:15.03 ID:xuvwd7i8.net]
- 別のオープニングを試したところ、F5F6系や、F5D6C4G5系はZebraに勝てません。
試しにF5D6C4G5系を調べてみたところ、ツリー展開がなかなか深まらない様子で、
有望と評価される分岐が多すぎるのかと思います。最後はやけになって、１分読み
＋要所でバックグラウンド放置探索で無理やりツリーを伸ばしたところ、途中経過で
Zebra評価値が−４まで行ったところから何と＋４まで回復しました。
やはりポイントはツリーの深さであり、余計な枝を探索しない、ポリシーネットの精度
が重要になると。多分。
あと、相手パスの時にもおかしくなるバグを発見。今夜は、ここを調査。
- 785 名前：310 mailto:sage [2017/04/03(月) 20:36:38.16 ID:BqB2rFYT.net]
- パスがおかしくなる奴は、やはりデバッグルーチン限定で、かつ直すと本処理にも
大きな修正が必要になるので、当該デバッグ処理を削除して対処。
F5D6C4G5系をテストプレイしていてわかったのは、中盤ことごとく読みがZebraと
一致しない事。一致しないだけなら良いけど、そこがところどころ悪手になってるっぽい。
読みが一致しないと、事前に読んでいない枝で探索する事になり、浅い探索のまま
間違いが連鎖する感じ。Zebraの着手は、こちらAIが予想は評価値順で３番目以降に
なっている。
これ、ロールポリシーが決めるプレイアウト割り当ての優先順位の問題か、それとも
プレイアウトの精度の問題か、はっきりしませんが、要するに評価値が間違っている
＝弱いという事ですね。
で、この２点について、もう１ステップ先に進んでみようかと思います。
プレイアウトについては、強化学習で良いヒューリスティックを作れないか検討。
ロールポリシーについては、与えている棋譜のバラつきが原因かも知れないので、
強化学習の棋譜から自動生成する事を検討。
あと、終盤４０手以降はほぼ間違えないので、Solverを削除してしまいました。
また、できれば、最終的には定石も無しにしたくなって来ました。
目指せピュアMCTS。
- 786 名前：310 mailto:sage [2017/04/03(月) 20:41:47.20 ID:BqB2rFYT.net]
- 忘れていた。
>>782の２２手目は、Zebraの当初予想はG4でしたが、このターンに達した時に、
A6に変わりました。そこでここで強制的にG4を打たせて続行してみましたが、
＋４でこちらのAIが勝利しました。Zebraが間違えたのは、もう少し前の場所の
可能性があります。
- 787 名前：310 mailto:sage [2017/04/05(水) 01:14:25.59 ID:4SaLkpgr.net]
- >>786
Zebraが間違えたのは１４手目のB5だった模様。ここで引き分け手順から外れてます。
定石無しにしようと書いておきながら、少なくとも引分とわかっている盤面情報を活用
して、探索の省略ができないかと、あちこちに組み込んでみましたが、効果は不明。
効果がわからないというより、毎晩こつこつと評価関数のエポック数を稼いでいたところ、
どうも過学習に近い状況に陥っているみたいで、手の選択が変わってきて、むしろ、
どんどん弱くなりつつあります。むむむ。
一旦変な手を選んでしまうと、Zebraにしっぺ返しを食らって、せっかく読み貯めた
プレイアウトの大半がボツになり、短いツリーで手を選択するうちに、どんどん
間違った手を打っていく模様。結果的に勝った時は、ツリーがどんどん伸びて行く
のと対照的です。
で、結局、評価関数の良し悪しという話に逆戻りorz
評価関数から脱却するためにMCTS始めた頃が懐かしい・・・
- 788 名前：535 mailto:sage [2017/04/05(水) 23:08:13.71 ID:laANBz/U.net]
- 最新の対戦結果です。
LV2に白番で勝ち越したようです。
しかし、LV1に黒番で負け越している。
あとLV1とLV3で白番のほうが勝率がいいのが謎。
真面目に長連対策してないのが弱点になっているのだろうか？
それにしてもLV３強すぎる。
LV１との対戦も１００戦やる予定でしたが途中で固まってしまったようです。
100局目
黒(airandom.dll)の勝利回数: 2
白(ai-lv3.dll)の勝利回数: 98
100局目
黒(ai-lv3.dll)の勝利回数: 92
白(airandom.dll)の勝利回数: 8
100局目
黒(airandom.dll)の勝利回数: 77
白(ai-lv2.dll)の勝利回数: 23
100局目
黒(ai-lv2.dll)の勝利回数: 45
白(airandom.dll)の勝利回数: 55
86局目
黒(airandom.dll)の勝利回数: 41
白(ai-lv1.dll)の勝利回数: 45
83局目
黒(ai-lv1.dll)の勝利回数: 7
白(airandom.dll)の勝利回数: 76
- 789 名前：名前は開発中のものです。 mailto:sage [2017/04/08(土) 13:24:07.33 ID:mnzcHtDh.net]
- 2003年に立てられたスレが最近になって動いてる…ｗ
がんばってくださいな。
- 790 名前：310 mailto:sage [2017/04/08(土) 17:26:32.31 ID:cxbXAKoL.net]
- 色々グチャグチャと改良（改悪）してましたが、一旦整理して、結局かなりシンプルな
形に落ち着きました。定石も無しにしましたので、２手目以後は考えます。プレイアウト
に時間がかかるので、序盤は考える時間が長すぎです。点数ベースの評価関数を弄り
倒して勝率っぽい数字をでっちあげる事で、勝率の評価関数を使わなくなりました。
今のところ対Zebraは勝ったり負けたりで、強さ的には匹敵するところまで行けたかなと。
両者定石無しなので、純粋にAI部の強さ比較という事で良いのかなぁと自負。
たまにはAI白番（Zebra黒）の棋譜を。自作AIの＋２勝ちです。
F5 D6 C4 D3 C3 F4 C5 B3 C2 E3
D2 C6 B4 A3 G4 F3 E6 F7 B5 A4
A6 B6 G3 F6 E7 F8 D7 C7 G6 H5
D8 C1 H6 H4 E8 C8 G5 H7 B1 A1
B2 E2 A2 H3 F1 D1 G7 H8 G8 A5
A7 F2 E1 G1 H1 B7 G2 H2 B8 A8
MCTSじゃあまり強くならないと思っていたのが、ここまで来れて正直本人がびっくり。
アルファ碁のNature論文のお蔭です。
次ステップで強化学習とか考えていたけど、まだ何からどうすれば良いのかわからない（汗
- 791 名前：535 mailto:sage [2017/04/09(日) 05:10:12.89 ID:h/eXLfOt.net]
- 相手に守りの手を強要させることが出来る有利な状態をいかに保ってゲームを進めるか。
終盤の要になりそうです。
- 792 名前：310 mailto:sage [2017/04/09(日) 20:11:13.36 ID:3mOyIMJx.net]
- 評価関数の評価値計算でmin-Maxの時にやっていたのに、今回はやっていなかった
手抜き箇所を修正し、速度アップを図りました。
プレイアウトの速度が劇的に速くなりました。
最低でも１０万プレイアウト貯め無いと、変な答えを返す（だろう）という事で、最大試行
回数の手が最低プレイアウト数を超えていない時は探索延長していました。そのため
序盤で探索延長頻発していましたが、今回の改造でほぼ延長無しになりました。
あと、評価関数のステージ分割を細かくしまして、再計算を開始。
１手２０秒設定でやっていますが（他にバックグラウンド探索あり）、１０秒でも実用になるかなぁ。
MCTSなオセロとしては、ある程度できちゃった気がする。
- 793 名前：535 mailto:sage [2017/04/10(月) 22:56:16.99 ID:Sai+9C2+.net]
- もしかして>>310さんのAIは世界最強クラスってことですか？
凄すぎ…
- 794 名前：535 mailto:sage [2017/04/10(月) 23:19:01.03 ID:Sai+9C2+.net]
- 完成したら論文書いてwebで公開してくださいｗ
おねがいしますｗ
- 795 名前：310 mailto:sage [2017/04/11(火) 07:59:39.45 ID:KmgeOKfx.net]
- >>793
いや・・・それはないです。
オセロの場合、定石DBの学習が強さに直結するので、定石DBを持っていないAIは
かなり不利というか、対戦したら勝ち目ありません。何回も対戦するうちに苦手な定石
に誘導されちゃうので、勝ち目なしは確信しています。
また、アルゴリズムの優越比較という意味で、Zebraの定石DBも無しにしましたが、
Zebraの中盤も一昔前のレベルで、決して強くはないという評価をWEBで見た事が
あります。今回Zebraを使用したのは、対戦中に学習モードに切り替える事でどこで
間違えたかがわかりやすいからです。Edaxとはまだ対戦させません。
ただ、個人的に思い込みたいレベルでいうなら、MCTS系のオセロAIでは最強クラス
なんじゃないかなぁと（願望）。なにせ、いまどきオセロAIを開発している人はいないし、
ましてモンテカルロ系で試そうなんて人もいなさそうですから。言ったもの勝ち（汗
アルファ碁の論文のDeepでNeural networkではない部分を適用する事で、min-Maxで
なければ存在価値がないところまで行き着いていたオセロAIでもMCTSで結構強くなれる
事が証明できたかなぁと。本当にアルファ碁様様です。
ブログ作って解説でも作ろうかと準備していましたが、試しに開設したブログサービスでは
アップロードができなかったので、一旦閉鎖しました。どこか良いところないかな。
- 796 名前：535 mailto:sage [2017/04/13(木) 22:33:44.03 ID:vVAZxoH8.net]
- いろいろ試してみてるけどなんか勝利手順DBを充実させるのが一番手っ取り早く強くなる気がする。
いま１２万局分棋譜あるけど１００万局くらいまで増やしてみるか…
もっと計算リソースが欲しい。
- 797 名前：310 mailto:sage [2017/04/18(火) 01:24:07.08 ID:Ohai0OaC.net]
- 評価関数のエポックを更に進めたら１８０エポック近辺から勝てなくなってきました。
もしかしてたまたま間違ったところが、zebraの弱点をついていたのかも知れないし、
評価関数の値にメリハリがついてきて、逆に見落としが起きやすくなったのかも
知れないし。過学習かも知れないし。
評価関数をブラッシュアップするには、負け手順を棋譜化して、学習データに投入
しなきゃならん。
ところが、負け確定後に例の自爆モードが作動してしまいます。棋譜として使えるよう
にするために、ソルバーを復活させました。ついでに色々やってたら、見なかった事
にしていたバグもとれました。ついでだからと偶数理論を実装したのですが、かえって
遅くなってしまった。他の人はどういう実装しているのだろう。
今の速度だと３５手目から読み切らないといけない。今の速度だと時間の予測が難し
いというか、軽く１時間はかかりそう。
- 798 名前：535 mailto:sage [2017/04/19(水) 21:59:17.68 ID:WjbK3YLE.net]
- Ponanzaがディープラーニング取り込みに成功したとかなんとか。
ハードもものすごいものを用意するそうですね。
- 799 名前：535 mailto:sage [2017/04/21(金) 20:55:54.67 ID:ZLYvyeQY.net]
- 大分勝率上がってきた。
思考時間長いから数こなせないのが厳しいですね。
25局目
黒(airandom.dll)の勝利回数: 8
白(ai-lv3.dll)の勝利回数: 17
- 800 名前：535 mailto:sage [2017/04/21(金) 22:05:48.97 ID:ZLYvyeQY.net]
- やっぱディープラーニング憧れるなぁ。
俺のAIにもブレークスルーを起こしてくれｗ
|
 |
