【オセロ,将棋】ボードゲーム Part2【囲碁,War】

1 名前：名前は開発中のものです。 [2017/10/15(日) 17:34:58.03 ID:RaMh0le2.net] 比較的地味なボードゲーム専用のスレが欲しくて立ててみました。 前スレ 【オセロ,将棋】ボードゲーム【囲碁,War】 mevius.2ch.net/test/read.cgi/gamedev/1057763418/ 280 名前：535 mailto:sage [2018/03/03(土) 19:51:05.26 ID:nviHj1ts.net] やっぱ小路盤五目並べと比べて時間かかりますね。 焦れるw とりあえず、これでウェイトファイルが出力されれば第一段階クリアですが… 281 名前：535 mailto:sage [2018/03/03(土) 20:18:47.79 ID:nviHj1ts.net] あ〜これシングルスレッドなんですね。 まあ確かにコード読んでてもマルチスレッドには見えなかったけど。 282 名前：535 mailto:sage [2018/03/06(火) 20:34:35.86 ID:4NZM8BU2.net] ベストポリシーとか言うファイルは出力されましたが… いかんせん遅すぎますねぇ 並列化してハードも強化してあと30倍は速くしないと… 283 名前：535 mailto:sage [2018/03/06(火) 22:28:34.91 ID:4NZM8BU2.net] んんん、もしかして仮想環境だとディスクアクセスめっちゃ重くなる？ CPUがほとんど仕事してないんだが… 284 名前：535 mailto:sage [2018/03/06(火) 22:40:05.64 ID:4NZM8BU2.net] こりゃネイティブLinux環境構築も考えるか… 285 名前：535 mailto:sage [2018/03/07(水) 20:16:56.97 ID:Xay4EsKj.net] ディスクアクセスが１００近くいって処理がほとんど進まなくなっちまったorz いったん止めるべきかな〜 286 名前：310 mailto:sage [2018/03/08(木) 00:53:26.17 ID:KJS05rsc.net] 新評価関数版ようやく一通りできた。 強化学習にすごーく時間がかかりそう（汗 というわけでNew PC見繕ってます。 ノートPCでi7-8700Kの６コア１２スレッドにメモリー３２メガで GTX1080搭載のノートPCがある。 むむむ。 287 名前：535 mailto:sage [2018/03/08(木) 18:17:36.63 ID:GeAn+CtF.net] お高いんでしょう？ 288 名前：535 mailto:sage [2018/03/08(木) 19:23:50.24 ID:MQ3zVdYu.net] 帰ってきてパソコン見てみたら学習が強制終了してました。 土曜からずっと動かしっぱなしでしたが、ここにきて強制終了は痛いですね。 解決しようにも再現させるだけで数日かかってしまうし目星を付けることすら難しそう。 289 名前：535 mailto:sage [2018/03/08(木) 20:05:12.94 ID:MQ3zVdYu.net] 途中で出力されたポリシーモデルで対戦してみましたが、 予想してたよりずっとまともな手を返してきますね。 ほぼランダムに着手すると思ってました。 これはちゃんと学習できる環境整えればかなり期待できるかも！ 290 名前：535 mailto:sage [2018/03/08(木) 20:11:16.29 ID:MQ3zVdYu.net] 俺も良い目のノート一台買ってLinux入れようかなぁ デスクトップ２台は手狭だからなぁ 291 名前：535 mailto:sage [2018/03/08(木) 21:30:30.05 ID:MQ3zVdYu.net] とりあえず、Linuxならパイソン動くことはわかったから 他のもっと高速化に力入れたalpha zeroプロジェクトも試してみようかな 292 名前：310 mailto:sage [2018/03/08(木) 23:33:49.98 ID:KJS05rsc.net] どもです。 お高いですが、デスクトップのフルスペックの1/3以下で済むようです。 回しっぱなしの奴がレアケースで異常終了すると萎えますね。 自分の奴は、たぶん怪しいところはほぼ蓋をしているので、今は安心しています。 とはいえ、評価値の保存に数秒かかるようになってしまったので、保存中にうっかり 終了してウェイトファイルを破壊しないように、いくつか策を講じました。最近はOSの アップデートで勝手に再起動されちゃうので。 293 名前：535 mailto:sage [2018/03/09(金) 20:26:00.14 ID:wTwCUiOb.net] デスクトップの1/3って性能がですか？ 294 名前：310 mailto:sage [2018/03/10(土) 19:53:38.63 ID:jEGGoWyJ.net] あ、価格と性能です(^^; 強化学習に凡ミス発見。 強化学習が良いのは、学習し続ければ何とか復旧できると思えるところorz 295 名前：535 mailto:sage [2018/03/10(土) 20:42:21.57 ID:MfccYD4W.net] 価格コムで調べたら>>281って50万以上ですよね？ 296 名前：310 mailto:sage [2018/03/10(土) 23:47:40.15 ID:jEGGoWyJ.net] こいつです。 https://www.pc-koubou.jp/products/detail.php?product_id=617093 i9-7080XEのデスクトップだとメモリー頑張ると１００万ですからね… 297 名前：535 mailto:sage [2018/03/11(日) 00:26:26.59 ID:Rh0MFs+Y.net] >>291 ほほう？ ハイスペックノートの割には確かに安いですね。 298 名前：535 mailto:sage [2018/03/12(月) 23:17:36.89 ID:t7pU5NWq.net] うわパイソン部分でルール間違ってたorz やっぱ軽くでもテストはやっておかないとあかんなorz 299 名前：310 mailto:sage [2018/03/14(水) 21:17:53.41 ID:Hsr0gVbu.net] うぬぬ。強化学習でどこかおかしい。 強化学習単純化しすぎちゃったかなぁ。 暫定的にひたすら記譜作成＆記譜学習に戻しました。 遡り３０手が鬼門。記譜学習で、ここをクリアする事を当面の目標にします。 とはいえ、残り２９手完全読み切りの記譜がそれなりにあるのは、以前では 考えられない状況ではありますが。 300 名前：310 mailto:sage [2018/03/15(木) 22:46:56.01 ID:CxmBs8oA.net] 強化学習がおかしいというより、記譜のパターンが圧倒的に足りていなかった のかもと思い始めました。それによって、着手して分岐しても±０となっている みたいな。 とりあえず、記譜の増殖手段を模索中。 今は、ヌルウィンドウサーチを使用して、遡り探索を行っている関係で、間違った 着手（石損となる手）を捨ててますが、ある程度までその手も読み切って、記譜に 加えても良いのかなぁと思っています。 とりあえず、βカット（もっと良い手があった）時の評価関数は明らかに読み間違い をしているので、そこ限定で記譜に加えていますが、ある程度以上の手数は全て 付け足しても良いのかなぁと。 301 名前：310 mailto:sage [2018/03/17(土) 02:14:23.31 ID:Foa7nGV6.net] なんとなく想像しただけですが、何が悪かったのかわかり始めました。 今の学習は「良い手」しか学習していないという事です。 序盤はある程度ランダムな着手を入れて、結果がばらつくようにしていますが、 途中から読みを入れて、良い手だけで着手し、その結果を遡りで訂正しています。 遡りが有効なのは３０手くらいまでで、序盤のランダムは２０手程度までに抑えて あります。とすると、遡れる範囲では、悪手を打ったらどういう事になるのかという 学習が抜けている。間違えた着手もちょっとだけ悪いだけでです。結果、最善手の 評価値はそこそこ正確なのですが、極端な悪手も、評価値としてはちょっとだけ 悪い数字でも問題が起きないという事になります。 これはこれで順序付けさえ合っていればそれで良いのですが、ちょっと学習が 進んで、微妙に係数が変わった時に、計算上０．１程度しか悪くない相当な悪手 をうっかり選択しやすくなってしまうという事で、これがオーダリングで悪さをして、 探索時間を長引かせてしまう可能性があります。 恐らく評価関数のステージ分割で、表現力がかなりアップした事から、こういう 学習漏れみたいな事が起きてくるのかなぁと。ほんと、評価関数はスカスカです。 というわけで、昨夜書いたように、ある程度深さを捨てて分岐をすべて記譜に残す ようにしてみようかなぁと思っています。しばらく記譜作成しながら、この事を踏まえ た強化学習をちょっと考えてみたいと思っています。 302 名前：535 mailto:sage [2018/03/18(日) 22:34:31.76 ID:tUeDVO3T.net] 結果が出るまで時間がかかり過ぎるなぁ。 もうちょっと様子見るけど。。。 やっぱマルチスレッド化された別のalpha zeroプロジェクト探そうかな… 303 名前：535 mailto:sage [2018/03/20(火) 21:45:14.39 ID:/Ra5toxr.net] 駄目だぁ、強くなる気配がないorz 別のalpha zero プロジェクト本気で探すか… ここまで来てもったいない気もするけど… 304 名前：535 mailto:sage [2018/03/23(金) 21:13:02.23 ID:Z4T42krD.net] なんかバグ直して再学習したら、ランダムに打ったほうがマシ、くらいに変な手（１の１とか）打つんだが？ もう嫌になっちゃう。 305 名前：535 mailto:sage [2018/03/23(金) 21:21:30.45 ID:Z4T42krD.net] そういやLeela Zeroも学習過程では一線うってたな。。。 逆にいい傾向なのか？？？ 306 名前：310 mailto:sage [2018/03/25(日) 02:23:39.84 ID:Yig4cMbl.net] 分岐をすべて記譜にリストアップするようにしてから、爆発的に記譜が増えてます。 ２０００程度だったのが、１５０００超えました。 が、まだまだスカスカみたいです。 ここまでするんなら、真面目に自己対戦して遡りせずに、ランダム着手に対して 分岐をリストアップさせても一緒というか、早い気がしてきています（汗 307 名前：310 mailto:sage [2018/03/31(土) 01:38:59.31 ID:h3UgGfs1.net] ランダム着手も追加して記譜増殖中。ただいま３２０００超え。 もっとも、残り数手とかの記譜もあるけど（汗 ステージ分割しているので、記譜がなかなか生成されない２５〜３０手近辺で 非常に少ない教師データで何度も学習する事になり、そのあたりが極端な 過学習になってしまった。 解消方法をいくつか検討中です。 １）時間かかっても良いので、２５〜３０手の記譜ができるまで頑張る ２）前後の盤面を混ぜて、教師データを増やしてみる ３）ランダム強化学習してみる。 ２）３）をやると、おそらく、平均化されて評価値がフラットになるが大小関係は 治ってくると思う。 というわけで、今夜は２）３）を試してみる予定。 308 名前：310 mailto:sage [2018/03/31(土) 01:43:35.07 ID:h3UgGfs1.net] あと、時々スコア指定（ヌルウィンドウサーチ）の記譜作成処理で エラー（スコア間違い）が出る時がある。 運が悪い事にハンドリングミスその他で、記譜を残せていないので、 現象の特定ができていない。 頻度としては数日に１回くらい。 たぶん、全滅と直前のパスがらみだと思うんだけど。 309 名前：535 mailto:sage [2018/03/31(土) 23:42:05.28 ID:4ltMn3J2.net] Geforce GTX 1060を増設しました。 >>214をpytorchで学習してみます。 310 名前：535 mailto:sage [2018/03/31(土) 23:46:58.88 ID:4ltMn3J2.net] んーうごかん。 GPUありとなしでポリシーファイルに互換性がないんですかね？ もしかして。 初めからやり直すか… 311 名前：310 mailto:sage [2018/04/01(日) 01:07:10.57 ID:OBeH+1OH.net] おお。どんどん進んでますね。 こちらは、昨夜のバグの現象は特定しました。 スコアが６２や−６２で、mtd(f)の探索開始が６４や−６４の時に、 置換表に残った６４や−６４が悪さして、６４や−６４と誤答する模様。 とはいえ、どこを直すべきかはわかりません。探索開始が６４や−６４ の時に、６２や−６２にしてやる事で、姑息的に回避はできるので後回し。 あと、記譜作成に色々機能を加えていたら、どこかがおかしそうだという 不安な状態になってしまいまして。このまま記譜学習を進めて良いか自信 が無いので、今までのデータで安全な部分をテスト用に回して、新たに 記譜を作成開始。３４手目までは全探索しながら普通に遡れる感じです。 ３３手目から先は探索時間がしんどいので、ひとしきり落ち着いてから、もう 一度、遡りチェックのプログラムをきちっと見直して、追加していこうかな と思っています。この間に、強化学習混ぜて、過学習部分を解消して いこうと思います。 312 名前：535 mailto:sage [2018/04/01(日) 12:43:33.62 ID:lACu3cfl.net] お、ちゃんと時間測ってないからあれだけど、気持ち速くなってる気がする。 ちゃんと時間測りたいなぁ。 313 名前：310 mailto:sage [2018/04/01(日) 13:49:33.48 ID:DAl+8Sdv.net] バグ問題は、結局姑息的手段では回避できず。 全滅がらみでほかのケースでも誤答するケースが発生しました。 元々FFO#59用にmin-Max探索に入れていた、全滅時の処理くらいしか 原因となりそうなものが思い当たらなかったので、とりあえずコメントアウト して様子見です。全滅時の探索が速度低下しますが、仕方がありません。 314 名前：310 mailto:sage [2018/04/02(月) 20:15:06.48 ID:9LYme7cN.net] 結局バグ問題は…迷宮入り臭いです。 記譜作成で負荷テスト並みに探索を繰り返すと、全滅絡まなくても間違うケースが 出てきました。再現性が無いのが辛いところ。 その昔悩んでいた時も、やっぱり置換表がらみの問題で迷宮入りでしたが、 今回も、ケチって置換表を極力クリアせずに使用していた事から、何らかの 矛盾が起きているようです。それを言っちゃうと、置換表付mtd(f)でｆ値を変え ながら探索することも、またその時に作成された置換表を流用して記譜作成 兼ねた読み切り処理を速度アップすることも、怪しいという事になるわけで。 315 名前：間違えてしまった事が判明した時点で、その探索は捨てるくらいしか対策が 無いという事になります。 ネットで調べたら、将棋AI界隈でも置換表の問題点を書いている人がいまして。 少なくとも深さがあっていない置換表データは使うべきではない模様。 今の調子だと一晩動かすと結構な頻度で朝見たら止まっているとい状態なので せめて発生率を下げるべく、mtd(f)に入る前に置換表をクリアする事にしました。 なぜしなかったかというと、記譜データからスコアが確定している盤面を置換表に 入れて、それを見ながら既に読み切りしている盤面は飛ばす処理をしていたから です。置換表をクリアして盤面再構築に時間がかかるためです。別途盤面キャッシュ を持って、そちらは追記、置換表は毎回クリアという形に変更しました。 [] [ここ壊れてます] 316 名前：535 mailto:sage [2018/04/02(月) 22:24:32.85 ID:3iK+AnRP.net] Leela ZeroがKGSでかなり強くなってる。 俺がパクったプログラムも学習し続けたらあれくらい強くなるんだろうか？ 317 名前：535 mailto:sage [2018/04/04(水) 20:42:51.24 ID:Y0WMbzNW.net] え、ちょっとまってよ。 GPUありなしでポリシーファイルが違うってことは 成果物を配布しようとしたらGPU持ってる人しか遊べないってこと？ 318 名前：535 mailto:sage [2018/04/04(水) 20:54:25.72 ID:Y0WMbzNW.net] しかもCUDAとかも一緒にインストールしてもらわないといけない？ ええぇ？ 319 名前：310 mailto:sage [2018/04/06(金) 22:00:28.44 ID:952uhqxW.net] 誤答問題は、置換表クリアで解消しました。 違う局面の探索で使用した置換表データは使いまわしてはいけないという事で。 なんか、結果的に、２年くらい前にも同じ事で騒いでいたような。 色々整ってきたので、あとはひたすら記譜作成しながら学習を回すだけになって しまって、暇になってます。別PC買ってそっちで学習させながら、別の事をはじめ ようかなぁと思い始めています。 320 名前：535 mailto:sage [2018/04/07(土) 20:43:17.69 ID:SqbCC315.net] うーん、つよくならないorz 学習は継続しつつ別のalpha zero　プロジェクトも物色するか… 321 名前：535 mailto:sage [2018/04/08(日) 22:10:18.77 ID:ZB9Bj6DG.net] ん、なんかメモリリークあんのかな… swigでC++から移植したクラスってデフォルトでガベージコレクトされないのかなぁ？ もしかして。 322 名前：535 mailto:sage [2018/04/08(日) 22:43:04.99 ID:ZB9Bj6DG.net] VMWareの設定がメモリ1GBになってた。 とりあえず8GBに増やしてみた。 323 名前：535 mailto:sage [2018/04/08(日) 22:53:48.62 ID:ZB9Bj6DG.net] お、メモリ増やして再起動かけたら結構いい感じで進みだした？ メモリ増やしたのと再起動かけたのどっちが効いたのかわからんが。 324 名前：535 mailto:sage [2018/04/09(月) 20:58:16.91 ID:500BArdX.net] くそ〜ベストポリシー更新が全く来ないorz もう何回目だ？TT 325 名前：535 mailto:sage [2018/04/11(水) 20:46:51.70 ID:uiOmKVU+.net] お、メモリ増やしたせいか連続運転が安定している。 しかしベストポリシー更新は相変わらずなしorz 326 名前：535 mailto:sage [2018/04/11(水) 23:07:04.06 ID:uiOmKVU+.net] もしかして、ネットワークの初期値が糞すぎるんだろうか。 でも確かめようがないorz 327 名前：535 mailto:sage [2018/04/15(日) 20:07:24.81 ID:8sCJrZFg.net] ベストポリシー更新まじコネ〜 でも他のプロジェクトに浮気しようにもなかなか手ごろなのがないんだよなぁ 328 名前：535 mailto:sage [2018/04/15(日) 20:21:37.51 ID:8sCJrZFg.net] いっそ実績のあるLeelaZeroを本気でパクりに行ってみるべきか… でも多分、難解なんだろうな〜 329 名前：535 mailto:sage [2018/04/16(月) 20:30:05.64 ID:6KBtspgu.net] あんまりおかしいんでソースをオリジナルとdiffとったら学習係数が1/100になってたんだがｗｗｗ え〜何時いじったかな全く記憶にないｗｗｗ これで学習が進んでくれれば！！ 330 名前：535 mailto:sage [2018/04/16(月) 23:37:28.33 ID:6KBtspgu.net] loss も　entropyも減ってきてる！ これでベストポリシー更新が来れば！！ 331 名前：535 mailto:sage [2018/04/17(火) 22:16:19.94 ID:E16XJnGD.net] ｷﾀ━━━━━━(ﾟ∀ﾟ)━━━━━━ !!!!! ベストポリシー更新きました！ 次の切りのいいところで止めてプレーしてみよう 332 名前：535 mailto:sage [2018/04/17(火) 22:34:03.78 ID:E16XJnGD.net] それはそうとzen+の発売日が迫ってますね。 金がないから買えないけど情報だけは追っかけてみます。 爆速だとい� 333 名前：｢な。 [] [ここ壊れてます] 334 名前：535 mailto:sage [2018/04/18(水) 23:48:24.10 ID:7NtNWbU1.net] あとちょっとだけ待とう 終局までの手数も順調に減ってきてるから意味のある手を打ってるんだろう多分 ワクワク 335 名前：535 mailto:sage [2018/04/19(木) 20:50:17.33 ID:lyvIQrMy.net] 打ってみました。 序盤、中盤は棋理の芽生えみたいなものが感じられました。 伸ばせそうなところを伸ばすとか伸ばされそうなところを止めに来るとか でもわざと負けようとしても５連までは積極的に作りに来るのにそこからパタッと伸ばすのをやめて７連を作ってくれませんｗ なぜｗ？ でもまあ、希望は感じられました。 もうすこし学習してみます。 336 名前：535 mailto:sage [2018/04/19(木) 23:51:35.82 ID:lyvIQrMy.net] zen+なかなかよさげですね。 前世代と比べて一割前後性能アップ？ 337 名前：310 mailto:sage [2018/04/20(金) 09:40:06.18 ID:HgLFJ5UM.net] うーん。AMDはSIMD命令で遅い命令があって、速度低下するかもって どこかで読んじゃったからなぁ。 こちらは地道に記譜作成しながら学習させてます。 深さ優先で記譜作成すると、分岐が少ない手筋ばかり増えていくので、 幅優先で、同じ深さである程度記譜溜まってから、次の深さとするように したのですが、空きマス２７からの記譜展開で、時間がかかるようになって なかなか空き２８マスに行けない。オーダリングの精度が出ていないから だと思いますが、同時に選択肢も増えてきて、余計時間がかかる感じ。 空き３０マス突破したら、かかる時間の増加率は下がるはずなんだけど。 338 名前：535 mailto:sage [2018/04/20(金) 22:59:48.32 ID:1YRRGto3.net] もしかして終盤はあえてランダム性を残すことによって学習が進みやすくなるなどの深い理由があるのだろうか？ わからんが。 339 名前：535 mailto:sage [2018/04/20(金) 23:02:21.21 ID:1YRRGto3.net] それとも序盤は同一局面のデータがたくさん現れるから学習できるけれど 終盤に行くとデータが散らばっちゃって学習できなくなるということだろうか 340 名前：名前は開発中のものです。 mailto:sage [2018/04/20(金) 23:03:29.26 ID:1YRRGto3.net] あるいは一線や二線は打たないほうがいいと学習してしまっているがため、７連を作れないのだろうか？ 341 名前：310 mailto:sage [2018/04/21(土) 20:32:42.81 ID:AdkW58BW.net] オセロは記譜生成させてるだけで暇なので、将棋の事を考えてました。 KKPとかよくわからないし、同じ事をやってもつまらないので、利きを点数化 しようかと考えてみまして、実際の計算方法を考えていたら、自玉周辺と 相手玉に対する利きがKKPなのではないかと思い至ってしまいました。 持ち駒の点数は駒種毎に固定で振られていて、駒同士のぶつかりによる優劣 特に駒交換はmin-Maxにて補間しているのかなと。評価関数自体は意外と単純 な事しか学習していない感じで、探索で補っている部分が大きいように感じます。 こうやって見ると、上手く単純化しているなぁと。 自分で勝手に想像した内容に感心してしまいました。 ただ、これならこれで、自玉KPと相手玉KPの合算で、２駒関係に次元を落とせ そうではないかと思ってしまいました。まあ、無理なんでしょうけど。 自分がやる上での一番のネックは、オセロの評価関数が点数だったために、 なんちゃって強化学習しかやった事がな点ですね。あと、みなさんライブラリ化 されていて、それに則れば色々な人の考えた高速化・高効率化のネタが利用 できる点で、一から車輪の再発明していては追い付けないよなぁと。 342 名前：535 mailto:sage [2018/04/21(土) 20:39:59.86 ID:8g8p+RpI.net] ほう、将棋に進出ですか。 将棋AI界はオープンソースが進んでる感じなんですかね。 343 名前：535 mailto:sage [2018/04/21(土) 20:50:54.10 ID:8g8p+RpI.net] alpha zero のパクりプログラムgithubから丸パクしてきたわけだけど そろそろちゃんとソース読み解いてみようかな。難しいだろうけど 丁寧な解説がどこかにあればいいんだけどね 344 名前：535 mailto:sage [2018/04/22(日) 17:35:27.70 ID:QOhFsFyf.net] お、AIが７作った。 いままではわざと負けようとしても勝ってくれなかったけど今回は勝ってくれた。 まだまだ弱いけどもっと学習させてみよう 345 名前：535 mailto:sage [2018/04/22(日) 19:13:47.98 ID:QOhFsFyf.net] 俺も学習見守るだけで暇になっちゃったからなんか始めたいけど 計算リソースが学習にもってかれちゃってるからそこどうするか。 やっぱPC新調か？ グラボも効果あるみたいだし今度はGeforce 1080 Tiとか試してみたいな。 金がないけど。 346 名前：310 mailto:sage [2018/04/22(日) 19:48:13.41 ID:wf3ukgDl.net] だよね。自分も脳内妄想で我慢です。 PC新調しちゃうか思いっきり悩み中。 347 名前：535 mailto:sage [2018/04/25(水) 20:09:35.29 ID:QZIUF0Ri.net] もっとネットワーク大きくしてみたいな。 でもさらに学習時間がかかると思うと躊躇する。 348 名前：535 mailto:sage [2018/04/27(金) 21:32:10.80 ID:b1G/gV5U.net] お、損失が３点台だったのが２点台になった。 いい感じなんじゃないでしょうか？ 349 名前：535 mailto:sage [2018/04/28(土) 17:38:12.12 ID:MUOfiFNK.net] ジムケラーがインテルに来たとか。 いいCPU作ってくれるならどこでもいいけどね。 350 名前：535 mailto:sage [2018/04/29(日) 20:30:57.65 ID:mX318X6T.net] 序盤は素晴らしい棋理の芽生えを感じるが、いかんせん終盤がなぁ ほかのアルファゼロクローンも似たような感じなのだろうか？ 351 名前：535 mailto:sage [2018/04/29(日) 20:50:13.18 ID:mX318X6T.net] 公式AIともやってみたけど序盤センスは互角以上と感じられる。 実際、必至をかける一歩手前まで行った。 終盤力さえ磨かれればおそらく公式AI越えはある。 352 名前：535 mailto:sage [2018/04/30(月) 22:51:47.16 ID:qAJqtYoj.net] 学習が1000エピソード突破。 1500が規定値だから最後まで回したいな。 353 名前：535 mailto:sage [2018/05/01(火) 21:34:25.66 ID:bYHVWZMu.net] もっとパワー、速度が欲しいな。 こんなことなら最初から1080 Ti いっときゃ良かったかな？ 354 名前：535 mailto:sage [2018/05/03(木) 10:58:16.57 ID:gNd8xJ5s.net] ちょっと思うところがあって、思い切ってネットワーク大きくしてみました。 学習最初からやり直しです。 さて吉と出るか凶とでるか。 355 名前：535 mailto:sage [2018/05/03(木) 13:28:58.30 ID:gNd8xJ5s.net] ん、ネットワーク構成変えたら学習率もいじらないと上手くいかないのか？ ネットワークでかくしたら学習率は大きくすればいいのか小さくすればいいのか… 356 名前：535 mailto:sage [2018/05/03(木) 13:42:41.42 ID:gNd8xJ5s.net] ネットワークでかくしたら学習率は小さくするのがいいみたい？ 357 名前：310 mailto:sage [2018/05/03(木) 20:31:46.75 ID:EAR7zekO.net] なんか順調でうらやましい。 俺もやっぱGPU付きのPC買うべかな。 一般的にLRでは、学習率は発散しない限界まで大きくするのが良いらしく、 昔は、最初大きく、試行回数増えるごとにだんだん小さくみたいな事をしてました。 NNではRMSPropとかADAMとかで自動調整する流れだと当時理解していました。 ただ、Googleの論文読むと、普通に学習率固定っぽく読めてしまうんですよね。 強化学習だと学習率固定が良いのかも知れません。 表現力大きいからあんまり問題ない気がするのですが、学習率は小さくすると 学習に時間がかかる代わりに、収束しやすくなります。局所解には陥りやすく なるのではないかと愚考しますが、強化学習における局所解と、教師付学習に おける局所解は現象が違うから、よくわかりません。 358 名前：310 mailto:sage [2018/05/03(木) 20:37:19.91 ID:EAR7zekO.net] こちら、例によってひたすら分岐付き記譜を作成しています。 空きマス２７の所（完全読みとしては２６）のところから、計算時間が案の定すごく かかるようになってしまって、遅々として進まなくなりました。 最後の手段でとっておいた、UCT探索で仮PV作成し、それでmtd(f)にて評価値を 迅速に確定して、その評価値で正しいPVを求めるという流れにしたところ、恐らく 数倍程度に高速化され、それによって記譜が集まり正確になる事で、評価関数の 精度が上がって、仮PVが正確になりという好循環に、ようやく入る事ができました。 ただ、それでもまだ時間はかかるというか、今空きマス２８まで持っていったら、 また時間がかかる地獄に入りそう。最低でも空きマス３０までは持っていきたい。 つか、待っている時間が長い…セカンドPCが欲しい。 359 名前：310 mailto:sage [2018/05/03(木) 20:41:41.51 ID:EAR7zekO.net] >>351 ＞数倍程度に高速化され あくまで仮PVが数手分合っている時の話で、仮PVが間違っていると、 むしろ遅くなる可能性があります。 あと、一つの局面に対し、最善手が複数あるケースでは、例えば最善手 が２つあると２倍程度時間がかかるという問題があるのは認識していて、 対策は可能なのですが、そうするとバグった時にβカットのエラーを吐か ないという恐ろしい状態になってしまうので躊躇しています。 360 名前：310 mailto:sage [2018/05/04(金) 19:57:24.12 ID:5CQB8Di3.net] 世界コンピュータ将棋選手権の２次予選までで強さをみせつけている T.N.K（通称たぬき）ですが、DL勢にして高速評価関数という事なので アピール文書を見てみました。 これ、CNNではなく、全結合のDeep Networkの模様。追加で論文も 出ているので、見たところ５層のMLPです。 入力層に玉との２駒関係を使っていて、そこは計算量が多いので、 ここだけ差分計算で高速化しているとの事。自分は行列をEigenに 任せちゃってるので差分計算していませんが、オセロでも結構使え るはず。 もう一度オセロをMLPに拡張したくなってきた（汗 361 名前：535 mailto:sage [2018/05/07(月) 20:19:04.83 ID:m+uVPKyG.net] ネットワーク大きくすると学習が収束する確率下がるんですかね？ なんか学習がうまく進んでないようです。 362 名前：535 mailto:sage [2018/05/08(火) 00:21:37.96 ID:VKk6NsC2.net] もしかして学習率だけでなく、ほかのパラメータにも手を加えなければならないってことですかね？ 363 名前：310 mailto:sage [2018/05/08(火) 01:01:09.30 ID:6noaUyVY.net] バックプロパゲーションで計算している以上、深さが深くなると、 その分初段まで誤差を遡らせるのに時間がかかるから、収束が 遅くなって当然かと思います。 あと、初期値のランダム値の幅も、適切に設定しないとなかなか 収束しなくなりますし、それでも初期値の運が悪いとまったく収束 しないなんて事もあり、ちょこっと不安定なところがあります。 XavierとかHeとか初期値の設定項目はありませんか？ 本で読んだ知識なので、現実にどれくらい影響するのか良くわかりませんが（＾＾； 364 名前：535 mailto:sage [2018/05/08(火) 19:21:19.88 ID:3yhYJr6O.net] おお、ありがとうございます。 しらべてみます。 365 名前：535 mailto:sage [2018/05/09(水) 21:58:37.29 ID:53SriW94.net] パソコン壊れたかと思ったが放電したらなおった あー怖かったTT 366 名前：535 mailto:sage [2018/05/10(木) 20:05:15.86 ID:X+P+UxO/.net] 学習率の変動率？を下げたら結構うまく動いてるっぽいです。 367 名前：535 mailto:sage [2018/05/11(金) 20:15:31.62 ID:TPpBGuAT.net] loss とか entropyはいい感じに減ってるのに自己対局の結果がついてこないですね。 うーん、なんだろう？ 368 名前：535 mailto:sage [2018/05/12(土) 17:16:50.40 ID:UY4N1vvW.net] いや、自己対局もちょっとづつ改善してるみたいです。 もっと時間が必要かな。 369 名前：535 mailto:sage [2018/05/13(日) 18:33:11.99 ID:jNzVm6ts.net] windowsがたまに夜中に勝手に再起動してしまうんだが？ マジむかつく（怒 370 名前：310 mailto:sage [2018/05/13(日) 19:53:17.92 ID:i+O998yE.net] Windows Updateかな？ 俺は通知もらうだけにして、タイミング見て自分で再起動かけてる。 まあ、２４時間経つとカウントダウンが始まるので、早目に再起動する事になるけど。 371 名前：535 mailto:sage [2018/05/16(水) 19:41:44.02 ID:zhHRqcbt.net] いままで50エピソード毎に自己対戦してたけど、自己対戦がかなり重いから200エピソード毎に自己対戦にしたらなかなかいい感じ。 372 名前：535 mailto:sage [2018/05/16(水) 20:52:45.23 ID:zhHRqcbt.net] ネットワーク大きくしても詰めが甘いのはかわらないです� 373 名前：ﾋorz. 公式AIに勝つチャンスあったのに勝ちを逃してしまいました。 [] [ここ壊れてます] 374 名前：310 mailto:sage [2018/05/17(木) 20:16:35.67 ID:3wU0adoY.net] Surfaceの電源ケーブル、そろそろ断線しそうだなぁと思っていたら、 PCをひょいと動かした瞬間に、まさかの電源落ち。 ウェイトデータ書き込み中に停まらないように色々工夫していても、 この手の落ちには対処できるわけもなく、また大変に運が悪い事に またしても後半１０ステージ程度のウェイトデータが飛んでしまい ました。バックアップとっていたのですが、気づかずにいたので、既に 上書き済みという罠。 後ろ１０ステージ分のみゼロクリアして、そこだけ今のデータで再度 学習する羽目になりました。 orz 375 名前：535 mailto:sage [2018/05/17(木) 20:37:00.03 ID:anbc4vLN.net] 乙ｗ 376 名前：535 mailto:sage [2018/05/17(木) 23:06:00.81 ID:anbc4vLN.net] これはNew マシンを買えとの神のお告げｗｗ 377 名前：535 mailto:sage [2018/05/18(金) 20:48:52.38 ID:UxmUzKYy.net] まただよｗ（再起動） 378 名前：名前は開発中のものです。 mailto:sage [2018/05/18(金) 21:21:28.72 ID:UxmUzKYy.net] 藤井聡太さんが7段昇格とか。 凄すぎ 379 名前：535 mailto:sage [2018/05/19(土) 20:01:16.80 ID:PB1pw3rI.net] むう、AlphaZeroのポテンシャルはこんなものではないはずだが。 でも100万局くら学習させないと真価は発揮できないかもなぁ。 380 名前：535 mailto:sage [2018/05/20(日) 23:46:47.79 ID:A2GqvvmZ.net] 19路囲碁だと20層くらい層がないと駄目だとか。 うーん20層は厳しい。。。

---

---

[ 続きを読む ] / [ 携帯版 ]

read.cgi ver5.27 [feat.BBS2 +1.6] / e.0.2 (02/09/03) / eucaly.net products.
担当:undef