- 1 名前：名前は開発中のものです。 [2017/10/15(日) 17:34:58.03 ID:RaMh0le2.net]
- 比較的地味なボードゲーム専用のスレが欲しくて立ててみました。
前スレ
【オセロ,将棋】ボードゲーム【囲碁,War】
mevius.2ch.net/test/read.cgi/gamedev/1057763418/
- 246 名前：535 mailto:sage [2018/02/19(月) 21:45:50.40 ID:k/eP19bS.net]
- 小路盤五目並べとかConnect4とかtic tac toe くらい小さなゲームじゃなきゃまともに動かんぞこれ
- 247 名前：535 mailto:sage [2018/02/19(月) 21:53:01.97 ID:k/eP19bS.net]
- ,.‐''"￣｀丶、 ひどい…！ひどすぎるっ……！
／ ＼ こんな話があるかっ…！
／´ ＼
/ |＼_＞､_ ､r‐､ ＼ 命からがら… やっとの思いで…
ﾚ! ｜|_| |/_ ヽ＼} ＼ 辿り着いたのに… やり遂げたのに……
|八|-／>､∪_ u`i ト､ ＼
/ / ,くｨ夕u' | |/ ｀`‐- ､_.､__＼ 実行速度っ…！
|/ / /_ヽ┐u | ,| / ,-,.=====ゝ
ヾ' / r┘|.l__�
- 248 名前：l | /＼// ＼ あの計算量がもぎ取ってしまった……！
＼ ） | N / //＼.／´￣｀丶
｜u | /|(l(l｢| | | | せっかく手にした
｜ u｜ / | ヾ-ｲ .|｜ l、 俺の未来…希望…
_| |/| | ＼＿|_|,. く. ＼
ハ.＿__ハ >､ ＼ ＼ ＼ Alpha Zero AI を……！ [] - [ここ壊れてます]
- 249 名前：535 mailto:sage [2018/02/19(月) 22:39:02.94 ID:k/eP19bS.net]
- つか連想配列とか見るからに遅そうなクラス使いまくりなんだよなぁ
こうなったらC++に移植する方向で考えるか？？
- 250 名前：535 mailto:sage [2018/02/19(月) 22:59:04.05 ID:k/eP19bS.net]
- 囲連星ルール部分をC++で書きなおしてパイソンと結合させるという手もあるんだろか？？
とにかく今のままじゃ遅すぎる
囲連星ルール部分がどれくらいネックになってるかもよくわからないですが多分相当遅い
- 251 名前：535 mailto:sage [2018/02/19(月) 23:28:23.57 ID:k/eP19bS.net]
- 五目並べルールだとそこそこのスピード出ますね
当たり前か…
やっぱ囲連星ルール実装がネックか～
は～
死にたい
- 252 名前：310 mailto:sage [2018/02/19(月) 23:48:36.73 ID:KY7Wcd5F.net]
- PythonからC++関数を呼べるみたいですね。
C++からPythonも呼べるみたいです。
前にPythonに手を出そうかと思った時にググったら出てきました。
前者の方が解説が多かったと思います。
自分はBitboardを使いまくりなので、Pythonに手を出しあぐねていました。
また、評価関数の学習部と、評価値計算をうまく分離できれば、前者を
Python、後者をC++で書けないかなぁと思っていますが、im2col関数の
うまい実装を考えるのが面倒で、放置になっています。
- 253 名前：310 mailto:sage [2018/02/19(月) 23:56:04.01 ID:KY7Wcd5F.net]
- ここ数日強化学習の結果がよさげになってきたので、結果の良かった学習方法に
集中させたら、また変な学習になってしまったようで、迷走中です。
学習の具合が良いと、色々な探索も速度アップするんだけど、具合が悪いと全部
悪循環になってしまうという。
仕方無いので、中盤探索の反復深化を作り、その結果を置換表に溜めてオーダ
リングを行うようにしてみましたが、効果があったのかよくわからない罠。
こちらも、学習の具合が良くなったら、急激に効果が表れるのではないかと期待
しているんだけど。
- 254 名前：535 mailto:sage [2018/02/21(水) 01:00:17.47 ID:65PdIEqg.net]
- SWIGっての調べてます。
なかなか手ごわい
- 255 名前：535 mailto:sage [2018/02/21(水) 22:17:30.79 ID:65PdIEqg.net]
- まずは簡単なC++関数一個だけのパイソンモジュール作成に成功しました。
つぎは囲連星ルールパイソンモジュールの作成ですね～
- 256 名前：535 mailto:sage [2018/02/21(水) 23:35:14.72 ID:65PdIEqg.net]
- なんかdeepcopyとかいうのに対応しなきゃいかんようなのだが。
- 257 名前：310 mailto:sage [2018/02/22(木) 01:36:26.61 ID:pKMuaeJh.net]
- 評価関数がどんどん悪化していく罠。
頭に来たので、評価関数をステージ分割。
ステージ分割すると学習部分の全面書き直しとなる。
どうせニューラルネットは使わないと決めたので、線形回帰にスケールダウン。
またしてもゴチャゴチャしてきた部分を全面書き直しパターンへ。
もうGUIはすっかり忘れていますorz
- 258 名前：535 mailto:sage [2018/02/24(土) 00:20:19.52 ID:23+l5SrV.net]
- ｷﾀ━━━━━━(ﾟ∀ﾟ)━━━━━━ !!!!!
動きました！
C++版囲連星ルールパイソンモジュール!!!
10倍くらい速くなりました！
でも1000プレイアウト1手約100秒
まだまだ遅い
でもこれ以上速くするアイディアもないし、とりあえず、これで進めるか。
- 259 名前：535 mailto:sage [2018/02/24(土) 00:49:09.02 ID:23+l5SrV.net]
- なんかトレーニングが不正終了しますね。。。
zipから解凍したソースそのままで実行しても不正終了になるのでちょっと謎ですね。
- 260 名前：535 mailto:sage [2018/02/24(土) 17:22:36.17 ID:23+l5SrV.net]
- なんかteanoてライブラリが悪いっぽいorz
上手くインストールできたと思ってたけど実はまだ駄目だったのかなぁorz
- 261 名前：535 mailto:sage [2018/02/24(土) 20:56:43.77 ID:23+l5SrV.net]
- あかん、さっぱりわからんorzorzorz
- 262 名前：535 mailto:sage [2018/02/24(土) 23:35:51.51 ID:23+l5SrV.net]
- teano.functionってのが悪いっぽい
- 263 名前：名前は開発中のものです。 mailto:sage [2018/02/24(土) 23:45:38.80 ID:23+l5SrV.net]
- teanoじゃなくてtheanoかスマソ
- 264 名前：535 mailto:sage [2018/02/26(月) 23:09:59.32 ID:iAzX3KQf.net]
- Linuxインストールしてみようかなぁ（ボソ
- 265 名前：名前は開発中のものです。 mailto:sage [2018/02/26(月) 23:28:03.39 ID:HIL9tQPi.net]
- 「インストールした」なら使ってもいい
- 266 名前：535 mailto:sage [2018/02/28(水) 21:53:14.78 ID:EHGfbJ7U.net]
- linux入れるならVMWareお勧め？
他に候補ある？
- 267 名前：535 mailto:sage [2018/02/28(水) 21:54:21.00 ID:EHGfbJ7U.net]
- ちなみにHDDはパーティション切りなおすのメンドイ
- 268 名前：310 mailto:sage [2018/02/28(水) 22:12:43.27 ID:4D1Jf52Q.net]
- 評価関数変更ついでにまるっと作り直してます。
自己対戦など、汚いコードを綺麗に書き直し。
かけた工数的には自己対戦の方が大変だったかも。
評価関数を１手毎のステージ分割で６０ステージにして、学習し直しです。
これで序盤を学習させると終盤が狂う問題は解消されると信じていますが、
学習に６０倍の時間がかかる事が予想されるという状態で、記譜を幾ら作って
も追い付かない感じなので、強化学習主体にするつもりです。
というか、まだ、UCTの所は作りこんでいない。
まあ、ほとんどコピペですが。
で、ここまで来たところで、もういっちょ改造したくなってきた…。
- 269 名前：535 mailto:sage [2018/02/28(水) 23:51:16.48 ID:EHGfbJ7U.net]
- MVWareでubuntu入れました。
- 270 名前：535 mailto:sage [2018/03/01(木) 00:04:15.57 ID:Jxqcd31Q.net]
- ubuntuだと>>214のプログラム問題なく動くみたいですね
素晴らしい。
- 271 名前：535 mailto:sage [2018/03/01(木) 21:09:31.45 ID:Jxqcd31Q.net]
- 囲連星ルールをubuntuに移植してみましたがエラーが出ますね。
合法手が無い、みたいな感じに見えますが…
- 272 名前：535 mailto:sage [2018/03/01(木) 21:31:25.39 ID:Jxqcd31Q.net]
- くそ～結局コツコツソース読み解くしかないかorz
いい線行ってると思うんだけどなぁ
- 273 名前：535 mailto:sage [2018/03/01(木) 21:44:17.24 ID:Jxqcd31Q.net]
- うおお、しんどい、これはしんどいorzorzorz
- 274 名前：535 mailto:sage [2018/03/01(木) 23:35:08.53 ID:Jxqcd31Q.net]
- ん、human_play.pyは動きますね…
train.pyと何が違うんだろう?
- 275 名前：535 mailto:sage [2018/03/03(土) 00:08:46.84 ID:nviHj1ts.net]
- C++のクラスをディクショナリのキーに突っ込んでさらに参照しようとしたときにキーの比較に失敗してるっぽく見える
- 276 名前：535 mailto:sage [2018/03/03(土) 01:00:19.05 ID:nviHj1ts.net]
- __hash__と__eq__を定義するといいみたいです。
__eq__はC++のoperator==で良いみたいです。
- 277 名前：535 mailto:sage [2018/03/03(土) 01:33:37.87 ID:nviHj1ts.net]
- まだエラー出ますね。
行ったと思ったのにorz
- 278 名前：535 mailto:sage [2018/03/03(土) 19:12:35.59 ID:nviHj1ts.net]
- お、処理が進み始めました。
Board.init_boardでC++のオブジェクトを初期化してなかったのがエラーの原因だったみたい�
- 279 名前：ﾅす。 []
- [ここ壊れてます]
- 280 名前：535 mailto:sage [2018/03/03(土) 19:51:05.26 ID:nviHj1ts.net]
- やっぱ小路盤五目並べと比べて時間かかりますね。
焦れるw
とりあえず、これでウェイトファイルが出力されれば第一段階クリアですが…
- 281 名前：535 mailto:sage [2018/03/03(土) 20:18:47.79 ID:nviHj1ts.net]
- あ～これシングルスレッドなんですね。
まあ確かにコード読んでてもマルチスレッドには見えなかったけど。
- 282 名前：535 mailto:sage [2018/03/06(火) 20:34:35.86 ID:4NZM8BU2.net]
- ベストポリシーとか言うファイルは出力されましたが…
いかんせん遅すぎますねぇ
並列化してハードも強化してあと30倍は速くしないと…
- 283 名前：535 mailto:sage [2018/03/06(火) 22:28:34.91 ID:4NZM8BU2.net]
- んんん、もしかして仮想環境だとディスクアクセスめっちゃ重くなる？
CPUがほとんど仕事してないんだが…
- 284 名前：535 mailto:sage [2018/03/06(火) 22:40:05.64 ID:4NZM8BU2.net]
- こりゃネイティブLinux環境構築も考えるか…
- 285 名前：535 mailto:sage [2018/03/07(水) 20:16:56.97 ID:Xay4EsKj.net]
- ディスクアクセスが１００近くいって処理がほとんど進まなくなっちまったorz
いったん止めるべきかな～
- 286 名前：310 mailto:sage [2018/03/08(木) 00:53:26.17 ID:KJS05rsc.net]
- 新評価関数版ようやく一通りできた。
強化学習にすごーく時間がかかりそう（汗
というわけでNew PC見繕ってます。
ノートPCでi7-8700Kの６コア１２スレッドにメモリー３２メガで
GTX1080搭載のノートPCがある。
むむむ。
- 287 名前：535 mailto:sage [2018/03/08(木) 18:17:36.63 ID:GeAn+CtF.net]
- お高いんでしょう？
- 288 名前：535 mailto:sage [2018/03/08(木) 19:23:50.24 ID:MQ3zVdYu.net]
- 帰ってきてパソコン見てみたら学習が強制終了してました。
土曜からずっと動かしっぱなしでしたが、ここにきて強制終了は痛いですね。
解決しようにも再現させるだけで数日かかってしまうし目星を付けることすら難しそう。
- 289 名前：535 mailto:sage [2018/03/08(木) 20:05:12.94 ID:MQ3zVdYu.net]
- 途中で出力されたポリシーモデルで対戦してみましたが、
予想してたよりずっとまともな手を返してきますね。
ほぼランダムに着手すると思ってました。
これはちゃんと学習できる環境整えればかなり期待できるかも！
- 290 名前：535 mailto:sage [2018/03/08(木) 20:11:16.29 ID:MQ3zVdYu.net]
- 俺も良い目のノート一台買ってLinux入れようかなぁ
デスクトップ２台は手狭だからなぁ
- 291 名前：535 mailto:sage [2018/03/08(木) 21:30:30.05 ID:MQ3zVdYu.net]
- とりあえず、Linuxならパイソン動くことはわかったから
他のもっと高速化に力入れたalpha zeroプロジェクトも試してみようかな
- 292 名前：310 mailto:sage [2018/03/08(木) 23:33:49.98 ID:KJS05rsc.net]
- どもです。
お高いですが、デスクトップのフルスペックの1/3以下で済むようです。
回しっぱなしの奴がレアケースで異常終了すると萎えますね。
自分の奴は、たぶん怪しいところはほぼ蓋をしているので、今は安心しています。
とはいえ、評価値の保存に数秒かかるようになってしまったので、保存中にうっかり
終了してウェイトファイルを破壊しないように、いくつか策を講じました。最近はOSの
アップデートで勝手に再起動されちゃうので。
- 293 名前：535 mailto:sage [2018/03/09(金) 20:26:00.14 ID:wTwCUiOb.net]
- デスクトップの1/3って性能がですか？
- 294 名前：310 mailto:sage [2018/03/10(土) 19:53:38.63 ID:jEGGoWyJ.net]
- あ、価格と性能です(^^;
強化学習に凡ミス発見。
強化学習が良いのは、学習し続ければ何とか復旧できると思えるところorz
- 295 名前：535 mailto:sage [2018/03/10(土) 20:42:21.57 ID:MfccYD4W.net]
- 価格コムで調べたら>>281って50万以上ですよね？
- 296 名前：310 mailto:sage [2018/03/10(土) 23:47:40.15 ID:jEGGoWyJ.net]
- こいつです。
https://www.pc-koubou.jp/products/detail.php?product_id=617093
i9-7080XEのデスクトップだとメモリー頑張ると１００万ですからね…
- 297 名前：535 mailto:sage [2018/03/11(日) 00:26:26.59 ID:Rh0MFs+Y.net]
- >>291
ほほう？
ハイスペックノートの割には確かに安いですね。
- 298 名前：535 mailto:sage [2018/03/12(月) 23:17:36.89 ID:t7pU5NWq.net]
- うわパイソン部分でルール間違ってたorz
やっぱ軽くでもテストはやっておかないとあかんなorz
- 299 名前：310 mailto:sage [2018/03/14(水) 21:17:53.41 ID:Hsr0gVbu.net]
- うぬぬ。強化学習でどこかおかしい。
強化学習単純化しすぎちゃったかなぁ。
暫定的にひたすら記譜作成＆記譜学習に戻しました。
遡り３０手が鬼門。記譜学習で、ここをクリアする事を当面の目標にします。
とはいえ、残り２９手完全読み切りの記譜がそれなりにあるのは、以前では
考えられない状況ではありますが。
- 300 名前：310 mailto:sage [2018/03/15(木) 22:46:56.01 ID:CxmBs8oA.net]
- 強化学習がおかしいというより、記譜のパターンが圧倒的に足りていなかった
のかもと思い始めました。それによって、着手して分岐しても±０となっている
みたいな。
とりあえず、記譜の増殖手段を模索中。
今は、ヌルウィンドウサーチを使用して、遡り探索を行っている関係で、間違った
着手（石損となる手）を捨ててますが、ある程度までその手も読み切って、記譜に
加えても良いのかなぁと思っています。
とりあえず、βカット（もっと良い手があった）時の評価関数は明らかに読み間違い
をしているので、そこ限定で記譜に加えていますが、ある程度以上の手数は全て
付け足しても良いのかなぁと。
- 301 名前：310 mailto:sage [2018/03/17(土) 02:14:23.31 ID:Foa7nGV6.net]
- なんとなく想像しただけですが、何が悪かったのかわかり始めました。
今の学習は「良い手」しか学習していないという事です。
序盤はある程度ランダムな着手を入れて、結果がばらつくようにしていますが、
途中から読みを入れて、良い手だけで着手し、その結果を遡りで訂正しています。
遡りが有効なのは３０手くらいまでで、序盤のランダムは２０手程度までに抑えて
あります。とすると、遡れる範囲では、悪手を打ったらどういう事になるのかという
学習が抜けている。間違えた着手もちょっとだけ悪いだけでです。結果、最善手の
評価値はそこそこ正確なのですが、極端な悪手も、評価値としてはちょっとだけ
悪い数字でも問題が起きないという事になります。
これはこれで順序付けさえ合っていればそれで良いのですが、ちょっと学習が
進んで、微妙に係数が変わった時に、計算上０．１程度しか悪くない相当な悪手
をうっかり選択しやすくなってしまうという事で、これがオーダリングで悪さをして、
探索時間を長引かせてしまう可能性があります。
恐らく評価関数のステージ分割で、表現力がかなりアップした事から、こういう
学習漏れみたいな事が起きてくるのかなぁと。ほんと、評価関数はスカスカです。
というわけで、昨夜書いたように、ある程度深さを捨てて分岐をすべて記譜に残す
ようにしてみようかなぁと思っています。しばらく記譜作成しながら、この事を踏まえ
た強化学習をちょっと考えてみたいと思っています。
- 302 名前：535 mailto:sage [2018/03/18(日) 22:34:31.76 ID:tUeDVO3T.net]
- 結果が出るまで時間がかかり過ぎるなぁ。
もうちょっと様子見るけど。。。
やっぱマルチスレッド化された別のalpha zeroプロジェクト探そうかな…
- 303 名前：535 mailto:sage [2018/03/20(火) 21:45:14.39 ID:/Ra5toxr.net]
- 駄目だぁ、強くなる気配がないorz
別のalpha zero プロジェクト本気で探すか…
ここまで来てもったいない気もするけど…
- 304 名前：535 mailto:sage [2018/03/23(金) 21:13:02.23 ID:Z4T42krD.net]
- なんかバグ直して再学習したら、ランダムに打ったほうがマシ、くらいに変な手（１の１とか）打つんだが？
もう嫌になっちゃう。
- 305 名前：535 mailto:sage [2018/03/23(金) 21:21:30.45 ID:Z4T42krD.net]
- そういやLeela Zeroも学習過程では一線うってたな。。。
逆にいい傾向なのか？？？
- 306 名前：310 mailto:sage [2018/03/25(日) 02:23:39.84 ID:Yig4cMbl.net]
- 分岐をすべて記譜にリストアップするようにしてから、爆発的に記譜が増えてます。
２０００程度だったのが、１５０００超えました。
が、まだまだスカスカみたいです。
ここまでするんなら、真面目に自己対戦して遡りせずに、ランダム着手に対して
分岐をリストアップさせても一緒というか、早い気がしてきています（汗
- 307 名前：310 mailto:sage [2018/03/31(土) 01:38:59.31 ID:h3UgGfs1.net]
- ランダム着手も追加して記譜増殖中。ただいま３２０００超え。
もっとも、残り数手とかの記譜もあるけど（汗
ステージ分割しているので、記譜がなかなか生成されない２５～３０手近辺で
非常に少ない教師データで何度も学習する事になり、そのあたりが極端な
過学習になってしまった。
解消方法をいくつか検討中です。
１）時間かかっても良いので、２５～３０手の記譜ができるまで頑張る
２）前後の盤面を混ぜて、教師データを増やしてみる
３）ランダム強化学習してみる。
２）３）をやると、おそらく、平均化されて評価値がフラットになるが大小関係は
治ってくると思う。
というわけで、今夜は２）３）を試してみる予定。
- 308 名前：310 mailto:sage [2018/03/31(土) 01:43:35.07 ID:h3UgGfs1.net]
- あと、時々スコア指定（ヌルウィンドウサーチ）の記譜作成処理で
エラー（スコア間違い）が出る時がある。
運が悪い事にハンドリングミスその他で、記譜を残せていないので、
現象の特定ができていない。
頻度としては数日に１回くらい。
たぶん、全滅と直前のパスがらみだと思うんだけど。
- 309 名前：535 mailto:sage [2018/03/31(土) 23:42:05.28 ID:4ltMn3J2.net]
- Geforce GTX 1060を増設しました。
>>214をpytorchで学習してみます。
- 310 名前：535 mailto:sage [2018/03/31(土) 23:46:58.88 ID:4ltMn3J2.net]
- んーうごかん。
GPUありとなしでポリシーファイルに互換性がないんですかね？
もしかして。
初めからやり直すか…
- 311 名前：310 mailto:sage [2018/04/01(日) 01:07:10.57 ID:OBeH+1OH.net]
- おお。どんどん進んでますね。
こちらは、昨夜のバグの現象は特定しました。
スコアが６２や－６２で、mtd(f)の探索開始が６４や－６４の時に、
置換表に残った６４や－６４が悪さして、６４や－６４と誤答する模様。
とはいえ、どこを直すべきかはわかりません。探索開始が６４や－６４
の時に、６２や－６２にしてやる事で、姑息的に回避はできるので後回し。
あと、記譜作成に色々機能を加えていたら、どこかがおかしそうだという
不安な状態になってしまいまして。このまま記譜学習を進めて良いか自信
が無いので、今までのデータで安全な部分をテスト用に回して、新たに
記譜を作成開始。３４手目までは全探索しながら普通に遡れる感じです。
３３手目から先は探索時間がしんどいので、ひとしきり落ち着いてから、もう
一度、遡りチェックのプログラムをきちっと見直して、追加していこうかな
と思っています。この間に、強化学習混ぜて、過学習部分を解消して
いこうと思います。
- 312 名前：535 mailto:sage [2018/04/01(日) 12:43:33.62 ID:lACu3cfl.net]
- お、ちゃんと時間測ってないからあれだけど、気持ち速くなってる気がする。
ちゃんと時間測りたいなぁ。
- 313 名前：310 mailto:sage [2018/04/01(日) 13:49:33.48 ID:DAl+8Sdv.net]
- バグ問題は、結局姑息的手段では回避できず。
全滅がらみでほかのケースでも誤答するケースが発生しました。
元々FFO#59用にmin-Max探索に入れていた、全滅時の処理くらいしか
原因となりそうなものが思い当たらなかったので、とりあえずコメントアウト
して様子見です。全滅時の探索が速度低下しますが、仕方がありません。
- 314 名前：310 mailto:sage [2018/04/02(月) 20:15:06.48 ID:9LYme7cN.net]
- 結局バグ問題は…迷宮入り臭いです。
記譜作成で負荷テスト並みに探索を繰り返すと、全滅絡まなくても間違うケースが
出てきました。再現性が無いのが辛いところ。
その昔悩んでいた時も、やっぱり置換表がらみの問題で迷宮入りでしたが、
今回も、ケチって置換表を極力クリアせずに使用していた事から、何らかの
矛盾が起きているようです。それを言っちゃうと、置換表付mtd(f)でｆ値を変え
ながら探索することも、またその時に作成された置換表を流用して記譜作成
兼ねた読み切り処理を速度アップすることも、怪しいという事になるわけで。
- 315 名前：間違えてしまった事が判明した時点で、その探索は捨てるくらいしか対策が
無いという事になります。
ネットで調べたら、将棋AI界隈でも置換表の問題点を書いている人がいまして。
少なくとも深さがあっていない置換表データは使うべきではない模様。
今の調子だと一晩動かすと結構な頻度で朝見たら止まっているとい状態なので
せめて発生率を下げるべく、mtd(f)に入る前に置換表をクリアする事にしました。
なぜしなかったかというと、記譜データからスコアが確定している盤面を置換表に
入れて、それを見ながら既に読み切りしている盤面は飛ばす処理をしていたから
です。置換表をクリアして盤面再構築に時間がかかるためです。別途盤面キャッシュ
を持って、そちらは追記、置換表は毎回クリアという形に変更しました。 [] - [ここ壊れてます]
- 316 名前：535 mailto:sage [2018/04/02(月) 22:24:32.85 ID:3iK+AnRP.net]
- Leela ZeroがKGSでかなり強くなってる。
俺がパクったプログラムも学習し続けたらあれくらい強くなるんだろうか？
- 317 名前：535 mailto:sage [2018/04/04(水) 20:42:51.24 ID:Y0WMbzNW.net]
- え、ちょっとまってよ。
GPUありなしでポリシーファイルが違うってことは
成果物を配布しようとしたらGPU持ってる人しか遊べないってこと？
- 318 名前：535 mailto:sage [2018/04/04(水) 20:54:25.72 ID:Y0WMbzNW.net]
- しかもCUDAとかも一緒にインストールしてもらわないといけない？
ええぇ？
- 319 名前：310 mailto:sage [2018/04/06(金) 22:00:28.44 ID:952uhqxW.net]
- 誤答問題は、置換表クリアで解消しました。
違う局面の探索で使用した置換表データは使いまわしてはいけないという事で。
なんか、結果的に、２年くらい前にも同じ事で騒いでいたような。
色々整ってきたので、あとはひたすら記譜作成しながら学習を回すだけになって
しまって、暇になってます。別PC買ってそっちで学習させながら、別の事をはじめ
ようかなぁと思い始めています。
- 320 名前：535 mailto:sage [2018/04/07(土) 20:43:17.69 ID:SqbCC315.net]
- うーん、つよくならないorz
学習は継続しつつ別のalpha zero プロジェクトも物色するか…
- 321 名前：535 mailto:sage [2018/04/08(日) 22:10:18.77 ID:ZB9Bj6DG.net]
- ん、なんかメモリリークあんのかな…
swigでC++から移植したクラスってデフォルトでガベージコレクトされないのかなぁ？
もしかして。
- 322 名前：535 mailto:sage [2018/04/08(日) 22:43:04.99 ID:ZB9Bj6DG.net]
- VMWareの設定がメモリ1GBになってた。
とりあえず8GBに増やしてみた。
- 323 名前：535 mailto:sage [2018/04/08(日) 22:53:48.62 ID:ZB9Bj6DG.net]
- お、メモリ増やして再起動かけたら結構いい感じで進みだした？
メモリ増やしたのと再起動かけたのどっちが効いたのかわからんが。
- 324 名前：535 mailto:sage [2018/04/09(月) 20:58:16.91 ID:500BArdX.net]
- くそ～ベストポリシー更新が全く来ないorz
もう何回目だ？TT
- 325 名前：535 mailto:sage [2018/04/11(水) 20:46:51.70 ID:uiOmKVU+.net]
- お、メモリ増やしたせいか連続運転が安定している。
しかしベストポリシー更新は相変わらずなしorz
- 326 名前：535 mailto:sage [2018/04/11(水) 23:07:04.06 ID:uiOmKVU+.net]
- もしかして、ネットワークの初期値が糞すぎるんだろうか。
でも確かめようがないorz
- 327 名前：535 mailto:sage [2018/04/15(日) 20:07:24.81 ID:8sCJrZFg.net]
- ベストポリシー更新まじコネ～
でも他のプロジェクトに浮気しようにもなかなか手ごろなのがないんだよなぁ
- 328 名前：535 mailto:sage [2018/04/15(日) 20:21:37.51 ID:8sCJrZFg.net]
- いっそ実績のあるLeelaZeroを本気でパクりに行ってみるべきか…
でも多分、難解なんだろうな～
- 329 名前：535 mailto:sage [2018/04/16(月) 20:30:05.64 ID:6KBtspgu.net]
- あんまりおかしいんでソースをオリジナルとdiffとったら学習係数が1/100になってたんだがｗｗｗ
え～何時いじったかな全く記憶にないｗｗｗ
これで学習が進んでくれれば！！
- 330 名前：535 mailto:sage [2018/04/16(月) 23:37:28.33 ID:6KBtspgu.net]
- loss も entropyも減ってきてる！
これでベストポリシー更新が来れば！！
- 331 名前：535 mailto:sage [2018/04/17(火) 22:16:19.94 ID:E16XJnGD.net]
- ｷﾀ━━━━━━(ﾟ∀ﾟ)━━━━━━ !!!!!
ベストポリシー更新きました！
次の切りのいいところで止めてプレーしてみよう
- 332 名前：535 mailto:sage [2018/04/17(火) 22:34:03.78 ID:E16XJnGD.net]
- それはそうとzen+の発売日が迫ってますね。
金がないから買えないけど情報だけは追っかけてみます。
爆速だとい�
- 333 名前：｢な。 []
- [ここ壊れてます]
- 334 名前：535 mailto:sage [2018/04/18(水) 23:48:24.10 ID:7NtNWbU1.net]
- あとちょっとだけ待とう
終局までの手数も順調に減ってきてるから意味のある手を打ってるんだろう多分
ワクワク
- 335 名前：535 mailto:sage [2018/04/19(木) 20:50:17.33 ID:lyvIQrMy.net]
- 打ってみました。
序盤、中盤は棋理の芽生えみたいなものが感じられました。
伸ばせそうなところを伸ばすとか伸ばされそうなところを止めに来るとか
でもわざと負けようとしても５連までは積極的に作りに来るのにそこからパタッと伸ばすのをやめて７連を作ってくれませんｗ
なぜｗ？
でもまあ、希望は感じられました。
もうすこし学習してみます。
- 336 名前：535 mailto:sage [2018/04/19(木) 23:51:35.82 ID:lyvIQrMy.net]
- zen+なかなかよさげですね。
前世代と比べて一割前後性能アップ？
- 337 名前：310 mailto:sage [2018/04/20(金) 09:40:06.18 ID:HgLFJ5UM.net]
- うーん。AMDはSIMD命令で遅い命令があって、速度低下するかもって
どこかで読んじゃったからなぁ。
こちらは地道に記譜作成しながら学習させてます。
深さ優先で記譜作成すると、分岐が少ない手筋ばかり増えていくので、
幅優先で、同じ深さである程度記譜溜まってから、次の深さとするように
したのですが、空きマス２７からの記譜展開で、時間がかかるようになって
なかなか空き２８マスに行けない。オーダリングの精度が出ていないから
だと思いますが、同時に選択肢も増えてきて、余計時間がかかる感じ。
空き３０マス突破したら、かかる時間の増加率は下がるはずなんだけど。
- 338 名前：535 mailto:sage [2018/04/20(金) 22:59:48.32 ID:1YRRGto3.net]
- もしかして終盤はあえてランダム性を残すことによって学習が進みやすくなるなどの深い理由があるのだろうか？
わからんが。
- 339 名前：535 mailto:sage [2018/04/20(金) 23:02:21.21 ID:1YRRGto3.net]
- それとも序盤は同一局面のデータがたくさん現れるから学習できるけれど
終盤に行くとデータが散らばっちゃって学習できなくなるということだろうか
- 340 名前：名前は開発中のものです。 mailto:sage [2018/04/20(金) 23:03:29.26 ID:1YRRGto3.net]
- あるいは一線や二線は打たないほうがいいと学習してしまっているがため、７連を作れないのだろうか？
- 341 名前：310 mailto:sage [2018/04/21(土) 20:32:42.81 ID:AdkW58BW.net]
- オセロは記譜生成させてるだけで暇なので、将棋の事を考えてました。
KKPとかよくわからないし、同じ事をやってもつまらないので、利きを点数化
しようかと考えてみまして、実際の計算方法を考えていたら、自玉周辺と
相手玉に対する利きがKKPなのではないかと思い至ってしまいました。
持ち駒の点数は駒種毎に固定で振られていて、駒同士のぶつかりによる優劣
特に駒交換はmin-Maxにて補間しているのかなと。評価関数自体は意外と単純
な事しか学習していない感じで、探索で補っている部分が大きいように感じます。
こうやって見ると、上手く単純化しているなぁと。
自分で勝手に想像した内容に感心してしまいました。
ただ、これならこれで、自玉KPと相手玉KPの合算で、２駒関係に次元を落とせ
そうではないかと思ってしまいました。まあ、無理なんでしょうけど。
自分がやる上での一番のネックは、オセロの評価関数が点数だったために、
なんちゃって強化学習しかやった事がな点ですね。あと、みなさんライブラリ化
されていて、それに則れば色々な人の考えた高速化・高効率化のネタが利用
できる点で、一から車輪の再発明していては追い付けないよなぁと。
- 342 名前：535 mailto:sage [2018/04/21(土) 20:39:59.86 ID:8g8p+RpI.net]
- ほう、将棋に進出ですか。
将棋AI界はオープンソースが進んでる感じなんですかね。
- 343 名前：535 mailto:sage [2018/04/21(土) 20:50:54.10 ID:8g8p+RpI.net]
- alpha zero のパクりプログラムgithubから丸パクしてきたわけだけど
そろそろちゃんとソース読み解いてみようかな。難しいだろうけど
丁寧な解説がどこかにあればいいんだけどね
- 344 名前：535 mailto:sage [2018/04/22(日) 17:35:27.70 ID:QOhFsFyf.net]
- お、AIが７作った。
いままではわざと負けようとしても勝ってくれなかったけど今回は勝ってくれた。
まだまだ弱いけどもっと学習させてみよう
- 345 名前：535 mailto:sage [2018/04/22(日) 19:13:47.98 ID:QOhFsFyf.net]
- 俺も学習見守るだけで暇になっちゃったからなんか始めたいけど
計算リソースが学習にもってかれちゃってるからそこどうするか。
やっぱPC新調か？
グラボも効果あるみたいだし今度はGeforce 1080 Tiとか試してみたいな。
金がないけど。
- 346 名前：310 mailto:sage [2018/04/22(日) 19:48:13.41 ID:wf3ukgDl.net]
- だよね。自分も脳内妄想で我慢です。
PC新調しちゃうか思いっきり悩み中。
|
 |
