最新ソフトで棋士の指し手一致率を調査した結果 2

最新ソフトで棋士の指 ..

85:名無し名人
19/08/27 15:26:53.25 KcGblsp/.net
>>80
レーティングは時代が異なると完全には同一視できなくなる可能性という問題点があるが、実際にどこまでズレるかはわからない
山下論文のP11の図3、図4を見ると一見インフレしているように見えるが谷川・加藤の推移を見るとそんな事はなく実際に上位棋士のレベルが上昇した可能性が高そう
(仮に200近くインフレしていたら現在の谷川が昔の新人で全く伸びなかったプロレベル、引退前の加藤は街のアマチュアレベルという事になってしまう)
file:///C:/Users/%E6%B5%85%E4%BA%95/Downloads/IPSJ-GPWS2014002%20(2).pdf
なおレーティングがインフレになるというのは誤った俗説で、新規にプロ入りするレベルははどうか、全体の人数の増減はどうかによってインフレになる場合もデフレになる場合もある
実際に自分でモデルを作って検証すればわかる
また戦術の進化等による全体のレベル向上があればそもそもインフレしているのが正しい

86:名無し名人
19/08/27 15:54:53.04 KcGblsp/.net
>>76
平均悪手が少ない順に並べてもレーティングのように並ばないというのはどこにある情報？
あと「平均悪手」という単語は「平均悪手率」なのか山下論文で使っている「平均悪手点」の意味なのかどちら？
「平均悪手点」の意味であれば山下論文の図11で少なくともレート2700～2800程度までは相関してる事を示している
レートがそれ以上の場合の「並ぶか」という厳密な検証はなされていないが、少なくとも表20を見ると「並ばない」結果にはなっていない

87:名無し名人
19/08/27 15:56:56.15 w6T9Ob4v.net
>>85
将棋の場合はインフレするよ
新四段の若手は大抵平均レベルよりも強く引退してくベテランは平均レベルよりも弱いから

88:名無し名人
19/08/27 16:13:03.35 KcGblsp/.net
>>87
仮にレーティング1800の実力を持つ者がプロ入りして来た場合1500→1800になる為には差額の300点を全体から奪い取る事になるのでデフレになる
新人プロの実力は平均すると1500より上なのでこれがデフレ要因
最終的に彼らが平均して1500以下の実力になって棋士総人数が不変ならばデフレ要因はなくなりインフレ要因だけが残るが、実際には人数は増え続けているのでデフレ要因とインフレ要因のどちらが上回っているかわからない
これ以上はスレチになるのでレーティングスレがあればそちらに行くよ

89:
19/08/27 16:27:18.70 Jzuv0Y1o.net
>>82
現棋士に関しては勝率での補正も持ち時間での補正もやってない
持ち時間で３区分した一致率は出せる
①1時間以下
②3時間以上6時間以下
③8時間以上
の３つに分けることができる
64年大山の棋譜はNHK杯以外はすべて7時間以上の対局だった
 >>31に記したように3時間以上棋戦とNHK杯では一致率に差が生じている
しかし、二日制対局と3時間以上の棋戦の比較では一致率の違いが持ち時間の差違によるものなのか対局者の平均レートの違いによるものかはわからないようだ
そこで、二日制タイトル戦登場者に限定して②と③にわけて表を作成してみた
③のほうは勝率5割になるが、②のほうは勝率0.638なので③のほうが平均で一致率が2%少ないという数値になっているが、これはやむを得ない
しかし、勝局の一致率はほとんど変わらず、敗局の一致率はむしろ②のほうが高い(1.3%)
というわけで、まだ、二日制のデータが24局しかないため結論的なことは無理なんだが、二日制のほうが一致率が高くなるという傍証は見つかっていない
②
URLﾘﾝｸ(i.imgur.com)
③
URLﾘﾝｸ(i.imgur.com)

90:
19/08/27 17:21:24.25 Jzuv0Y1o.net
>>86
平均悪手(点)を採用しての話をしている
山下氏の平均悪手(点)は検証できない
しかし、山下氏は現棋士の平均悪手を調べてEloレートとの相関を調べたわけではない
将棋クラブ24の棋譜の平均悪手とEloレートが相関したと言っているだけ
プロ棋士のレベルで平均悪手の相違が棋力にどう関連するかはまったく検証されていない
例えば、後半10手を除外しているが、プロ棋士の勝ち負けは最後の10手の良し悪しで決まることもある
大悪手なのか、形作りの手なのか、あるいは勝負手なのかの区別が付けられないという理由で評価値が10以上マイナスになる手を平均悪手の計算から除外しているが、これも疑問符がつく
また、当時のソフトは一致率が50～60%台で当てにならなかった
一致率が当てにならないようでは平均悪手も当てにならないはずだ
それを、最後の10手は除外するとか、数値が大きいマイナス点は形作りや勝負手の場合もあるから除外するとか工作しても終盤力の差で勝敗が分かれるプロ棋士のレートを出すのは無理でしょ
そもそも平均悪手は評価値の大小も増減もソフトによって、解析の深さによって全然違ってくる
一致率の誤差どころではない
一次関数に平均悪手を代入するだけでプロ棋士のレートがわかるなどということは絶対にない

91:
19/08/27 18:03:22.57 Jzuv0Y1o.net
>>86
平均悪手を小さい順から並べてもEloレートの順のようにはならないというのは自分で解析してみての実感なんだな
俺は平均悪手でプロ棋士の棋力の推定が本当に可能なのか2017年から解析して2018年8月で打ち切った
徒労に終わったのは惨憺とした結果しか得られなかったからだ
画像の表で説明する
このM値が平均悪手だが、算術平均でなく中央値を採用している
前半40手は除外したが後半10手は除外していない
そのため、算術平均だと頓死などの棋譜が1局あるだけでその棋士の平均悪手のケタが違ってしまうため意味をなさない
しかし、そうした棋譜を免除して平均悪手を採用することには疑問があった
そこで、中央値を採用するのがベターという結論になった
で、この表は2018年1月から8月までを集計したものだ
データ局数にバラツキがあるのは全棋士対象でなくレート上位60位ぐらいの棋士までの棋譜の解析に限定していたためだ
何なら、2017年のデータとか通算のデータとかを出してもよいが、これだけで、平均悪手のダメさ加減は納得していただけるはず
URLﾘﾝｸ(i.imgur.com)
URLﾘﾝｸ(i.imgur.com)

92:
19/08/27 18:27:07.23 Jzuv0Y1o.net
>>88
インフレになるかデフレになるかわからないというのは、その通りで、それが1500点の質の違いなので、時代が違うと比較は難しいという結論になる
そのいい例が大山五冠の頃のレートだろう
1964年度に1934点のレートを記録しているが、この当時の棋士のレートは10年前に64名いた棋士全員を1500点にしてスタートしている
つまり、大山名人から升田らのA級棋士も1500点だったわけで、しかも毎年度対局数が40局程度しかない時代だった
当然デフレが生じていたはずだ
また、棋士のレベルも現在の新四段のレベルは高いが、それはプロ棋士全体の100番目以下のプロ棋士集団と比較しての話だ
大山時代は日本で60番目に強いくらいでないとプロ棋士になれなかったわけだから単純な比較は不可能だろう

93:名無し名人
19/08/28 01:10:58.06 s67rdTyy.net
>>91
「中央値」って何？
そもそも一定以上に評価が下がる手を入れると評価がおかしくなるから除外してるよね
同じ手法を取ってうまくいかないから「中央値」を採用してみたというのならわかる
それをうまくいくかどうか全くわからない「中央値」を採用してうまくいかなかったからといって、なんでそれがそもそもやり方が違う山下論文方式の「平均悪手(点)」を否定する事になるの？
山下論文方式はソフトが今より弱かった時期でさえ少なくともレート2800点までの相関は調べており、ひふみんのデータを見る限りではそれ以上のレートでも機能していても全くおかしくない
それをソフトも強くなってるのに試しもせずに否定する根拠は全くない

94:
19/08/28 06:48:05.99 BvtGCFO3.net
>>93
除外していないよ
某棋士の解析が5棋譜あって平均悪手が小さい順にこうなったとする
20　30　50　60　200
平均値は360/5=72
中央値は50
さきのデータでいうと50なら26番目だが、72なら56番目だ
順位が30も違う
平均悪手が200の棋譜は大悪手で負けた棋譜だ
想像つくと思うが、中央値でなく平均値を採用すると中央値を採用する以上に強さのランキングとは言えないものになる
では、山下式平均悪手の算出はどうなのか
平均悪手200になった棋譜が30手の平均なら悪手合計は6000だ
この中に1手1000の悪手が5手含まれていても計算から除外するというのが山下方式となる
すると悪手合計は1000になる
これを 30-5=25 で平均するから平均悪手は40になるわけだ
先の5個の平均悪手のうち200を40に変えて平均値をだすと平均値は200/5=40になる
つまり、先の5個の中央値だった50のほうに近づくわけだ
したがって、単純平均を採用するより中央値を採用したほうが山下式平均悪手に近いのだ
そして、大悪手を除外する山下式でプロ棋士の棋力がわかるとは到底思えないのもこのためだ
なお、1棋譜の平均悪手200点がレアな例でないことは先のデータ >>91を見ればわかる
この中で最大の平均悪手は627点だ
たった1局の過ちのせいで、このあと100局のデータを採ってもこの局がない場合と比較して順位で6以上違ってしまうのだ
平均値を採用するより中央値を採用したほうに合理性があるのはそうした理由からだ
百聞は一見に如かずなわけだから、今日のうちに平均値が小さい順に並べた棋士のデータも貼ってお見せすることはする
しかし、>>91のデータだけで納得できない人がいたとは意外だったよ

95:名無し名人
19/08/28 07:52:17.87 DG+DQT+D.net
>>77
> Eloレーティングを近似できることが証明されれば
「証明」は実は不可能で、「ある程度までに精度を高めることができれば」というのが限界では？
> 過去の棋士も近似できる
「レーティング近似値として十分に役に立つレベルの値が得られる」という意味になりそうな気がするが
しかし過去の棋士のレーティングがそもそも何の役に立つか？という気がしてならない…

96:
19/08/28 07:57:59.49 BvtGCFO3.net
>>95
>>93と同じ人？
だったら、>>94で納得できたか返事してくれないかな
違ってたらごめんよ
あと、この自問自答には何と返せばいいの？

97:名無し名人
19/08/28 08:10:05.28 DG+DQT+D.net
たとえば、上位グループとほとんど没交渉な下位グループというのを考えてみると良い
果たして上位グループから得られた知見をもってして
下位グループのレーティングを高精度に近似できるか？
それなりの労力で実際に確認できるはずなのでやってみるのも一考
だがしかし、仮にそれが上手く行った場合でさえも、言えることは
「既知のグループメンバーと特異的に変わらない指し手の新規メンバーについては
高精度な近似ができる」というのが限界のはず
何故なら、極端な例を持ち出すと、途中までは全ての指し手をソフトを使用して選ぶが
最後の１手で必ず大悪手を指して負けるといったような者がいた場合
その者のレーティングを正しく近似することは、ほぼ間違いなく上手く行かないはずであり
なおかつ、未知のグループに関しては
そのような極端なデータの偏りが絶対にないとは言い切れないからである

98:
19/08/28 08:48:50.65 BvtGCFO3.net
>>97
全棋士の一致率を調べているのは
 >>72に書いたようにまさにそれが理由だよ
常に途中まで完璧に指すことができているのに一手ばったりの悪手が多くて勝率5割しかない棋士がいたら、彼の一致率は勝局も敗局も85%となり全局平均の一致率85%、あるいは勝局はもっとよければ全局平均86%もありうる
したがって一致率が高い棋士が史上最強ではないことになる
実際は仮定と現実は違って、そうした実例は確認されていないばかりか、レート下位棋士のデータ群ほど一致率が低いことが確認されている
それはそれとして、何でコジツケのような疑問しか提示されないのか、なぜ一致率と棋力の相関の高さに否定的になろうとするのか解せないな

99:
19/08/28 11:16:39.59 BvtGCFO3.net
レート区分及びクラス区分の最新集計表を作ってみた
100区分のレートにすると、Eloレートと換算レートばかりでなく、Eloレートと一致率単独の相関係数も驚異の0.99となった
一致率と棋力が比例関係にあるばかりでなく、データ数を増やしていけば一致率だけでも有力であることを示している
下表のクラス別の集計表を見るとC2が特徴的で、換算レートでも一致率でもC2はB2と同等のようだ
これは、今のC2にB2棋士と同等以上の棋力がある棋士が多いと解釈できる
２期前まではC1がそんなクラスだった
いずれにしても、B2以下の棋士は玉石混交でほとんど差がないことがこの表からわかる
そして、B1以上の棋士との間には実力の壁があることも明らかだ
将棋ファンならこうした資料は大歓迎なはずなんだが、なぜかケチつけようとするレスが必ずある
そういう人は、どういう利害で発言しているのかも表明してほしいね
URLﾘﾝｸ(i.imgur.com)

100:名無し名人
19/08/28 11:37:19.93 5wNc5iok.net
>>89
「３つに分けることができる」が不可解というか、そらわけることはできるだろうけど根拠がないなあ
データを沢山積み上げて、本当に3時間と6時間には微少な差しかないんだと立証できれば凄いことだと思うけど

101:名無し名人
19/08/28 12:39:01.63 TueVNZ3b.net
>>100
3つに分けたデータを出すことができる（作成済みだから）って意味じゃないの？

102:
19/08/28 13:10:54.44 BvtGCFO3.net
>>100
棋戦データに標識をつけて三区分でデータベース化しているということ
だから三区分でのデータは簡単に取り出せるという意味だよ
区分の仕方が問題だと思うならどういう区分がよいのか意見してみよう
それと、個々の棋士を分析するときに細分化したデータは役に立たないと思ったほうがいい
現状では、1時間以下の早指しと3時間以上の棋戦の二つぐらいで十分だろう
全棋士レベルでの分析ならNHK杯だけとか、朝日杯だけとか、その両方とか、種々の分析はいつでもできるよ

103:
19/08/28 13:24:20.20 BvtGCFO3.net
王将戦は予選が3時間でリーグ戦が4時間だが、残念ながらデータベース上で区別していない
3時間で取り出せるのは新人王戦と叡王戦本戦だけになる
棋王戦は4時間の棋戦のデータとして使える
王座戦と竜王戦は5時間棋戦、順位戦は6時間棋戦のデータとして使える
どれだけのデータ数が集計できるかわからないが、今日は1日暇なのでやってみよう

104:
19/08/28 14:44:54.85 BvtGCFO3.net
>>100
棋戦別の一致率を出してみた
棋戦ごとにレート平均が異なるので比較は難しいが、持ち時間が長くなると一致率が高くなる傾向は出ていない
レート平均があまり違わない新人王戦、棋王戦、竜王戦で見ても違いは見てとれない
二日制の対局の一致率が高いのは
 >>89で比較したように棋士の棋力が高いのが理由で、この5棋士は一日制の対局でも似たような数値だった
以上のように3時間と6時間といった持ち時間の違いで一致率が異なるという傾向は見られなかった
「微妙な差しかないのを立証する」のが統計学でなく、
有意差がなければ、両者に違いはないと見なすのが統計を扱う基本だ
そうした基本に戻って意見してくれ
なお、>>31でレスしたように3時間以上の棋戦とNHK杯の一致率には有意な違いがある
URLﾘﾝｸ(i.imgur.com)

105:
19/08/28 20:31:28.61 BvtGCFO3.net
NHK杯と朝日杯を追加
URLﾘﾝｸ(i.imgur.com)

106:
19/08/28 21:45:17.08 BvtGCFO3.net
>>93
>>94で約束したように平均悪手を平均値の小さい棋士の順に並べた表を作ってみた
前回同様2018年1月～8月までの集計だ
平均値が高い2枚目を見るといい
羽生28局の平均が74.8(中央値44.4)だ
豊島39局83.8(56.0)
深浦18局91.8(75.2)
久保18局96.8(60.1)
近藤14局97.7(37.5)
増田18局103.4(63.6)
斎藤12局104.7(46.2)
このようになっている
平均悪手で棋力の推定は無理だ
URLﾘﾝｸ(i.imgur.com)
URLﾘﾝｸ(i.imgur.com)

107:
19/08/28 22:01:42.77 BvtGCFO3.net
局数が抜けていた
URLﾘﾝｸ(i.imgur.com)
URLﾘﾝｸ(i.imgur.com)

108:名無し名人
19/08/29 01:39:22.58 v1Fmy0BZ.net
>>94
山下論文方式も「中央値」もどちらも一長一短
なのでどちらの判別力が優れているかをデータなしに机上で力説しても全く無意味
山下論文方式は一定の判別力ありとなっているので仮に中央値方式がダメであれば山下論文方式を試せばいいだけ
実際に2つのデータを並べて判別力を比較分析すればわかる話
あと >>106でなんで「無理」という結論付けているのか全くわからない
中央値方式は判別力が低い可能性はあるが、あまりにも対局サンプルが少なすぎる棋士が大半
対局数が少ないためまだ敗戦データがほとんど含まれていない棋士があれば当然上位になってしまうことが予想される
恐らく一致率データもこれくらいの局数で対戦相手を勘案せずに個々人レベルで見るとこんな感じでは？

109:名無し名人
19/08/29 03:27:14.55 h22jIbzZ.net
彼が欲しているのは承認だけだからな

110:名無し名人
19/08/29 06:31:50.64 GpiqX+vu.net
>>98
> 一致率と棋力の相関の高さ
このような統計的（帰納的）手法の場合だと、得られた数字は
何らかの特定の目的に使用する分には十分に高いという言い方になるはずでは？
今のままでは「５ちゃんで匿名で承認欲求を満たす分には十分に高い…っぽい（…はず）」ぐらいにしかならないと思うのだが

111:
19/08/29 06:58:22.09 hnAsKu/o.net
>>108
実際に平均悪手というものがどういう数値でどういう挙動をするものか棋譜解析をしてみるとすぐに分かることだよ
こんな荒い数値で、Eloレートのように5点違うだけで順位が変わるプロ棋士の棋力をランキングできないんだよ
歴代棋士ならそんなもんかと思わせることができても、実際に現棋士に応用して平均悪手を試してみると一目瞭然になる
データ数が少ないからと逃げても誰も説得できない
あとで、2017年1月からの平均悪手の通算での順位と、データ数が多い羽生と藤井聡太の例をお見せするよ
二日制対局では羽生より渡辺が強かったのに、山下式平均悪手レートでは羽生のほうが267も強かったことになっている
これは勝率で82.3%が期待できる差だ
この一点だけでも平均悪手レートが使える代物でないことを指摘できる
更に、ロジックでも実験でも否定されたわけだから完全論破したことになる
反論したいなら、俺が現棋士の一致率をEloレートと比較して検証しているように、山下式平均悪手なら現棋士のEloレートと比較しても破綻しないことを示したらどうか
羽生と渡辺でレートが267点も違うような一次方程式で算出して、5点違えば順位が変わってしまうEloレーティングのような結果が出るわけがないのは明らかだろう

112:
19/08/29 07:43:01.63 hnAsKu/o.net
二日制タイトル戦では、渡辺は羽生よりEloレートで少なくとも40強かっただろう
山下レートでは逆に羽生が渡辺より260強かったことになっているので誤差は300ということになる
渡辺と羽生で300もの誤差が起きてしまう計算式で、300点の範囲に1位(渡辺1978)から38位(佐藤和俊1678まで)まで存在するプロ棋士の棋力の測定は無理だ
何度も「無理」を連呼しているが「無理だ」としか言いようがない

113:
19/08/29 08:59:18.30 hnAsKu/o.net
一致率と平均悪手は何が違うのか
一致率88%と85%では倍率で1.03しか違わない
平均悪手は2回試行で20と30といったように1.5倍違う
1局の違いや、勝者と敗者となるともっと違う
一致率は最大でも100%と50%で2倍の範囲内に収まるが、平均悪手は20と60や100というように3倍、5倍が通常で、理論的には0から1000以上まで無限大となる
一致率ならデータ数を増やしていけばEloレーティングのような精度で棋力判定が可能だが、平均悪手ではいくらデータを増やしても期待できない
何より、平均悪手がプロ棋士の棋力と関係しているという理論的な根拠がない
悪手点が大きいか小さいかは正解を外した場合の結果でしかなく、それより何回正解したか(一致率)のほうが棋力に関係していると見るべきだからだ

114:名無し名人
19/08/29 11:51:33.76 e75QoQ83.net
いい加減くだらない数字遊び止めろや

115:名無し名人
19/08/29 12:20:55.36 o+Q4yJmk.net
すごい・・・世の中にはやっぱり頭いい人多いなあ。
本にしてくれれば絶対買う。
別にファンではないのだけど、羽生さんの棋力の衰えも一致率の低下で示されてるのかな？
既出だったら申し訳ないけど。

116:
19/08/29 13:37:51.75 hnAsKu/o.net
率直にいって棋力の衰えは数値にあまり現れていない
羽生さん本人も衰えたとはそんなに感じていないのではないかな
二日制が今一なのは昔からだし、ここ数年の劣勢は羽生神話が崩れたことが大きかったと見ている
つまり、羽生さんでも割とたくさん悪手を指しているというのがソフトでの棋譜解析でわかってきて、羽生さんに心理的に負けなくなってきたのでは
持ち時間5時間以内の棋戦なら、時間が少ないほど優勝したりタイトルを獲得する機会はまだまだあると思う

117:
19/08/29 14:50:39.68 hnAsKu/o.net
>>82
＞64年の大山は対局の半分は10時間の将棋だったんじゃないの
名人戦の解析データでよければ大山と羽生の一致率で比較できるよ
大山は1964-72の9年分、52局35勝17敗(0.673)を解析した
羽生は1994-97の4年分と03年、08年、09年、11年、18年の計9年分、51局31勝20敗(0.608)を解析した
大山は全盛期とそのあとの後退期、陥落した最後の名人戦まで連続した期間を選んで不審に見られる抜け番がないようにした
羽生は24歳から27歳まで連続した名人戦をメインにした
羽生の輝かしい成績は20代に集中していて、30代と40代はすべての面で大山に比較できるものがない
したがって、20代をメインにしたことに異論はないだろう
これに解析が済んでいる03年、08年、09年、11年の名人戦と、大山に合わせて40代最後の名人戦を加えて9年分を用意した
勝率比較では大山に有利に見えるが、大山の名人戦対局の勝率は0.68なのに対して羽生の名人戦対局の勝率は0.55なので、実際は羽生に有利になるように選んだつもりだ
表は各種指標の順位がわかるようになっているが、下欄にトータルの数値を載せている
長時間の棋戦は大山が強く羽生はあまり得意でなかったため、実際はこれ以上に離れていたと考えられるが、一致率で大山と羽生には3%の差が生じていることがわかる
URLﾘﾝｸ(i.imgur.com)

118:
19/08/29 18:13:04.69 hnAsKu/o.net
>>108
モデルを使って説明しよう
一致率同様、平均悪手は計測する度に変わる
ソフトや探索深度の違いや、解析を打ち切る0.1秒の時間差でも数値は同じでない
1局120手のモデル局、40手中36手正解(一致率90%)で、悪手点合計800点、平均悪手20の棋譜がある
このうち正解と判定された1手が悪手(600点)と判定が変わるとどうなるか
一致率は35/40=87%(端数切り捨て)に下がるだけだが、平均悪手は600点/40=15点増えて35となる
一致率なら3ポイント違うだけだが、平均悪手だと15ポイント違うことになる
もし、この悪手が1200点であったなら平均悪手は30点増えて50になるわけで、一致率は1手3ポイントしか変わらないのに平均悪手は1手で30ポイントも変わるわけだ
正解手を指せなかったのは棋力に関係するだろうが、次善手が悪手ならこの悪手が600点であろうが、1200点であろうが結果論だ
棋力に関係しているのは正解できなかったという事実だけなのだ
 >>111でお約束した集計表を見るとよい
URLﾘﾝｸ(i.imgur.com)
データが20局以上の棋士だけを分析してある
相関係数は-0.6未満なので平均悪手を棋力判定に採用するのは無理、無理、無理だ
明らかにレート下位の女流棋士なら平均悪手の違いでプロ棋士と峻別できるようだが、それでもレートで500近く差があるプロ棋士と中央値の比較で10ポイントも違わない
これではEloレーティングの代用になりようがないだろう

119:名無し名人
19/08/29 18:44:12.90 b9Z2K+5Q.net
中原誠とか木村義雄の一致率ってどうなの？
強いってよく言われるけど

120:名無し名人
19/08/29 20:53:09.74 tUXiy2U9.net
>>117
羽生は1994-97の4年分と03年、08年、09年、11年、18年の計9年分、51局31勝20敗(0.608)を解析した
何でわざわざデータを不連続に取るのか？
普通に考えて御法度だろ
ダメだな

121:
19/08/29 21:15:13.20 hnAsKu/o.net
(1)一致率が平均悪手より強さの指標として優れている
このことは現棋士のEloレートと近似性が高いのは平均悪手でなく一致率であることで説明できるようになった
では、なぜソフトが注目された最初から一致率を重視してこなかったのか
話は昔、Bonanzaで一致率が調べられた時代に遡る
たしか、三浦棋士とか歴代棋士では升田とかが羽生より一致率が高いという結果になった
羽生が一番でないとおかしいし、今の棋士より大山名人や江戸時代の一部の棋士のほうが一致率が高いのもあり得ない
というわけで、それ以上研究が深められずに終わってしまったようなのだ

122:
19/08/29 21:16:56.47 hnAsKu/o.net
(2)一昔前はプロ棋士とソフト(Bnanza)の一致率は50%台だった
ソフトが弱ければ弱いほど最善手の見解は別れるから一致率は高くならない
Bnanzaと90%以上一致することは確率論的に滅多に起こらないわけだ
当時は、ソフトがプロ棋士と同じくらいに強くなれば一致率が80%くらいになり、ソフトがさらに強くなれば一致率は下がっていくのではと予測する者が多かった
そして、人間と似たような感覚で読むソフト(技巧)が出現して前段の予測は現実となった
江戸時代の棋士でも一致率90%以上になる棋譜が確認された
ところが三浦棋士は最善手を指せば技巧との一致率が高くなるのが当たり前なのに疑われてしまった

123:
19/08/29 21:20:06.30 hnAsKu/o.net
(3)もし、千田棋士が技巧の一致率データを正しく理解していたならあんな騒動にはならなかっただろう
当時まだボナンザとの一致率データしか知られていなかったから棋士の頭の中はソフトとの一致率はよくて60%台と理解されていた
実際に調べて見ると、勝局棋譜の技巧との一致率が80%以上になるのは普通のことで、100手以内で終局した一致率は90%以上でも珍しいことではなかった
データがないので誰も知らなかっただけなんだが、負けた相手側の一致率が60%台だったから｢こんなに違うのはおかしい｣とさらに火に油を注ぐことになってしまった
負けた側の一致率が60%台なのも普通のことで驚くことではなかったのだ
これもデータをとって、勝った側と負けた側に分けて分析していれば騒ぎにならずに済んでいたことだった
このあと、一致率を話題にすることすらタブーになってしまい、一致率の研究は数年遅れてしまったと言える
一致率の研究は、ソフトが弱い時代に一度否定され、一致率が高まった時代に、計測するたびに変わるから役に立つものではないと否定された
そして、三浦九段がされたように、心外な印象操作も可能であるがために一致率を調べること自体がタブーとされてしまったのだ

124:
19/08/29 21:21:21.25 hnAsKu/o.net
(4)それが、なぜ見直されているのか？
それは、ソフトの評価関数の信頼度が増したことと、探索深度を固定しての解析が可能になったからだ
中盤以降の手に限定して探索深度を17の精度で固定して解析するなら安定度が高い一致率の測定が可能だということがわかってきたのだ
ソフトは探索深度を17にした場合に17手先で局面評価を打ち切るわけではない
駒が当たっている状態なら当たっている駒がなくなる局面まで進めて評価を下している
とくに王手がかかっている状態なら先の先まで読むから、探索深度17でも30数手先まで読む仕様になっている
このようなわけで、一致率が高い棋士ほどソフトに近い棋力があるとみて間違いない
実際に個々の対局の一致率を比較すると、一致率が高いほうの勝率が93%になっている
技巧で一致率を測定していた頃は一致率が高い棋士のほうの勝率は71%だった
また、｢ソフトがさらに強くなれば一致率は下がっていくのでは｣という予測は当たらなかった
トップ棋士が高い数値を出した一致率は強いソフトにかけても高い一致率のままであることがわかってきたのだ

125:
19/08/29 21:24:06.41 hnAsKu/o.net
(5)一致率は｢羽生さんが一番でない指標は使えない｣ということで、長い間、省みられなかった
Bonanzaと棋士の一致率はせいぜい60%台と言われていたのは、トップ棋士が最善手を指していてもBonanzaが最善手と認識できないことが多かったからだ
中盤以降の一致率は今は評価値付の観戦で誰でも分かるし、何より対局中の棋譜をソフトに検討させながら観戦することもできる
藤井、渡辺の後半一致率が80%を越えているのは今では常識のようなもの
勝局時の一致率なら、85%になるのは珍しいことでもなんでもない
ほとんどの棋士が1局ぐらいは85%を記録している
三浦九段も9勝中4局で一致率が80%を越えている(>>6)
今はソフトが人間より遥かに強くなったので解析の精度が上がり、トップ棋士なら指し手の80%が最善手なのがわかってきたのだ
残りの数手だけが人間にはどうしても指せないような最善手で、それが人間とソフトの大きな差になっている
したがって、一致率を棋力の指標として使わない手はない
一致率が高い棋士ほど悪手を指してしまう確率が下がり、逆に相手の悪手を咎める確率が上がるといってよい
これが一致率を指標に採用する利点だ
悪手は読み抜けがあるから生じる
読み抜けが大事にいたらずに済むか致命的な見落としになってしまうかは運次第といってよい
だから、悪手の数でなく一致率のほうを重視したほうがよい
悪手かどうかの判定すらソフトやマシンの評価値次第で変わることがある
だからこそ、悪手そのものの数より一致率のほうが棋力の指標にふさわしいのだ
実際、Eloレーティングとの高い相関が確認できるようになった
かつて一致率より平均悪手のほうが情報量が多いから優れていると提唱されていた
しかし、不正確な数値は量が多ければゴミの山になるだけだ
これからやってみようという人には一致率のデータを集めるべきことを強く提唱したい
データを持ち寄ることができれば、史上最強棋士論争も客観性がある議論ができるようになるに違いない

126:名無し名人
19/08/30 01:05:37.28 tgmkrBdG.net
ジョイナー三浦を擁護したいから頑張ってたと

127:名無し名人
19/08/30 08:04:14.56 USdSacwd.net
>>125
> 一致率は｢羽生さんが一番でない指標は使えない｣ということで、長い間、省みられなかった
さすがに嘘でしょ？
ちょっと検索してみたけど、それを裏付ける証拠が、なんも出てこないんだけど？
嘘だよね？

128:名無し名人
19/08/30 08:06:37.09 USdSacwd.net
お前、こんなところに長文投稿して、アホな奴を騙くらかすのは別にいいとしても
だからと言って、嘘八百ぶっこいてもいいなんてことにはなりゃしねえからな？
調子コイてんじゃねえぞ？ゴミ

129:
19/08/30 15:27:31.70 DOlcY4Df.net
(6)40局程度の一致率データから算出した換算レートで若い棋士の将来性を占うことができるようになるかもしれない
それも楽しみだが、やはり棋力が比較できるとなると、歴代棋士の一致率にも興味がいく
そして、史上最強論争は避けられないことになる
とくに、これまで、羽生ファンからの反発が大きかった
名人戦の一致率データを調べると全般的に羽生より大山のほうがよいという結果になるが、こうしたデータを開示すれば、当然のようにインチキだといわれてしまう
そして、
「一致率でなく平均悪手で調べるべきだ」
「山下論文では10番指せば羽生が大山に8勝すると結論が出ている」
このような批判が繰り返されてきた
となると、平均悪手や山下論文にも触れざるを得なくなる
結局、歴代棋士で最強なのは羽生であるから、羽生が一番にならない一致率データはおかしい、間違っているという主張なのだ
となると、では、本当に羽生は最強だったと言えるのか、その根拠は何か、ということになろう
下記のスレが16まで続いているのも、羽生ファンが繰り言を続けるばかりで議論にならないからだが、羽生が最強という証拠は実績で否定されてきている
羽生善治は大山康晴を超えることができるのか？ 16
ｽﾚﾘﾝｸ(bgame板)

130:名無し名人
19/08/30 20:22:19.97 et1r1wT6.net
大山の時代のデータまるでないから役に立たねーよ
いい加減にしろクズ

131:
19/08/31 23:10:11.14 oWT9qukC.net
更新中の最新データ開示(8月31日現在)
Eloレート60位以内の棋士を換算レートで並び替えてある
Eloレートより換算レートが目立って高い棋士は上から順に阿部光璢、高見、石井、八代、西尾、今泉、鈴木、高野、梶浦の9棋士
いずれもデータ数が20以下の棋士になった
しかし、別表のレート推移表でEloレート30位の阿部光璢棋士を例にとると、Eloレートも換算レートもアップで推移しているので棋力向上があったとみてとれる
一方で石井棋士の例は、レートは下がっているのに換算レートがアップしているケースになる
これは8月の敗局2局の棋譜解析がなされていないのが要因だ
いずれにしてもデータ不足がイレギュラーの最大の原因と考えられる
なお、注目していた本田四段はEloレート63位なので欄外になったが、換算レートは1825なので糸谷と同格だ
これも、データが18局なのでいずれ訂正されていくと見ている
逆にEloレートより換算レートの順位が目立って低い棋士もいる
佐藤天彦(18局)、阿久津(24局)、山崎(17局)、佐藤和俊(11局)の4棋士だが、これもデータ数が最大の原因であろう
そうしたイレギュラーがあってもEloレート上位60位までの棋士のEloレートと換算レートには高い相関がある
ここまでのデータを詳細に分析すると早指し戦の比率が棋士によって異なっているし、得手不得手もあるに違いない
9月30日には、早指し戦を除外した換算レートや、相居飛車と対抗形に分けた換算レートも出してみるつもりだ

132:
19/08/31 23:13:40.60 oWT9qukC.net
Eloレート上位60位までの換算レート順位(8月31日現在)
URLﾘﾝｸ(i.imgur.com)
URLﾘﾝｸ(i.imgur.com)

133:
19/08/31 23:18:02.52 oWT9qukC.net
8月31日現在Eloレート上位60位までの棋士の換算レート推移
ただし、今回は60位と61位が同レートなので61位までの棋士の推移を開示
URLﾘﾝｸ(i.imgur.com)
URLﾘﾝｸ(i.imgur.com)

134:名無し名人
19/09/02 11:09:00.48 fz77EQWc.net
ソフトのおかげでこういう横槍いれた批評が厚みを増して面白くなってきたね

135:名無し名人
19/09/02 20:24:51.75 Z1Q+vYZa.net
>>127
山下論文で歴代名人の一致率も調べているが羽生が断トツだよ
なので「羽生がトップでないから使ってなかった」というのは明らかな誤り
単純に一致率より平均悪手(点)の方が優秀と判断したから使わなかっただけ

136:名無し名人
19/09/02 21:18:47.56 Z1Q+vYZa.net
>>70
式の意味をもっとわかりやすくなるよう変型すると
(勝率×314+1133)×(実測一致率/理論一致率)+平均相手レート×1.15-1561
つまり一致率と全く関係なく対局相手と勝率だけから算定される「(勝率×314+1133)+平均相手レート×1.15-1561」という仮換算レートを「実測一致率/理論一致率」で調整する形となっている
で、実際どれくらい調整しているかというと、まず理論一致率は「勝率×0.83+敗率×0.65」で勝率8割なら79.4％、勝率6割なら75.8％
これを上位24棋士に当てはめて計算すると(実測一致率/理論一致率)は93％～105％の範囲となる
換算レートに+-50以上の影響があったのは4人
最大下方調整が山崎で-107、最大上方調整藤井が62だが大半は+-20程度の微調整しかされていない

137:名無し名人
19/09/02 21:21:22.61 X27f2SQW.net
実際、一致率なんかどうでもいいわな。どんなルートでも勝てればいい。あからさまな悪手だけは勝ちを負けにしてしまうので少なければ少ないほど強い

138:名無し名人
19/09/02 21:32:05.97 Z1Q+vYZa.net
>>136
つまり勝率と対戦相手だけで凡その仮レーティングは推測できており、それに一致率による調整を加えることがどれほどのプラスになっているか、そもそも余分なノイズを加えてマイナスになっていないかを検証しないと一致率で調整する根拠は全くない
単純な話仮レーティングの判別力がかなり高いので、調整が少ない指標を使った算式であればそれが仮に全く意味のない指標でも高い判別力を示してしまう
棋力と相関がある「否悪手率」でもいいし棋力と相関の怪しい「詰みあり局面からの勝局率」でもよく、単純な話「先手番率」でも全く同じように極めて高い判別力を示す事になる

139:
19/09/02 21:37:25.69 0WsPI8/W.net
>>135
Bnanzaで調べたときの話だよ
確かにGPSFishでは羽生が一致率0.608で最高になっているようだね
しかし、これをこのまま受け取る人はどうかと思うよ
最高で一致率が60%というのでは一致率はあてにならないから却下されて当然でしょ
もちろん、一致率があてにならないわけだから平均悪手もあてになるわけがないよね
なぜなら、最新のソフトでだったら一致している指し手が他に20%もあるのにそれを悪手と認定しているわけだからね
それと、一致率の集計自体が疑問だらけなんだよ
これまで説明してきたように勝った局と負けた局では一致率にかなりの差がある
つまり、勝率がよいデータを集めて解析すれば一致率は高くなり、勝率が悪いデータを集めて解析すれば一致率は悪くなる
その観点で改めてGPSFishとの一致率の表を見るといい
羽生は勝率0.638で一致率0.608
森内は勝率0.486で一致率0.581
これで羽生のほう一致率がよいと言えるのか
おそらく勝局だけに限れば森内のほうがいいだろう
森内は実際にタイトル戦の勝率が羽生より悪かったわけだから是正する必要はないだろうが大山は違う
大山の勝率は羽生と同じ44歳までのタイトル戦なら0.680以上あった
それが集めたデータは大山66歳までのデータで、表を見ると大山の勝率は0.597になっている
その結果、一致率は0.562だったことになっている
おそらく、勝率0.680のデータの一致率だったら羽生の0.608を超えていたわけだ
これでは、合理的な一致率データを初めからとるつもりがなかったと批判されてもやむを得ないだろう
升田の一致率も合理的でない
タイトル戦に限れば相手のほとんどが大山で勝率も表にあるように0.400だ
その結果の一致率が0.540なのだ
もし、一般棋戦のデータを含め年間の一致率データを出していたら升田の一致率は当然もっと高くなっている

140:名無し名人
19/09/02 21:42:16.79 Z1Q+vYZa.net
なのでせっかく多大な時間をかけて検証するのであれば「対戦相手関係なく棋譜だけで判別する」という原点に立ち返ってまず山下論文の「平均悪手(点)」を検証して、それをよりよい調整を目指す方向に舵を切り直してくれたらいいなと思ってる
「中央値方式」が失敗でも他の調整を色々試す意味はあるはず
そもそも山下論文方式で最新のソフトを使って現代の上位棋士の棋譜を検証するとどれくらいの判別力を示すのかという素朴な疑問がある

141:名無し名人
19/09/02 21:48:18.76 Z1Q+vYZa.net
>>139
つまり採用しなかった理由は「羽生がトップでないから」ではないよね
誤りは誤りと認めようよ

142:
19/09/02 21:55:37.85 0WsPI8/W.net
>>136,138
勝率と相手Eloレートと棋士のEloレートに関係性があるのはEloレートの計算原理から当たり前のことだよ
相手Eloレートの情報に頼らず一致率と相手一致率だけからEloレートに極めて相関する換算レートを出すことができるという点が重要で画期的なんだよ
君が式の根拠に使用している理論一致率自体が俺が調べないと分からない平均勝局一致率と平均敗局一致率を用いているのだから、やっていることがむちゃくちゃなんだよ
それと、何度も言っているように換算式は不変でない
暫定的に採用している換算式で個々の棋士のEloレートとの違いを云々する段階ではない
今は全体の相関具合を検証している段階で、それも24棋士だけに限った話でないし、個々の棋士のズレは様子見をして注目していけばよい話だよ

143:名無し名人
19/09/02 21:57:43.56 Z1Q+vYZa.net
>>139
ところでこのスレで定義してる「一致率」って最善手判定一手とだけ？
「逆順で検証して評価が下がらなかった手は最善とみなす」というような定義をしてたから一手とは全く限らないということ？

144:
19/09/02 22:02:42.36 0WsPI8/W.net
>>141
羽生の一致率がトップでなかったから一致率を採用しなかったというのは誤りだったと認めるよ
それでも、自分の記憶ではBonanzaで一致率を調べられた頃は羽生より三浦が高くなっているから一致率はあまりあてにできる指標ではないとされたと思っているし、これについては訂正しないよ
それは置かせてもらうとして、>>139で指摘したことへの君の意見はどうなんだ

145:名無し名人
19/09/02 22:03:57.45 Z1Q+vYZa.net
>>142
相手の一致率を計算するのに当該対局だけでなくその棋士の多数の棋士相手の棋譜を集めないといけないよね
それができるのなら自然に勝率がわかるので凡そのレーティングがわかる
できずに仮の一致率を使うのであればそれは仮のレーティングをあてはめてるのと全く同じ
一致率を使う意味が全くない

146:名無し名人
19/09/02 22:10:47.22 Z1Q+vYZa.net
>>144
長すぎて異論があるところを一々ツッコンだらキリがない
もう少し短く書く事を考えようよ
総論としては大体同じであの論文に出てる一致率は使えないと思ってる
理由として勝率によって大きく異なってしまうのと対戦相手のレベルによって大きく変動してしまう可能性がある事
もしくは100局では全く足りないサンプル数が必要となるか個人差が大きすぎてそもそも使えないか
(勝率が変わらない木村と清水で一致率がほぼ同一)

147:名無し名人
19/09/02 22:13:28.44 XIMWlc2m.net
>>141
こういうところで嘘つくやつってのが丸わかりだからデータ出されても全然信じる気が起きんw

148:
19/09/02 22:18:03.29 0WsPI8/W.net
>>143
俺が最善と見なしているんじゃなくて、ソフトが勝手に最善手と判定してくれるということ
つまり△でなく○がつくということだね
実際に相手に咎められると逆転するような手を指さない限り間違った手とは言えないし、正確に咎めていれば逆転できていたのに間違えたというのでなければ負けは負けだからね
それは極端な話だけど、ある程度、最善手判定には幅があったほうが棋力との相関が高くなるということなんじゃないかな
よく、検討モードでもっと深く読ませると最善手が変わって最善手より評価値が100下がる手だったとかいうけど、どっちも最善手でいいんじゃないのという判定をしているということだね
次善手判定とは違うからね
次善手は評価値関係なく評価値が二番目なら次善手だろうから

149:
19/09/02 22:56:32.72 0WsPI8/W.net
>>145
一致率と勝率はイコールでないよ
Eloレートと勝率もイコールでないよ
相手一致率と相手レートが相関するなら、それは勝率に関係なく一致率とEloレートに相関がある何よりの証拠だよ
棋譜解析のデータを見るといいよ
一致率と勝率は棋士によって異なっているし、そもそも、一致率と勝率は相関していない
あくまでも同一棋士なら勝率で一致率が変わるのが理屈で、勝率が同じなら一致率も同じということにはならない
レーティングの数値でなく一致率が役に立つのは、時代が違う棋士を比較したり棋士の将来性を予測したりするためだからね
現在の棋士の一致率がEloレーティングの代用になるとわかれば、過去の棋士の一致率を調べるのも悪くないからね
単純な話、過去のA級棋士のEloレート平均が現在のA級棋士のEloレート平均と同じでも一致率平均が現在のA級棋士より低かったら、過去のA級棋士は今のA級棋士より弱かったと断定できることになる
そうしたことは一致率のデータを集めたからこそ言えるようになるんじゃないかな

150:
19/09/02 23:43:43.47 0WsPI8/W.net
キャプチャーは貼らないが、今日の勝利で本田四段のEloレートは1606から1615に9アップして60位に戻った
換算レートは12上がって1837になった
これは現棋士の換算レートで14位だから5位評価の阿部六段同様かなりの過大評価だ
しかし、データ数は阿部より9局多い19局であるから、上位棋士との対局が少ないのをマイナスしても将来有望なのは間違いない

151:
19/09/02 23:52:12.71 0WsPI8/W.net
>>149
＞あくまでも同一棋士なら勝率で一致率が変わるのが理屈で、勝率が同じなら一致率も同じということにはならない
修正
あくまでも同一棋士なら勝率で一致率が変わるのが理屈で、勝率が同じなら棋士が違っても一致率が同じということにはならない

152:
19/09/03 07:54:12.50 2bd5Ldra.net
>>140
結局、山下論文を支持したいがために一致率での分析を批判したいというスタンスなのかな
＞そもそも山下論文方式で最新のソフトを使って現代の上位棋士の棋譜を検証するとどれくらいの判別力を示すのかという素朴な疑問がある
その素朴な疑問への回答の一つが >>118だよ
中央値で検討しても平均値で検証してもEloレートの相関は無いに等しい結果になってるよ
これへの意見をぜひ述べてほしいね
もともと、あなたが催促したから出したデータだよ
それと、山下氏でないと出せない平均悪手での検証はできていない
それを所望するなら山下氏がなぜやろうとしないのかこそ「素朴な疑問」として持つべきだよ
最初の発表から5年も経っているんだから十分検証する時間はあったのにやっていないのはおかしいと思わないのかな
俺はやってみたけど発表していないだけだと思っているよ

153:
19/09/03 08:40:19.22 2bd5Ldra.net
山下が後にやったことは29連勝の藤井聡太(14歳・四段)の平均悪手を羽生七冠らと同じ手法で調べて公表したことだよね
公表したスライドによると29棋譜の結果は羽生さんに匹敵する強さだったそうだが(羽生3347 藤井3305)、この発表で逆に平均悪手という指標に疑問が持たれることになったんじゃないかな
というのも、現在の藤井七段は明らかに29連勝のときより強くなっているよね
俺の一致率調査でもそうだし、Eloレートでもそうなっているし、藤井本人の弁を借りれば1年前の自分に勝率7割になるくらい強くなることを目標にしたいと言っていた通りになってきた
つまり、「藤井四段の強さは羽生さんに匹敵する」という平均悪手による解析の結果が正しいとすれば、現在の藤井七段は羽生七冠より強いということになる
それだけでなく、藤井七段よりレートが上の羽生九段も当然羽生七冠より強いし、レートトップの渡辺三冠は史上最強の棋士ということになる
一致率を強さの指標にした俺の分析では「渡辺三冠は大山五冠に匹敵する強さ」ということになるが、それ以外の結論は同じだ
山下氏には是非とも現棋士(少なくともレート上位60棋士)の平均悪手を調べてほしいものだ

次ページ