上級GTOの考え方重要度 ★★★

ナッシュ均衡とは?ポーカーのGTOの意味をじゃんけんの混合戦略から解説

GTO の土台であるナッシュ均衡を、じゃんけんの混合戦略(グー・パー・チョキを1/3ずつ)を例に計算で解説します。2人ゼロサムゲームでは均衡戦略が「期待値で負けない」保証になる理由と、3人以上ではその保証がなくなることを確かめ、ソルバーが何を計算しているかまで説明できるようになります。

この単元の用語:ナッシュ均衡 / GTO / 混合戦略 / 純粋戦略 / ベストレスポンス / ゼロサムゲーム / ミニマックス / ソルバー

先生、GTO(ジーティーオー)ってよく聞くんですけど、「最強の戦略」って意味ですか?

半分正解で半分まちがいかな。GTO の正体はナッシュ均衡という考え方なんだ。均衡は「相手が何をしても負けにくい戦略」で、「いちばん勝てる戦略」とは少しちがう。じゃんけんを使って、ちゃんと計算で確かめていこう。

ナッシュ均衡とは

ゲーム理論(何人かが互いの出方を読み合う場面を数学で扱う分野)では、プレイヤーが選ぶ「どの場面で何をするかの決め方」を 戦略 といいます。

ナッシュ均衡:すべてのプレイヤーが、ほかのプレイヤーの戦略を前提にしたとき、自分だけ戦略を変えても得をしない(期待値が上がらない)状態

言いかえると、全員の戦略が、ほかの人の戦略に対する ベストレスポンス(最善の対応)になっている状態です。だれにも「自分だけ変える理由」がないので、いったんそこに落ち着くと動かなくなります。

ポーカーで GTO(Game Theory Optimal:ゲーム理論的に最適)というときは、ふつうこのナッシュ均衡の戦略、またはそれに近い戦略のことを指します。

じゃんけんで考える

勝ちを +1、負けを −1、あいこを 0 として、2人でじゃんけんをします。表の数字は「あなた」から見た損得です。

あなた\相手 グー パー チョキ グー パー チョキ 0 −1 +1 +1 0 −1 −1 +1 0
どの行にも +1・0・−1 が1つずつある。相手の損得はこの表の符号を逆にしたもの

「いつもグー」は均衡にならない

毎回同じ手を出す決め方を 純粋戦略 といいます。あなたが「いつもグー」なら、相手は「いつもパー」に変えれば毎回 +1 です。相手が戦略を変えて得をできるので、これは均衡ではありません。どの純粋戦略も同じように読まれて負けるので、じゃんけんには純粋戦略の均衡がありません。

1/3ずつ混ぜると「何をされても0」

手を確率で混ぜる決め方を 混合戦略 といいます。あなたがグー・パー・チョキを1/3ずつランダムに出すとします。

相手がグーのとき:1/3 × 0(グー)+ 1/3 ×(+1)(パー)+ 1/3 ×(−1)(チョキ)= 0

相手がパーのとき:1/3 ×(−1)+ 1/3 × 0 + 1/3 ×(+1)= 0

相手がチョキのとき:1/3 ×(+1)+ 1/3 ×(−1)+ 1/3 × 0 = 0

相手がどの手を出しても期待値は0なので、相手がどんな割合で混ぜても(たとえばグー50%・パー25%・チョキ25%でも)、あなたの期待値は0です。

逆に、相手が1/3ずつ出しているなら、あなたがグーを出してもパーを出しても、どう混ぜても期待値は0です。つまり、自分だけ戦略を変えても得をしません。2人とも1/3ずつ が、じゃんけんのナッシュ均衡です。

均衡は「負けない」が「取りにいかない」

相手が「いつもグー」みたいなへたな人でも、1/3ずつだと期待値0なんですか?

そう。いつもグーの相手に対して、いつもパーなら毎回 +1 取れるのに、1/3ずつだと 0 のまま。均衡は相手のミスを自分から取りにいかないんだ。相手のかたよりにつけこむ考え方は、次の単元「GTOとエクスプロイト(搾取)」で扱うよ。

2人ゼロサムゲームの「負けない保証」(ミニマックス)

じゃんけんのように、一方の得がそのままもう一方の損になるゲームを ゼロサムゲーム(2人の損得の合計がいつも0)といいます。2人ゼロサムゲームには、次の大事な性質があります(フォン・ノイマンのミニマックス定理)。

2人ゼロサムゲームでは、均衡戦略を使うと、相手が何をしてきても、期待値で「ゲームの値」以上が保証される

ゲームの値とは、2人とも均衡戦略を取ったときの期待値です。「相手が自分にとって最悪の対応をしてきたときの期待値」を最大にする戦略(マキシミン)と、「相手の期待値の最大値」を最小にする戦略(ミニマックス)が一致し、それが均衡戦略になる、というのが定理の中身です。

じゃんけんは2人の立場が対等なので、ゲームの値は0です。だから1/3ずつ出せば、相手が何をしても期待値0、つまり 期待値で負けない ことが保証されます。

ポーカーに当てはめると

1対1(ヘッズアップ)のポーカーは、場代(レーキ)を考えなければ2人ゼロサムゲームです。ボタン(ディーラーの位置)は交互に回ってくるので、2つのポジションを両方プレイすれば2人の立場は対等になり、ゲームの値は0です。したがって、ヘッズアップで均衡戦略をとれば、相手がどう打ってきても期待値で負けません。ただし「期待値で」なので、短い期間ではカードの運で負けることは当然あります。

たとえばリバーでボードが K♠9♥6♥2♣3♦、あなたが K♣T♣ を持ち、ポット100に相手が100をベットしてきたとします。あなたが MDF(ブラフに対して最低限守るコールの割合)= 100 ÷ 200 = 50% でコールする均衡の戦略をとっていれば、相手のブラフの損益は(1 − 0.5)× 100 − 0.5 × 100 = 0 です。相手がブラフを増やしても減らしても、そこからあなたのチップを余分に取ることはできません。くわしい計算は「リバーの1回ベットゲーム」の単元で導きます。

3人以上だと「負けない保証」はない

ナッシュは、プレイヤーが何人でも(選べる行動が有限なら)混合戦略まで含めれば均衡が必ず存在することを示しました。しかし、均衡が存在することと、均衡戦略を取れば負けないことは別の話 です。3人以上では、ミニマックスの保証が成り立ちません。

簡単な例で確かめます。

多数派ゲーム(3人)

  • 3人が同時に「0」か「1」を選ぶ
  • 1人だけちがう選択をした人(少数派)は −2 チップ、残り2人は +1 チップずつ(合計0)
  • 全員同じなら全員 0

全員が0を選んでいる状態で、だれか1人が1に変えると、その人が少数派になって −2 です。だれも1人で変えても得をしないので、全員0はナッシュ均衡 です(全員1も同じ理由で均衡)。

ところが、あなたが均衡どおり0を選んでいても、ほかの2人がそろって1を選ぶと、あなたは少数派になって −2 です。

少数派は −2、多数派は +1 ずつ あなた 相手A 相手B 0 を選ぶ 1 を選ぶ 1 を選ぶ −2 チップ +1 チップ +1 チップ
全員0は均衡なのに、ほかの2人がそろって変えると、均衡の戦略のままのあなたが負ける

2人ゼロサムでは「相手の得=自分の損」なので、相手が均衡から外れても自分の期待値はゲームの値より下がりません。3人以上では、ある相手の行動の変化によって、チップが あなたから別の相手へ 移ることがあります。また、均衡が複数あり、みんなが別々の均衡の戦略をとっていると、全体としては均衡になっていないこともあります。

6人テーブルのようなポーカーでも事情は同じです。均衡に近い戦略は相手に大きくつけこまれにくい「基準の戦略」として役に立ちますが、3人以上のポーカーでは、均衡戦略が期待値で負けないことは保証されません。

GTO とソルバー

ポーカーは手の組み合わせやベットの選択肢が多すぎて、均衡を手計算で求めることはできません。そこで使われるのが ソルバー です。

ソルバー:人が与えた条件(おたがいのレンジ、使えるベット額の種類、手元のチップの量など)のもとで、均衡に近い戦略を計算するソフト

多くのソルバーは、おおまかに言うと「自分どうしで何度も対戦させ、そのたびに損をした選択を減らしていく」計算をくり返し、少しずつ均衡に近づけていきます。そのため、次の点に注意が必要です。

  • 答えは 入力した条件しだい。レンジやベット額の選択肢を変えれば、出てくる戦略も変わる
  • 計算は途中で止めるので、出てくるのは 均衡に近い 戦略であって、ぴったりの均衡とはかぎらない
  • 多くは2人の場面を対象にしている。3人以上の場面では、上で見たとおり均衡そのものの意味が弱くなる

ソルバーの数字を覚えるより、「なぜその頻度になるのか」を自分で導ける力のほうが、条件が変わったときにも使えます。おもちゃのゲームの単元では、その導き方を練習します。

よくある勘違い

「GTO は最も勝てる戦略」:均衡戦略は、つけこまれないことを優先した戦略です。じゃんけんで「いつもグー」の相手に1/3ずつ出しても期待値は0のままで、いつもパーのほうが多く取れます。かたよった相手からいちばん多く取れるのは、均衡ではなくエクスプロイト(搾取)の戦略です。

「GTO はでたらめに打つこと」:混合戦略はランダムに選びますが、その割合は計算で決まっています。じゃんけんでも、グー50%・パー25%・チョキ25%のような割合では、いつもパーを出す相手に 0.5 ×(−1)+ 0.25 × 0 + 0.25 ×(+1)= −0.25 と、つけこまれます。

「どの人数でも GTO なら負けない」:負けない保証(ミニマックス)があるのは2人ゼロサムの場合だけです。3人以上ではその保証はありません。

ここが大事!

  • ナッシュ均衡:全員が、自分だけ戦略を変えても得をしない状態。GTO はこの均衡(に近い)戦略のこと
  • じゃんけんの均衡は グー・パー・チョキを1/3ずつ。相手が何を出しても期待値は0
  • 2人ゼロサムゲーム では、均衡戦略をとれば相手が何をしても期待値で「ゲームの値」以上(ミニマックス)。ヘッズアップのポーカーでは期待値で負けない
  • 3人以上 では均衡は存在しても、均衡戦略で負けない保証はない
  • 均衡は「負けない」ための戦略で、相手のミスを取りにいく戦略ではない
  • ソルバー は、与えた条件のもとで均衡に近い戦略を計算するソフト。答えは条件しだいで変わる

確認クイズ

選択肢をタップすると、すぐに正解と解説が表示されます。

Q1ナッシュ均衡の説明として正しいものはどれか。

Q2じゃんけん(勝ち+1、負け−1、あいこ0)で、相手がグー50%・パー25%・チョキ25%で出してくる。あなたがグー・パー・チョキを1/3ずつ出すとき、あなたの期待値はいくらか。

Q3ソルバーの説明として正しいものはどれか。

Q43人で行う「多数派ゲーム」(全員が0か1を選び、1人だけちがう少数派は−2、残り2人は+1ずつ。全員同じなら全員0)。全員が0を選ぶのはナッシュ均衡である。あなたが0を選び、ほかの2人がそろって1を選んだとき、あなたのチップの増減はいくつか。