先生、GTO(ジーティーオー)ってよく聞くんですけど、「最強の戦略」って意味ですか?
半分正解で半分まちがいかな。GTO の正体はナッシュ均衡という考え方なんだ。均衡は「相手が何をしても負けにくい戦略」で、「いちばん勝てる戦略」とは少しちがう。じゃんけんを使って、ちゃんと計算で確かめていこう。
ナッシュ均衡とは
ゲーム理論(何人かが互いの出方を読み合う場面を数学で扱う分野)では、プレイヤーが選ぶ「どの場面で何をするかの決め方」を 戦略 といいます。
ナッシュ均衡:すべてのプレイヤーが、ほかのプレイヤーの戦略を前提にしたとき、自分だけ戦略を変えても得をしない(期待値が上がらない)状態
言いかえると、全員の戦略が、ほかの人の戦略に対する ベストレスポンス(最善の対応)になっている状態です。だれにも「自分だけ変える理由」がないので、いったんそこに落ち着くと動かなくなります。
ポーカーで GTO(Game Theory Optimal:ゲーム理論的に最適)というときは、ふつうこのナッシュ均衡の戦略、またはそれに近い戦略のことを指します。
じゃんけんで考える
勝ちを +1、負けを −1、あいこを 0 として、2人でじゃんけんをします。表の数字は「あなた」から見た損得です。
「いつもグー」は均衡にならない
毎回同じ手を出す決め方を 純粋戦略 といいます。あなたが「いつもグー」なら、相手は「いつもパー」に変えれば毎回 +1 です。相手が戦略を変えて得をできるので、これは均衡ではありません。どの純粋戦略も同じように読まれて負けるので、じゃんけんには純粋戦略の均衡がありません。
1/3ずつ混ぜると「何をされても0」
手を確率で混ぜる決め方を 混合戦略 といいます。あなたがグー・パー・チョキを1/3ずつランダムに出すとします。
相手がグーのとき:1/3 × 0(グー)+ 1/3 ×(+1)(パー)+ 1/3 ×(−1)(チョキ)= 0
相手がパーのとき:1/3 ×(−1)+ 1/3 × 0 + 1/3 ×(+1)= 0
相手がチョキのとき:1/3 ×(+1)+ 1/3 ×(−1)+ 1/3 × 0 = 0
相手がどの手を出しても期待値は0なので、相手がどんな割合で混ぜても(たとえばグー50%・パー25%・チョキ25%でも)、あなたの期待値は0です。
逆に、相手が1/3ずつ出しているなら、あなたがグーを出してもパーを出しても、どう混ぜても期待値は0です。つまり、自分だけ戦略を変えても得をしません。2人とも1/3ずつ が、じゃんけんのナッシュ均衡です。
均衡は「負けない」が「取りにいかない」
相手が「いつもグー」みたいなへたな人でも、1/3ずつだと期待値0なんですか?
そう。いつもグーの相手に対して、いつもパーなら毎回 +1 取れるのに、1/3ずつだと 0 のまま。均衡は相手のミスを自分から取りにいかないんだ。相手のかたよりにつけこむ考え方は、次の単元「GTOとエクスプロイト(搾取)」で扱うよ。
2人ゼロサムゲームの「負けない保証」(ミニマックス)
じゃんけんのように、一方の得がそのままもう一方の損になるゲームを ゼロサムゲーム(2人の損得の合計がいつも0)といいます。2人ゼロサムゲームには、次の大事な性質があります(フォン・ノイマンのミニマックス定理)。
2人ゼロサムゲームでは、均衡戦略を使うと、相手が何をしてきても、期待値で「ゲームの値」以上が保証される
ゲームの値とは、2人とも均衡戦略を取ったときの期待値です。「相手が自分にとって最悪の対応をしてきたときの期待値」を最大にする戦略(マキシミン)と、「相手の期待値の最大値」を最小にする戦略(ミニマックス)が一致し、それが均衡戦略になる、というのが定理の中身です。
じゃんけんは2人の立場が対等なので、ゲームの値は0です。だから1/3ずつ出せば、相手が何をしても期待値0、つまり 期待値で負けない ことが保証されます。
ポーカーに当てはめると
1対1(ヘッズアップ)のポーカーは、場代(レーキ)を考えなければ2人ゼロサムゲームです。ボタン(ディーラーの位置)は交互に回ってくるので、2つのポジションを両方プレイすれば2人の立場は対等になり、ゲームの値は0です。したがって、ヘッズアップで均衡戦略をとれば、相手がどう打ってきても期待値で負けません。ただし「期待値で」なので、短い期間ではカードの運で負けることは当然あります。
たとえばリバーでボードが K♠9♥6♥2♣3♦、あなたが K♣T♣ を持ち、ポット100に相手が100をベットしてきたとします。あなたが MDF(ブラフに対して最低限守るコールの割合)= 100 ÷ 200 = 50% でコールする均衡の戦略をとっていれば、相手のブラフの損益は(1 − 0.5)× 100 − 0.5 × 100 = 0 です。相手がブラフを増やしても減らしても、そこからあなたのチップを余分に取ることはできません。くわしい計算は「リバーの1回ベットゲーム」の単元で導きます。
3人以上だと「負けない保証」はない
ナッシュは、プレイヤーが何人でも(選べる行動が有限なら)混合戦略まで含めれば均衡が必ず存在することを示しました。しかし、均衡が存在することと、均衡戦略を取れば負けないことは別の話 です。3人以上では、ミニマックスの保証が成り立ちません。
簡単な例で確かめます。
多数派ゲーム(3人)
- 3人が同時に「0」か「1」を選ぶ
- 1人だけちがう選択をした人(少数派)は −2 チップ、残り2人は +1 チップずつ(合計0)
- 全員同じなら全員 0
全員が0を選んでいる状態で、だれか1人が1に変えると、その人が少数派になって −2 です。だれも1人で変えても得をしないので、全員0はナッシュ均衡 です(全員1も同じ理由で均衡)。
ところが、あなたが均衡どおり0を選んでいても、ほかの2人がそろって1を選ぶと、あなたは少数派になって −2 です。
2人ゼロサムでは「相手の得=自分の損」なので、相手が均衡から外れても自分の期待値はゲームの値より下がりません。3人以上では、ある相手の行動の変化によって、チップが あなたから別の相手へ 移ることがあります。また、均衡が複数あり、みんなが別々の均衡の戦略をとっていると、全体としては均衡になっていないこともあります。
6人テーブルのようなポーカーでも事情は同じです。均衡に近い戦略は相手に大きくつけこまれにくい「基準の戦略」として役に立ちますが、3人以上のポーカーでは、均衡戦略が期待値で負けないことは保証されません。
GTO とソルバー
ポーカーは手の組み合わせやベットの選択肢が多すぎて、均衡を手計算で求めることはできません。そこで使われるのが ソルバー です。
ソルバー:人が与えた条件(おたがいのレンジ、使えるベット額の種類、手元のチップの量など)のもとで、均衡に近い戦略を計算するソフト
多くのソルバーは、おおまかに言うと「自分どうしで何度も対戦させ、そのたびに損をした選択を減らしていく」計算をくり返し、少しずつ均衡に近づけていきます。そのため、次の点に注意が必要です。
- 答えは 入力した条件しだい。レンジやベット額の選択肢を変えれば、出てくる戦略も変わる
- 計算は途中で止めるので、出てくるのは 均衡に近い 戦略であって、ぴったりの均衡とはかぎらない
- 多くは2人の場面を対象にしている。3人以上の場面では、上で見たとおり均衡そのものの意味が弱くなる
ソルバーの数字を覚えるより、「なぜその頻度になるのか」を自分で導ける力のほうが、条件が変わったときにも使えます。おもちゃのゲームの単元では、その導き方を練習します。
よくある勘違い
「GTO は最も勝てる戦略」:均衡戦略は、つけこまれないことを優先した戦略です。じゃんけんで「いつもグー」の相手に1/3ずつ出しても期待値は0のままで、いつもパーのほうが多く取れます。かたよった相手からいちばん多く取れるのは、均衡ではなくエクスプロイト(搾取)の戦略です。
「GTO はでたらめに打つこと」:混合戦略はランダムに選びますが、その割合は計算で決まっています。じゃんけんでも、グー50%・パー25%・チョキ25%のような割合では、いつもパーを出す相手に 0.5 ×(−1)+ 0.25 × 0 + 0.25 ×(+1)= −0.25 と、つけこまれます。
「どの人数でも GTO なら負けない」:負けない保証(ミニマックス)があるのは2人ゼロサムの場合だけです。3人以上ではその保証はありません。
ここが大事!
- ナッシュ均衡:全員が、自分だけ戦略を変えても得をしない状態。GTO はこの均衡(に近い)戦略のこと
- じゃんけんの均衡は グー・パー・チョキを1/3ずつ。相手が何を出しても期待値は0
- 2人ゼロサムゲーム では、均衡戦略をとれば相手が何をしても期待値で「ゲームの値」以上(ミニマックス)。ヘッズアップのポーカーでは期待値で負けない
- 3人以上 では均衡は存在しても、均衡戦略で負けない保証はない
- 均衡は「負けない」ための戦略で、相手のミスを取りにいく戦略ではない
- ソルバー は、与えた条件のもとで均衡に近い戦略を計算するソフト。答えは条件しだいで変わる