AlphaGo の最初のバグ: 囲碁アルゴリズムの最大の弱点は何でしょうか?

[[163852]]

どれほど恐ろしいモンスターにも弱点はあります。なぜAlphaGoは皆を驚かせるような悪い手を打ったのでしょうか。囲碁人工知能第2世代、第3世代のアキレス腱は何でしょうか。

第3世代の囲碁人工知能のアキレス腱は何でしょうか？

韓国囲碁界で数々の世界選手権で優勝したプロ九段のイ・セドル氏が、グーグルのコンピューター「アルファ碁」と対決した。三連敗の末、白駒で実戦勝利を収めた。

世間は、この人間と機械の囲碁ゲームを、人間の脳とコンピューターの徹底的な競争だと考えすぎて、真剣に受け止めすぎている。しかし、実際にはそうではない。テストされているのは、囲碁というゲームそのものなのだ。たとえ人間が人間対機械の囲碁ゲームに負けたとしても、それは人間の脳がもはやコンピューターと競争できなくなることを意味するものではない。

実際、囲碁のバリエーションは複雑ですが、理論的には無限ではありません。結局のところ、これは数学の問題として捉えることができ、コンピューターが計算して答えを得るようにプログラムすることができます。やがて、人間がチェスでコンピューターに勝てなくなるのも不思議ではないだろう。イ・セドルが3連敗後に2勝したとしても、どうなるだろうか？遅かれ早かれ、人間は囲碁で人工知能に勝てなくなるだろう。

第一世代の囲碁人工知能アルゴリズムは、網羅的な方法を採用し、すべての可能な動きを計算してから勝利の動きを選択しようとしました。しかし、Go にはバリエーションがたくさんあるため、当面はそれができません。

第 2 世代のアルゴリズムでは、サンプリング評価を使用して勝率が最も高いアルゴリズムを選択するため、計算能力が大幅に削減され、人工知能が最終的にアマチュア囲碁プレイヤーと競争できるようになります。

Google AlphaGo は、人工知能の自己学習能力を利用してチェスのスキルを急速に向上させる第 3 世代のアルゴリズムです。 AlphaGo は世界トップクラスのプロプレイヤーを圧倒できると思われたが、予想外に第 4 ゲームで手違いにより敗北した。何が悪かったのだろうか?

Alpha Go のアルゴリズムに問題があります。第 3 世代アルゴリズムの問​​題は、実際には第 2 世代アルゴリズムの問​​題でもあります。第 3 世代アルゴリズムは、第 2 世代アルゴリズムのサンプリング評価と自己学習に基づいているためです。 Alpha Go は自分自身と対戦することでチェスのスキルを向上させることができますが、それはサンプル評価に基づいて行われます。

サンプリング評価には弱点があります。勝率の高い動きが必ずしも正しい動きであるとは限りません。結局のところ、それは単なる統計です。あまり人気のない動きが、実は予想外の勝利につながることもある。

Alpha Go が悪い手を出すときに非常に素早く考えるという事実は、その時点でのサンプルが少ないことを示しています。イ・セドルの78手目は意外な手であり、それを打てるチェスプレーヤーはほとんどいなかった。アルファ碁はプログラムの計算に基づいて、イ・セドルの勝利の可能性は高くないと判断し、特に素早く反応した。これは大きな間違いです。

囲碁プログラムと対戦したことがあるすべての囲碁プレイヤーは、不利な状況にあるときのコンピューターの反応が特に混乱しているという感想を抱くでしょう。 AlphaGo だけではなく、Zen でも同様です。コンピュータは勝率が低い状況なので、考えることが難しいです。サンプル統計によると、勝率が低い場合は敗北が多くなり、敗北を勝利に変えた人のサンプルを見つけるのは困難です。勝率が低いほど、AlphaGo の思考は混乱していることになります。極端な場合、見つかったサンプルの中で勝率が低い側がすでに投了していて、その後のチェスの記録がないため、AlphaGo は何をすべきかわからない可能性があります。

Alpha Go の失敗は人類の失敗でもあります。結局のところ、このプログラムも人間によって書かれたものなのです。一方、AlphaGo の失敗は、アルゴリズムが人間のサンプルに基づいていたことにも起因していました。もしイ・セドルの手に対してどのように対応するかの見本があったなら、アルファ碁はこのような誤った判断を下すことはなかっただろう。

アルファ碁の開発者ハサビス氏は「アルファ碁のトレーニングは李世ドル氏専用ではなく、普通のチェスプレイヤーが対局前に行うのと同じような日常的な準備だ。アルファ碁の準備は、アマチュアチェスプレイヤーのチェス記録をインターネットから大量にダウンロードして勉強するというもので、特別なことではない」と語り、「特定のチェスプレイヤーのために準備するのも難しい。アルファ碁がディープラーニングを受け取って実行できるようにするには、少なくとも数百万、あるいは数億のチェス記録をアルファ碁全体に提供する必要がある」と述べた。

ハサビス氏の言葉は、サンプル評価の問題という、囲碁人工知能の第2世代と第3世代の最大の弱点を裏付けるものでもある。李世ドルが予想外の動きで敗北を勝利に変えた例はあまりにも少ない。 AlphaGo には、プロのチェス プレイヤーがプレイした高品質で非常に包括的なゲームを大量に参照する必要があることは明らかですが、これを実現するのは容易ではありません。

囲碁におけるハンディキャップの問題はまだ解決する必要がある

第4局ではイ・セドルが白の駒で勝利したが、これは驚くべきものだった。黒が先手有利なので、勝つ可能性が高くなります。

人間と機械の囲碁対決は、囲碁界を長年悩ませてきた問題、すなわち囲碁のルールにおける難関点の規制を浮き彫りにした。囲碁をやらない人は知らないかもしれないが、囲碁ファンはよく知っている。黒の駒を持っているプレイヤーが先手を取って有利になるため、公平を期すために、黒のプレイヤーは白のプレイヤーにポイントボーナスを与える必要があります。

1949年（昭和24年）日本囲碁協会の囲碁ルールでは、黒番に4.5点のハンディキャップを与えることが規定された。 1955年の第3回キングスゲームから、黒のハンディキャップは4.5ポイントから5.5ポイントに変更されました。しかし、統計によると、黒はまだ有利です。 2001年末現在、日本チェス協会が過去5年間に開催した公式オープンチェスゲーム15,000回のうち、黒チェスの勝率は51.86%（黒ハンディキャップが5.5ポイントの場合）に達している。黒と白の勝率の差は大きくないが、激しい競争が繰り広げられる囲碁大会では、この差は致命的となる。

国際チェス大会で明らかに優位に立っている韓国は、ほとんどのチェス大会で6.5ポイント制を最初に導入した国である。中国も2002年春に賭けのルールを3 3/4 ピース（7.5 ポイントに相当）に変更しました。日本将棋連盟も、黒駒に5.5点のハンデを付ける50年続いた制度を改革し、一部の大会を中国や韓国の大会に近づけ、2003年からはすべての大会で黒駒に6.5点のハンデを付けるルールを採用し始めた。

2014年末までに、中国本土で開催された世界選手権では、ハンデ3と3/4ポイント（7.5ポイント相当）の対局が380局行われ、そのうち黒が200局勝ち、勝率は52.6％でした（最初の3回の春蘭杯はハンデ5.5ポイント相当で含まれていません）。台湾で開催された英世杯（ハンデ8点、7.5点相当）では、黒が100勝、白が97勝した。このことから、ハンディキャップが 7.5 ポイントであっても、黒がまだわずかに有利であることがわかります。

では、完全に公平であるためには、黒は白に何ポイントを与えるべきでしょうか?現在、この値は多数の人間のゲームの統計に基づいてのみ取得されており、完璧な数学的解ではありません。

おそらく、AlphaGo に、金庸の武侠小説の中で、周伯同と郭静が左右の手で戦う場面を学ばせ、その後、大量の内戦の結果を使用して目標の妥当な価値を計算してもらいますか?いいえ、これも完璧な解決策ではありません。

前述のように、AlphaGo が自分自身とチェスをプレイできる理由は、人間のゲームのサンプル評価に基づいています。これは、人間のゲームに関する統計を直接収集することと変わりません。

完璧な答えを見つけるには、最初に戻って、最も原始的な徹底的な方法を使用して、囲碁をプレイするための最適な解決策を見つける必要があります。このようにして、目標値を徹底的に決定することができます。これほど膨大な計算能力を要するプロジェクトがいつ完成するのか、私にはわかりません。

囲碁が完全に解読された後のシナリオは、次のようなものだと想像できます。大衆の注目の下で国際囲碁大会が始まり、黒のプレーヤーが最初の一手を打ち、審判がすぐに白のプレーヤーはもう一手打つ必要がないと宣言し、ゲームの結果は決まり、勝者か敗者か引き分けかは明らかです。観客は歓声をあげた。

AlphaGo は麻雀をどうプレイするのか? ボードゲームデザインのランダム性に関する議論

人間は人間対機械の囲碁ゲームで負けたが、一部のネットユーザーは、人類の英知は依然として中国の麻雀によって守られていると述べている（Titanium Mediaの記事「囲碁選手権で優勝しても大したことない、AlphaGoは麻雀に挑戦する勇気はあるか？ | Titaniumがやった」を参照）。しかし、Zhongsou.comの創設者で北京アマチュア囲碁トーナメントのチャンピオンである陳培氏は、インタビューした記者にこう語った。「もし麻雀だったら、人間はもっと惨めに負けるでしょう！麻雀牌の数は限られているし、計算も簡単です。」

しかし、陳培の言ったことは実際には間違っていました。麻雀の遊び方を知らない愚かな男がいたとします。しかし、彼は運が非常に良く、ゲームの開始時に十三八を引きました。AlphaGo にはこれを解くコツがありますか?

麻雀のようなボードゲームでは、カードがランダムに引かれるため、運の要素が関わってきます。

一部のネットユーザーは「3人が力を合わせてAlphaGoと麻雀をしたら、AlphaGoは大負けする​​だろう」と冗談を言った。これは不正行為ですが、大きな問題も生じます。マルチプレイヤーゲームでは状況が非常に複雑になり、人工知能はそれにどう対処できるのでしょうか?

たとえば、3 人が Alpha Go と麻雀をプレイしているとします。誰も不正行為をしていないにもかかわらず、プレーヤー A のスキルが十分でなく、間違ったカードを出すことで、プレーヤー B が有利になります。これは、Alpha Go が制御できないことです。

実際、AlphaGo が麻雀の遊び方を学習するには、大量の人間のゲームのサンプル評価にも基づく必要があります。 Alpha Go はどのようなプレイスタイルがより高い勝率をもたらすかしか把握できませんが、麻雀にはいわゆる勝ちスタイルというものはありません。

囲碁の駒が盤上ではっきりと見えます。チェスの駒をひっくり返して遊ぶ「ダークチェス」というゲームを聞いたことがありますか。 Land War Chess にはダークなチェスのゲームプレイもあります。麻雀は、カードの表面を隠してプレイするという点で、ダークチェスに似ています。カバーされているチェスとカードゲームが何であるかは、まだ推測の問題です。 Alpha Go はせいぜい計算で評価できます。覆われた駒が何であるかについてはより多くの可能性がありますが、唯一の結果を正確に推測することは不可能です。つまり、Alpha Go は 100% 勝てるレベルまで進化することは決してできないということです。

囲碁には運の要素はありませんが、麻雀には運の要素があり、どちらも独自の魅力を持っています。

広い意味では、チェスや囲碁、麻雀などのカードゲームもテーブルゲームの範疇に属します。英語で囲碁を意味する「Go」は「Go」で、AlphaGo の「Go」もこれに由来しています。囲碁はBGGのボードゲームのトップ100にランクされており、中国のボードゲームの中で最高位にランクされています。

実際、人々の間では、チェスや囲碁といった運の要素がないボードゲームは徐々に衰退してきています。現在、人間と機械の囲碁ゲームをフォローしているネットユーザーのうち、囲碁ファンはどれくらいいるでしょうか？

なぜなら、大衆が求めているのはもっと娯楽であり、チェスや囲碁のような運の要素がないゲームは、比較的安定した成績を収めているからです。名人は名人であり、たまたま自分と同じレベルの人を見つけない限り、普通の人が勝つことは困難です。そうでなければ、強い人は強すぎ、弱い人は弱すぎるので、プレイするのは退屈になります。

したがって、新しいボードゲームの設計目的は、ランダム性と運の要素を確保することです。 Magic: The Gathering、Yu-Gi-Oh、Hearthstone などのゲームでランダムにカードを引いたり、Ludo や Monopoly などのゲームでサイコロを振ったりすると、乱数が生成され、運の要素が加わります。運の要素もあるため、プレイヤー全員のパフォーマンスレベルに大きな差はなく、全員が集まって楽しむことができます。

一方、運が絡まないチェスやカードゲーム（ボードゲーム）では、理論上は最適解が存在するはずで、最適解が出てしまうと、間違いなく人々は興味を失ってしまいます。囲碁が今日まで生き残っているのは、非常に多くのバリエーションがあり、最適な解がまだ存在しないからです。現在、AlphaGoは李世ドル氏を完全に打ち負かしたわけではなく、囲碁は依然として非常に強靭であるようだ。