人工ニューラル ネットワーク入門 - コンピューターは学習できるか?

人工ニューラル ネットワークは、人工知能 (人間の認知能力を模倣するプログラム) を作成する方法です。人工知能 (AI) は、一連の画像から猫や犬を識別したり、ゲームをしたり、車の運転を学習したりできます。人工ニューラル ネットワークの発明により、コンピューターはこれらのタスクをより上手にこなせるようになり、場合によっては人間よりも優れた能力を発揮するようになりました。

人間の問題解決能力に匹敵するかそれを超える機械を作るという夢は、現代のコンピューターよりも前からありました。古代の物語には架空の AI の物語が登場します。知能の高い機械が、私たち自身が知らないことを何らかの形で教えてくれるだろうと想像できます。

人類の AI の追求は今日まで続いています。ニューラル ネットワークが現代の AI で非常に役立つ理由を理解するために、まず、従来の方法を使用した初期の AI 研究者が抱えていた問題のいくつかを見てみましょう。

AI の最も一般的な例のいくつかは、コンピューター ゲームやビデオ ゲームに見られます。

ゲームとコンピューティングは、1940 年頃に最初のコンピュータが発明されてからすぐに結びつき始めました。初期のプログラマーは、人間のプレイヤーと簡単なボードゲームをプレイできるプログラムを作成することで、初期のコンピューターの能力を実証しました。

ボードゲームでは、プレイヤーはゲームのルールに従って順番にゲーム目標に向かって進みます。すべてのプレイヤー（人間であれコンピュータであれ）の目標は、勝利の可能性を最大化することです。人間のプレイヤーと競争できるボードゲームをプレイする AI を設計する場合、その AI にはどのような機能が必要ですか?

• 与えられた状態から妥当な動きを生成します。
• 一連の妥当なアクションを順序付けて、どれを実行するかを決定します。
• 動きが条件を満たしているかどうかをテストし、ゲームを終了します。

ゲームをプレイする AI を設計する際の最大の課題は、さまざまなアクションをランク付けするアルゴリズムを開発することです。特定の動きについては、それがどれだけ有利に働くかだけでなく、相手にどれだけのダメージを与えるかによってもランク付けされます。

これを説明するために、以下の三目並べのゲームを見てみましょう。このゲームの目的は、ボード上の 3 つのマーカーを通る直線を描くように、グリッド上にマーカー (X または O) を配置することです。

ゲーム中の盤面の状態は次のとおりです。

X の番です。X の最善の手を決めてください。X と O のどちらもその後の手でミスをしないと仮定すると、どちらのプレイヤーが勝つでしょうか? O でしょうか? X でしょうか?

ゲーム開始時のシーンを予測するのは難しいです。

X の番です。どの選択をすれば X が勝利するでしょうか?

仮定: X はその後のすべての動きに対して正しい位置におり、O も X が勝つことをできるだけ防ごうとします。

間違いから学習できる AI を設計したい場合、三目並べをプレイできる AI を設計する方が、最後の問題のさまざまな状況すべてに対処できるプログラムを書くよりもはるかに簡単です。

1960 年頃、ドナルド・ミッチーという AI 研究者が革命的なアイデアを思いつきました。彼は、三目並べの戦略をゼロから学習できる AI の設計に着手しました。彼の意見では、AI がゲームをうまくプレイできない場合でも、ゲーム ロジックを直接プログラムするよりも、未知の方法でゲームのプレイ方法を学ぶ方がよいとのことです。もし彼の方法が三目並べに有効であれば、より複雑なゲームにも拡張できる可能性がある。

ミッチーは決意を固め、彼の発明は人工ニューラルネットワークの開発に向けた重要な一歩として広く認められています。当時、コンピューターは珍しく高価だったため、彼は豊富に持っていたものから独自の AI (Matchbox AI) を構築しました。

Michie の Matchbox AI の仕組みは次のとおりです。

三目並べには、最初から最後の動きまでの間にプレイヤーが遭遇する可能性のあるゲーム状態 (3x3 の異なるグリッドに X、O、および空の位置を配置する) が合計 304 種類あります。

Matchbox AI には各状態のマッチ箱があり、遭遇する可能性のあるあらゆる状況でどのようなアクションを取るべきかを学習できます。各マッチボックスには対応するボードの状態が外部に存在するため、人間のプレイヤーは AI がボード上にマーカーを配置するのを手伝うことができます。

セットアップ作業がすべて完了したら、Matchbox AI にゲームのプレイ方法を教え始めます。ゲームを学ぶのはマッチ箱ではなく、その中身です...

各マッチボックスにはビーズが 1 セット入っています。これらのビーズはさまざまな色にすることができ、それぞれの色はグリッド上の空いているスポットの 1 つに対応します。

AIがXを配置する場合は、次の手順に従います。

• 現在のボードの状態に対応するマッチボックスを見つけます。
• 箱からビーズをランダムに選択します。
• ビーズの色をボード上の空いている場所に合わせ、AI のマーカーをその上に置きます。

ゲームの途中で、現在のボードの状態に対応するボックス内に次の内容が表示されます。

各色のビーズを同じ数用意する必要はありません。箱からビーズをランダムに選んだ場合、AI が最も可能性が高い動きはどれでしょうか? (ボード上のマークの色に対応) 答えはもちろんピンクです。

マッチボックス内の各色のビーズの数に応じて、特定のアクションの可能性を調整できます。

たとえば、ピンクに対応する位置ではゲーム失敗になると判断された場合、ボックス内のビーズをどのように調整すれば、AI がピンクを選択する可能性が低くなりますか? ピンクのビーズを 2 つ削除するか、緑のビーズを 2 つ追加するか?

Matchbox AI が戦略を展開する方法は次のとおりです。

• 勝利に役立つビーズを追加し、役に立たないビーズを削除すると、Matchbox AI は時間の経過とともに学習し、手ごわい敵になる可能性があります。
• Matchbox AI が初めてゲームをプレイする前は、すべてのマッチ箱に各色のビーズが同じ数だけ入っているため、ボードの状態に関係なく、悪い動きも含めて、すべての動きが同じように発生する可能性があります。
• 最初のラウンドでは、Matchbox AI がいくつか間違った選択をするため、人間のプレイヤーが数ラウンド連続で勝利することになります。マッチボックス内のビーズの数を調整することで、マッチボックス AI が間違いから学習できるようになりました。
• あなたが勝っているので、AI はうまく機能していないため、マッチ箱からランダムに抽出されたビーズはすべて破棄されます。

次の 10 ゲームで Matchbox が失敗したとします。今後のゲームで Matchbox AI が勝つか引き分けになる確率はどのように変化するでしょうか?

最初はマッチボックス AI が負けることが多いですが、最終的に勝てば、ビーズが再配置され、将来のゲームで勝てる可能性が高くなります。ゲーム中に取り除かれたビーズは箱に戻され、さらに 2 つのビーズが追加されます。

もちろん、三目並べでは、両方のプレイヤーがビーズを一列につなげることができず、ゲームが引き分けで終了する可能性もあります。

ゲームが引き分けで終了した場合、ボックスにビーズを 1 つ追加します。引き分けは負けよりは役に立ちますが、勝ちよりは悪いので、ビーズは 1 つだけ追加します。

これらのルールでは、マッチボックス AI は最初はすべてのゲームに負けていましたが、約 100 ゲーム後には、ゲームに勝つために明らかに重要なビーズの多くが排除されました。 AIが経験を積むにつれて、AIがプレイしたゲームのほとんどが引き分けに終わり、人間の対戦相手がミスをしたときにAIが勝つことさえありました。 (熟練したプレイヤーは常に引き分けを強制できるため、三目並べはあまり楽しいゲームではないことが判明しました)。最終的に、Matchbox AI は決して負けず、各ラウンドの終わりに常にビーズを獲得します。

各ゲームごとにマッチボックスからビーズが抽出されるため、オープニング ゲームに対応するマッチボックス内のビーズの数は、マッチボックス AI がゲームをどれだけよく学習したかを示す良い指標となります。下の画像を見ると、最初のドロップの後、マ​​ッチボックス内のビーズが着実に増加し始め、AI がゲームに負けなくなったことがわかります。

人工知能を構築するためのこのシンプルな戦略が強化戦略です。何らかの形のこの原理は、実体が学習するときには常に機能します。あなた自身の脳でも同様です。

三目並べと同様に、チェスはグリッド上でプレイされる戦略ゲームです。盤面は両プレイヤーにとって同一であり、偶然の要素はありません (たとえば、動きはサイコロを振って決定されません)。

Matchbox AI は何百ものゲームを通じて三目並べの遊び方を学習しました。しかし、同じ学習アルゴリズムでチェスを学習し、1 秒あたり 1 つの正しい動きを完了する Matchbox AI を開発した場合、Matchbox AI がチェスのプレイを終了するのにどれくらいの時間がかかるでしょうか。負けるでしょうか、引き分けでしょうか、それとも勝つでしょうか。

三目並べよりも複雑なゲームでは、ゲームをプレイする方法の数が驚くほど多くなります。 Matchbox AI がチェスを学習するには多くの時間が必要であり、必要な時間は天文学的な数字になる可能性があります。

しかし、今日では、コンピューターは 1 秒間に数十億の個別の命令を実行できるようになり、チェスなどのゲーム用の人工知能も実現可能になりました。コンピューターは、写真に写っている人物を特定したり、X線をスキャンしてがんの兆候を検出したり、人間が読めるニュースの要約を書いたりすることもできます。これらのタスクの可能性空間は、チェス盤の位置の数に匹敵するか、それ以上です。コンピュータにできることと人間にできることのギャップは縮まっています。