ゲームの背後にあるAIストーリー：小規模サンプル学習と転移学習

2019年、人間と機械のゲームバトルにおいて、Open AI Fiveが圧倒的なパフォーマンスでDota2世界チャンピオンチームOGを破りました。

ボードゲームは長い間、人間の知能と人工知能の最高峰の試金石と考えられてきました。

人工知能と人間のチェスプレイヤーの対決は絶え間なく続いています。三目並べ、碁盤、チェッカー、将棋、軍事将棋、国際将棋から、囲碁の最高レベルのゲームまで、コンピューターの人工知能プログラムは人間を打ち負かしてきました。

人工知能の成果は目を見張るものがあります。少なくともゲームの分野では、完全に人間を圧倒しています。

しかし、この驚くべきパフォーマンスの背後には、人間の能力をはるかに超えたビッグデータトレーニングの結果があります。Open AI Five のトレーニングを例にとり、その学習プロセスでどれだけのリソースが消費されるかを見てみましょう。

128,000 個の CPU;

256 P100;

数ヶ月のトレーニング…

より理解しやすいデータに変換すると、ゲームプレイヤーが同じ結果を得るために 45,000 年間昼夜を問わずゲームを練習することに相当します。

現在の人間の寿命と思考能力を考えると、これは明らかに決して達成できない課題です。

これは現在人工知能業界、特にディープラーニングの分野が直面している最大の問題と課題の 1 つであり、主に次のものが含まれます。

データへの依存度が高い。

長期にわたる研究と訓練。

ソフトウェアとハードウェアのトレーニングコストが高額です...

それで、解決策は何でしょうか?

2020年に、学術界は因果関係の小サンプル学習という概念を提案しました。

小規模サンプル学習を実行するにはどうすればよいでしょうか?実際、この概念は、数年前に楊強教授（現WeBank最高人工知能責任者）と戴文元氏（現Fourth Paradigm CEO）が提唱した転移学習の概念と非常によく似ています。

小サンプル学習も転移学習も、人間を模倣し、人間がさまざまな知識を素早く学習する様子を見る学習と言えます。

ゲームをプレイすることを例に挙げてみましょう。

StarCraft ゲームシリーズには、Terran、Protoss、Zerg の 3 つの種族と数十の軍事ユニットが含まれており、戦略から戦術まで何千もの異なるプレイスタイルに進化できます。このゲームでは、最後の瞬間まで誰が勝つか負けるかを予想するのが難しいことがよくあります。そのため、人工知能を「育成」することに重点を置いたリアルタイム戦略バトルゲームにもなっています。

リアルタイム戦略ゲームが好きな人にとって、StarCraft シリーズのゲームをプレイできれば、Blizzard の Warcraft、DOTA2 シリーズ、Microsoft の Age of Empires シリーズなどの他のリアルタイム戦略ゲームも簡単に始めることができます。

同じタイプのゲームをプレイする際には、以前のゲーム体験を適用できるため、ゲームの背後にあるアイデアや方法は似ています。つまり、1 つの事例から推論を引き出し、それを別の事例に適用できるということです。

同様に、機械学習の場合、少数のサンプルを迅速に一般化するための鍵は、事前の知識（人間の経験に類似）を使用することです。

小規模サンプル学習は、非常に少ないトレーニングデータ (1 ～ 5 個のサンプル/クラス) を通じてモデルの一般化 (機械学習アルゴリズムが新しいサンプルに適応する能力) を実現することに専念しています。

ここで、機械学習における「事前トレーニング」の概念についても触れておく必要があります。

具体的には、次のような大規模なデータセットの特徴抽出器として強力なニューラルネットワークを学習することです。

CV（コンピュータービジョン）で一般的な ImageNet で事前トレーニングされた ResNet ネットワーク。

NLP (自然言語処理) で Wikipedia で事前トレーニングされた BERT。

これらはすべて、事前トレーニングである特徴表現の事前知識を表します。

転移学習における「クーパー学習サークル」理論も同様の原理に基づいています。

事前トレーニングは、人が授業の前に大量の知識ポイントを事前に確認するのと同じように、小さなサンプルに学習の良い出発点を与えることに相当します。

もちろん、より良い結果を達成したい場合は、メタ学習の概念も理解する必要があります。簡単に言えば、継続的な学習を通じて、より良い結果をもたらす機械学習の方法を見つけることです。