ディープラーニングに加えて、これらの開発の方向性も理解する必要があります

[[214266]]

AI の究極の未来は人間の知能に到達し、それを上回ることであることに疑いの余地はありません。しかし、これは非常に遠い目標です。私たちの中で最も楽観的な人でさえ、人間レベルの AI (AGI または ASI) が実現するのはわずか 10 年から 15 年先だと考えるでしょう。懐疑論者は、たとえ人間レベルの人工知能が出現したとしても、そのプロセスには何世紀もかかるだろうとさえ主張している。ただし、この記事ではこの点に焦点を当てているわけではありません (スーパーインテリジェンスについて本当に知りたい場合は、この記事をお読みください)。ここでは、具体的で近い将来についてお話しし、いくつかの新しい強力な AI アルゴリズムについて説明します。これらのアルゴリズムが AI の近い将来を形作ると私は考えています。

AI はすでに、いくつかの特定のタスクにおいて人間を上回るパフォーマンスを発揮し始めています。たとえば、皮膚がんの診断で医師に勝ったり、世界クラスのトーナメントで囲碁のプレイヤーに勝ったりすることなどです。ただし、同じシステムやモデルでも、他のタスクではうまく機能しない場合があります。これは、これらのタスクが、解決するために特別にトレーニングされたタスクとは異なるためです。そのため、再評価を必要とせずにさまざまな問題を効率的に解決できる汎用的なインテリジェントシステムが、長い間 AI の未来と考えられてきました。しかし、AIの近い将来、汎人工知能がまだ遠い将来、科学者はどのようにしてAI駆動型アルゴリズムを開発し、現在直面している問題を克服し、それを研究室から外に出して私たちの日常生活に必需品として取り入れるのでしょうか。

周りを見渡すと、AI が次々と難しい問題を解決しています (AI が人間を超えている理由については、パート 1 とパート 2 の記事をお読みください)。このような双方にメリットのある状況では、どのような問題が発生する可能性があるでしょうか?人間はますます多くのデータ（AIの基礎）を生み出しています。同時に、ハードウェアのパフォーマンスもますます向上しています。結局のところ、データとコンピューティング能力の向上こそが、2012 年にディープラーニングのルネッサンスを引き起こしたのではないでしょうか。しかし、真実は、人々の期待はデータや計算能力よりもはるかに速いペースで高まっているということです。データ サイエンティストは、現実世界の問題に対して、現在利用可能なものよりも優れた解決策を考え出す必要があります。たとえば、ほとんどの人は、画像分類は科学的に解決できる問題だと考えています (100% の精度だと言いたくなる衝動を抑えれば)。 AI を使用すると、画像分類 (猫の写真や犬の写真など) において人間のような機能を実現できます。しかし、これは現実世界の状況で使用できるのでしょうか?場合によっては可能ですが、多くの場合、まだそれができません。

AI を活用して現実的なソリューションを構築する上での主な障害について説明します。猫と犬の画像を分類したいとします。この例をこの記事全体で使用します。

アルゴリズムの例: 猫と犬の写真を分類する

次の図は課題をまとめたものです。

現実世界のAI構築に伴う課題

写真の英語訳は次のとおりです。

スターウォーズのジェダイを識別できますか？一度頭に入れれば、いつでもジェダイを認識できるようになります。ただし、アルゴリズムでは、学習、テスト、トレーニングのために大量のラベル付き画像が必要になります。

アルゴリズムに非常に珍しい種類の犬を与えたとします。アルゴリズムはそれを犬として正しく分類するのが困難です。現実世界の問題ははるかに多様であり、これらのより多様な問題には何らかの調整と再評価が必要です。

これが世界で初めて誕生に成功した猫と犬のハイブリッド「コッピーズ」です。新しい種が追加されると、新しい種を識別するためにモデルにこれらの画像を入力する必要があり、最終的なモデルは新しく追加された種に適応するように再トレーニングする必要があります。

これらの課題について詳しく議論しましょう。

少ないデータで学習:

• 成功するディープラーニング アルゴリズムで使用されるトレーニング データには、そのコンテンツまたは機能を示すラベルが含まれている必要があります。このプロセスはラベリングと呼ばれます。
• これらのアルゴリズムは、私たちの周囲のデータを直接使用することはできません。数百（または数千）のラベルであれば簡単ですが、人間レベルの画像分類アルゴリズムを学習させるには、何百万ものラベル付き画像を入力する必要があります。
• そこで疑問になるのが、100 万枚の画像にラベルを付けることが可能かどうかです。そうでない場合、少量のラベル付きデータで AI を拡張するにはどうすればよいでしょうか?

さまざまな現実世界の問題を解決します。

• データセットは固定されていますが、実際の使用例は多様です (たとえば、人間とは異なり、カラー画像でトレーニングされたアルゴリズムは、グレースケール画像では非常にパフォーマンスが低下する可能性があります)。
• コンピュータービジョンアルゴリズムの能力を向上させて、物体を検出し、人間のレベルに到達することは可能です。ただし、先ほど述べたように、これらのアルゴリズムは非常に特定の問題しか解決できません。人間の知能と比較すると、これらのアルゴリズムはさまざまなシナリオに広く適用することはできません。
• 猫と犬の画像分類アルゴリズムの例では、以前にその犬種に餌を与えたことがなければ、特定の珍しい犬種を認識することはできません。

増分データを調整します。

• もう一つの大きな課題は増分データです。この例では、猫か犬かを識別したい場合、最初の展開時に、さまざまな種類の猫と犬に合わせて AI アルゴリズムをトレーニングする必要があるかもしれません。しかし、新しい品種を発見した場合、以前の品質の中から「Kotpies」という品種を認識するようにアルゴリズムをトレーニングする必要があります。
• 新しい種は私たちが考える以上に他の種に似ている可能性があり、アルゴリズムは簡単なトレーニングで適応できるかもしれませんが、これが最も難しい点であり、完全な再トレーニングと再評価のアプローチが必要です。
• 問題は、少なくともこれらの小さな変化に対して AI を十分に適応させることができるかどうかです。

転移学習

それは何ですか？

名前が示すように、転移学習では、獲得した知識が同じアルゴリズムを使用して 1 つのタスクから別のタスクに転送されます。アルゴリズムは、まず、より大きなデータセットを持つタスク (ソース タスク) でトレーニングされ、その後、より小さなデータセットを持つ別のタスク (ターゲット タスク) の学習に移行されます。

従来の学習と転移学習。画像出典: IEEE コンピュータ協会

いくつかの例

画像分類アルゴリズムのパラメータを使用して、別のタスク (オブジェクト認識など) の特徴を抽出することは、転移学習の簡単な例です。逆に、このアプローチは複雑なタスクを完了するためにも使用できます。最近、糖尿病網膜症を分類するために Google が開発したアルゴリズムが、人間の成績を上回りました。このアルゴリズムは転移学習を使用します。驚くべきことに、糖尿病性網膜症検出器は、実際には転移学習を使用して眼のスキャン画像を分類する現実世界の画像分類器（猫と犬の画像分類器）です。

もっと教えてください！

データ サイエンティストがソース タスクからターゲット タスクに転送するニューラル ネットワークの部分は、ディープラーニングの用語では事前トレーニング済みネットワークと呼ばれます。ファインチューニングとは、事前トレーニング済みのネットワークを変更せずに使用するのではなく、ターゲットタスクのエラーを事前トレーニング済みのネットワークにわずかに逆伝播させることです。コンピューター ビジョンにおける転移学習の技術的な概要については、こちらをご覧ください。こうした「効果的な学習」方法論においては、転移学習の考え方が特に重要です。

マルチタスク学習

それは何ですか？

マルチタスク学習では、タスク間の類似点と相違点を活用して、複数の学習タスクを同時に解決できます。驚くべきことに、2 つ以上のタスク (主タスクと補助タスクと呼ばれることもあります) を同時に学習すると、より良い結果が得られる場合があります。注意: すべてのタスクのペア (または 3 つまたは 4 つ) が互いに補完し合うわけではありません。しかし、それらが相互に補完し合う場合、「無料で」精度の向上が得られます。いくつかの例



マルチタスク学習を使用して、3 つのタスクを同時に解決します。画像クレジット: セバスチャン・ルーダー

もっと教えてください！

マルチタスク学習では、実際のアプリケーションでは、あらゆるタスクを完璧にトレーニングする方法に最も重点が置かれます。これを実現するには、多くのドメイン データ (ドメイン適応とも呼ばれます) を考慮する必要があります。猫と犬の画像分類の場合、複数の異なるソース (VGA カメラ、HD カメラ、赤外線カメラなど) からの画像を認識できるアルゴリズムの例を挙げることができます。これらのシナリオでは、ドメイン分類問題に関する補助損失 (この画像はどこから来たのか) を任意のタスクに追加することができ、マシンはメインタスク (画像が猫か犬かを分類する) でのアルゴリズムのパフォーマンスを向上させるように学習しますが、補助タスクではパフォーマンスが低下します (これは、ドメイン分類タスクの反対のエラー勾配をバックプロパゲーションすることによって発生します)。この考え方は、アルゴリズムがメインタスクの識別機能を学習しますが、ドメインの区別に関連する機能は記憶しないため、この方法によりアルゴリズムのパフォーマンスが向上する可能性があるというものです。マルチタスク学習とそのドメイン適応は、私たちが知る限り最も成功した「効果的な学習」技術の 1 つであり、AI の未来を形作る上で極めて重要な役割を果たしています。

敵対的学習

これは何ですか？

敵対的学習は、イアン・グッドフェローの研究から発展した分野です。敵対的学習の最も一般的な応用は、驚くべき画像を生成するために使用できる敵対的生成ネットワーク (GAN) ですが、このテクノロジーを適用する方法は他にもたくさんあります。このゲーム理論にヒントを得た手法は、ジェネレータ アルゴリズムと識別アルゴリズムの 2 つのアルゴリズムで構成されており、その目的はトレーニング プロセス中に互いを欺くことです。ジェネレーターは、前述した非常に斬新な画像を生成できますが、識別子から詳細を隠すために使用されるその他のデータも生成できます。後者こそがこの概念の興味深いところです。

生成的敵対ネットワーク。画像出典: O'Reilly

いくつかの例

これは新しい分野であり、その画像生成能力は宇宙飛行士のような人々の注目を集めています。しかし、今後はより斬新な利用シナリオへと進化していくと考えています。

もっと教えてください！

GAN 損失関数を使用することで、ドメイン適応問題をより適切に実行できます。ここで言及されている補助損失は、単純なドメイン分類ではなく、GAN システムです。この GAN システムの識別器は、特定のデータがどのドメインからのものか分類しようとし、生成器はランダムなノイズを含むデータを生成して識別器を騙そうとします。私たちの経験では、このアプローチは単純なドメイン適応（書き込み時にエラーが発生しやすい）よりもうまく機能します。

数ショットの学習

これは何ですか？

少数ショット学習は、従来の大量のサンプルを使用する方法ではなく、より少ないサンプルでディープラーニング (または任意の機械学習アルゴリズム) を学習できるようにする手法です。ワンショット学習は、各カテゴリから 1 つのサンプルを取得して学習します。拡張すると、K ショット学習は、学習のために各カテゴリから K 個のサンプルを取得することを意味します。

各クラスから少数のサンプルを使用してワンショット学習が実行されます。画像出典: Google DeepMind

いくつかの例

少数ショット学習は、あらゆるディープラーニングカンファレンスで多数の論文が見られる分野です。機械学習データセットで一般的に使用される MNIST や CIFAR など、パフォーマンスを測定するために使用できる特定のデータセットがいくつかあります。シングルショット学習は、特徴の認識や表現など、特定の画像分類の問題に多くの用途があります。

もっと教えてください！

転移学習、マルチタスク学習、メタ学習など、少量学習を実現する方法は数多くあります。時にはアルゴリズム全体として、時にはアルゴリズムの一部として。よりスマートな損失関数の使用、動的アーキテクチャの使用、最適化のトリックの使用など、他のアプローチもいくつかあります。ゼロショット学習は、これまでに見たことのないカテゴリーのデータを予測できると主張しており、本質的には新しいタイプのデータで拡張できるアルゴリズムです。

メタ学習

これは何ですか？

メタ学習とはその名の通り、データセットを取得し、そのデータセット専用の新しい機械学習アルゴリズムを生成するプロセスです。この定義は、一見すると非常に前衛的に思えます。 「わあ、これがデータ サイエンティストの仕事か！」と思うでしょう。これは「21 世紀で最もセクシーな仕事」を自動化します。ある程度、メタ学習アルゴリズムはすでにこれを実行し始めています (この Google ブログ投稿とこの論文から引用)。

いくつかの少数ショットの画像分類問題でメタ学習を構築する例。画像出典: Ravi et al.

いくつかの例

最近、ディープラーニングの分野ではメタ学習が話題になっています。数多くの研究論文が発表されており、そのほとんどはハイパーパラメータとニューラルネットワークのチューニング方法を使用して、優れたネットワークアーキテクチャ、少数ショットの画像認識、高速強化学習を見つけています。アプリケーションシナリオに関するさらにわかりやすい記事は、こちらでご覧いただけます。

もっと教えてください！

パラメータ、ハイパーパラメータ、ネットワーク アーキテクチャの決定を完全に自動化するこのアプローチを AutoML と呼ぶ人もいますが、メタ学習と AutoML を 2 つの異なる分野として扱う人もいます。メタ学習と AutoML を取り巻く誇大宣伝にもかかわらず、真実は、メタ学習アルゴリズムは、データの複雑さと多様性が増すにつれて機械学習アルゴリズムを拡張するための優れた方法であるということです。

ほとんどのメタ学習論文は非常に巧妙なトリックを使用しています。 Wikipedia によれば、一般的に次のような特性があります。

• システムには、経験に基づいて適応する学習システムが含まれている必要があります。
• 経験は、以前に学習した単一のデータセットまたは異なるドメイン知識からのメタ知識を活用することで得られます。
• 学習バイアスは動的に選択する必要があります。

サブシステムは、ドメイン メタデータがシステムに追加される状況に対応するために作成されます。このメタデータにより、カテゴリ数の増加、複雑さ、色、テクスチャ、オブジェクトの変化 (画像の問題の場合)、スタイル、言語パターン (自然言語の問題の場合)、その他の同様の特性について知ることができます。非常に興味深い論文がいくつかあります: Meta-Learning Shared Hierarchies と Meta-Learning Using Temporal Convolutions。メタ学習アーキテクチャを使用して、少数ショット学習またはゼロショット学習のアルゴリズムを構築することもできます。メタ学習は、AI の未来を形作ることができる最も有望なアルゴリズムの 1 つです。

ニューラル推論

これは何ですか？

ニューラル推論は画像分類における次の大きなトレンドです。ニューラル推論はパターン認識においてさらに一歩進んでおり、アルゴリズムは単なるテキストや画像の認識と分類を超えています。ニューラル推論は、テキスト分析や視覚分析におけるより一般的な問題に対処します。たとえば、下の画像は、ニューラル推論が画像を使用して回答できる一連の質問を示しています。

もっと教えてください！

この一連の新技術は、Facebook が最新の CLEVR データセットをリリースした後に登場した。単なるパターンではなく、画像内のオブジェクト間の関係を発見するために使用されるこれらの技術は、大きな可能性を示しています。これは、ニューラル推論の問題を解決するだけでなく、少数サンプル学習の問題を含む他の多くの困難な問題も解決する可能性があります。

まとめ

これらのテクノロジーがどのようなものかを理解したところで、最初に戻って、最初に提起した問題がこれらによってどのように解決されるかを見てみましょう。次の表は、これらの課題に対処するための「効果的な学習」手法の能力を示しています。

「効果的な学習」テクノロジーの能力

• 上で述べたすべてのテクニックは、何らかの方法で少量のデータでのトレーニングの問題を解決するのに役立ちます。メタ学習はトレーニング データに一致するアーキテクチャを提供します。転移学習は他の分野の知識を使用して少量のトレーニング データを補います。少量学習は科学分野の問題を解決することに専念しています。敵対的学習はデータ セットの強化に役立ちます。
• ドメイン適応（マルチタスク学習の一種）、敵対的学習、メタ学習アーキテクチャは、データの多様性の増大によって引き起こされる問題に対処するのに役立ちます。
• メタ学習と少数ショット学習は、データ量の増加の問題を解決するのに役立ちます。
• ニューラル推論アルゴリズムは、メタ学習アルゴリズムや少数ショット学習アルゴリズムと組み合わせることで、現実世界の問題を解決する可能性を示しています。

注意: これらの「効率的な学習」手法は、新しいディープラーニングや機械学習の手法ではなく、既存の手法を強化して、既存の状況でより優れたパフォーマンスを発揮できるようにするために使用されるトリックです。したがって、実際には畳み込みニューラル ネットワークや LSTM ネットワークなどのツールを引き続き使用しますが、いくつかの「トリック」が追加されます。より少ないデータで複数の問題を同時に解決できるこれらの「効率的な学習」技術は、アルゴリズムをより簡単に導入し、AI 駆動型製品やサービスをより簡単に商品化するのに役立ちます。