すべてを支配する 1 つのアルゴリズム! DeepMind はニューラル アルゴリズム推論を提案しています。ディープラーニングと従来のアルゴリズムの融合により、再び奇跡が起こるでしょうか?

野心的な DeepMind は、ディープラーニング ネットワークと従来のアルゴリズムの間に橋を架けようとしています。

古典的なアルゴリズムが世界中でソフトウェアを普及させていることはよく知られていますが、これらのアルゴリズムで使用されるデータは必ずしも現実世界を反映しているわけではありません。

ディープラーニングは今日の AI アプリケーションの原動力ですが、ディープラーニング モデルは、本来設計された分野に適用する前に再トレーニングする必要があります。

現在、DeepMind は新たな道を切り開きたいと考えています。同社は、あらゆる従来のアルゴリズムを模倣し、現実世界で機能を実装できるディープラーニング モデルを見つけたいと考えています。

[[428875]]

すべてを支配するアルゴリズムはたった 1 つです。

近年、DeepMind は AI 分野におけるいくつかの画期的な成果で注目を集めています。 AlphaGo は囲碁における人間の優位性を打ち破り、AlphaFold は生物学の分野における 50 年来の問題を解決しました。

現在、DeepMind は、ディープラーニングとコンピューター サイエンスの従来のアルゴリズムを結び付けるという、もう一つの大きな課題に目を向けています。

古典的なアルゴリズムとディープラーニングネットワークの本質的な違い

この目標を達成するには、まず両者の主な違いを理解する必要があります。つまり、従来のアルゴリズムとディープラーニング ネットワークの特性の違いは何でしょうか?

[[428876]]

[[428877]]

DeepMind の 2 人の研究者、Charles Blundell 氏と Petar Veličković 氏が、この問題について具体的に話しました。二人ともDeepMindで上級研究職を務めています。

彼らは、両者の主な違いは「一般化」と「最適解」の問題にあると考えています。

まず、アルゴリズムはほとんどの場合変更されないとブランデル氏は言う。アルゴリズムは、何らかの入力に対して実行される固定された一連のルールで構成されます。アルゴリズムが受け取る入力の種類に関係なく、アルゴリズムは妥当な時間内に妥当な出力を生成します。入力のサイズを変更しても、アルゴリズムは引き続き機能します。

2 番目に、アルゴリズムを連鎖させることができます。アルゴリズムの性質により、特定の入力が与えられると、特定の出力のみが生成されることが決まります。 1 つのアルゴリズムの出力を他のアルゴリズムの入力として使用し、完全なスタックを構築できます。

単純なタスクであっても、ディープラーニングアルゴリズムを使用して作業を完了するのは困難です。最も単純なタスクであるテキストのコピーを例に挙げてみましょう。出力は入力テキストのコピーです。

このような単純なタスクをディープラーニングで完了するのは非常に面倒です。 1〜10 文字の長さのみでトレーニングした場合、タスクの文字の長さがこれを超えると、アルゴリズムの核となるアイデアが学習されないため、出力に問題が生じます。

ソートなどタスクがより複雑な場合、ニューラル ネットワークのトレーニングのパフォーマンスはさらに低下します。これは、従来の意味でのアルゴリズムではまったく問題になりません。

総括する：

ディープラーニング ネットワークは一般化が不十分ですが、適切にトレーニングされた特定の問題では、アルゴリズムよりも最適な結果を生み出すことがよくあります。

従来のアルゴリズムは一般化可能です。入力データのサイズとタイプを変更しても、元のアルゴリズムを引き続き使用できます。しかし、アルゴリズムは最適ではない結果を生み出すことがあります。

これら 2 つの問題を同時に解決し、アルゴリズムとディープラーニングの利点を享受するにはどうすればよいでしょうか?

ニューラル アルゴリズム推論: すべてを支配する 1 つのアルゴリズム!

Blundell 氏と Veličković 氏は、ニューラル アルゴリズム推論 (NAR) という方向性を提案しました。

NAR の重要なポイントは、ディープラーニング手法を使用してアルゴリズムをより適切に模倣し、ディープラーニングが問題に対する最適な解決策を保持しながらアルゴリズムの高度な一般化を実現できるようにすることです。

DeepMind は、Google Maps APP と協力し、グラフ ネットワークを NAR のテストの場として使用することを選択しました。彼らは、Google マップのグラフ ネットワーク データを使用して、ユーザーが旅行する際の到着時刻を予測しました。関連する論文が発表されました。

2020 年、Google マップは米国で最もダウンロードされた地図およびナビゲーション アプリとなり、毎日何百万人もの人々が使用しました。 Google マップの重要な経路探索機能は DeepMind によってサポートされています。

これを実現するためにグラフ ネットワーク モデルを選択する理由は何でしょうか?

ヴェリコビッチ氏は、事実上あらゆるオブジェクトをグラフ表現の枠組みに当てはめることができるためだと述べた。

「たとえば、画像は近くのピクセルのグラフとして見ることができます。テキストは、一連の接続されたオブジェクトとして見ることができます。より一般的には、特定のフレームワークまたはシーケンスに整理されるように人工的に設計されていない自然界のあらゆるものは、自然にグラフ構造として表現されます。」

機械学習アルゴリズムを直接使用するのではなく、ディープラーニングアルゴリズム専用の一般化フレームワークを使用するのはなぜですか?

なぜなら、彼らは複雑な現実世界で実際にうまく機能するソリューションを設計したいからです。大量の自然データを大規模に処理するための最適なソリューションは、ディープ ニューラル ネットワークです。

ブランデル氏はNAR研究の将来の可能性について楽観的だ。

「オブジェクト指向プログラミングでは、オブジェクトのクラス間でメッセージを送信しますが、これはまったく同じで、非常に複雑な相互作用のグラフを構築し、それをグラフニューラルネットワークにマッピングできます。この複雑な内部構造から得られる豊かさにより、従来の機械学習の方法では必ずしも得られないアルゴリズムを学習できます」とブランデル氏は語った。

https://venturebeat.com/2021/10/12/deepmind-is-developing-one-algorithm-to-rule-them-all/

https://venturebeat.com/2021/09/10/deepmind-aims-to-marry-deep-learning-and-classic-algorithms/

https://arxiv.org/abs/2108.11482