AI分野 | ゲームのルールを変える画期的なアイデア10選

[[357174]]

AI の旅が始まって以来、私は無限の可能性を秘め、輝かしい歴史に足跡を残してきたアイデアやコンセプトをいくつか発見してきました。

今日は、私が長年続けてきた最も興味深いアイデアやコンセプト（私自身の経験に基づく）のリストをまとめることにしました。彼らが私にインスピレーションを与えたのと同じくらい、あなたにもインスピレーションを与えてくれることを願っています。

それでは、AI愛好家の「初恋」から始めましょう。

1. ニューラル ネットワーク - 「バイオニクスにインスパイアされた」

統計モデル（回帰モデルなど）を扱う新しい機械学習（ML）開発者は誰でも、人工ニューラル ネットワーク（ANN）について初めて学んだときにアドレナリンラッシュを経験したことがあるでしょう。これはディープラーニングの入り口でした。

ここでの基本的な考え方は、プログラミングを通じて生物学的ニューロンの働きを模倣し、普遍的な機能の近似を実現することです。

神経科学とコンピューター科学という 2 つの分野の融合は、それ自体が刺激的なアイデアです。 これについては後で詳しく検討します。

数学的には、シナプスと接続が巨大な行列乗算に凝縮される仕組み、ニューロンの発火がシグモイドのような活性化関数に似ている仕組み、脳内の高レベルの認知抽象化と人工ニューラル ネットワークのブラック ボックスが神秘的でクールに聞こえる仕組みなどです。 これらすべてが新しい ML 開発者にもたらす希望は計り知れません。

画像出典：著者提供（Canva制作）

この時点で、初心者はこう考えます。「基本的に、この生物にヒントを得た技術は何でもできる。結局のところ、自然はプロセスを実行するための最良かつ最も効率的な方法を選択するのではないだろうか。」

ANN の背後にあるインスピレーションの一部については後のコースでのみ学習するため、依然として大きな制限が残ります。

理論上はすべて良さそうに聞こえますが、彼らの非現実的で野心的な夢は、誤って構成されたニューラル ネットワークのトレーニング セッションの勾配のように消えてしまいます (わかりますか? 笑)。

2. 遺伝的アルゴリズム - 「ダーウィンに挨拶しよう」

遺伝的アルゴリズムは、コンピューター サイエンスに適用できる、自然にヒントを得たアルゴリズムの別のクラスです。ここでは、突然変異、生殖、個体群、交差、適者生存など、ダーウィンの進化論に関連するすべての用語が見つかります。

これらの進化アルゴリズムの背後にある考え方は、環境に最も適応した個体だけが繁殖する機会を持つ自然淘汰に従うことです。集団に多様性を加えるために、最も適応力のある個体の染色体は時々ランダムに突然変異します。

ここで、「個人」とは、与えられた質問に対する可能な回答を指します。

ワークフローを見てみましょう

画像ソース: 著者より (Canva を使用してデザイン)

とてもすっきりしていてシンプルですね。

この一見単純なアルゴリズムは、最適化、リカレントニューラルネットワークのトレーニングプロセス、特定の問題解決タスクの並列化、画像処理など、現実世界の多くのシナリオに適用できます。

非常に多くの方向性があるにもかかわらず、遺伝的アルゴリズムはまだ実用的な結果を生み出していません。

3. 自己編集プログラム - 「プログラマーは注意が必要」

遺伝的アルゴリズムの応用の続きとして、これは確かに最もエキサイティングなものであり、独自のサブセクションに値します。

自身のソースコードを変更できる AI プログラムがあると想像してください。最終的に目標を達成するまで、何度も何度も自分自身を改善します。

多くの人が信じている

自己改善/コード編集 + AGI = AI スーパーインテリジェンス 当然ながら、このアプローチを実現するにはまだ多くの困難が残っていますが、2013 年のこの実験を考えてみましょう。遺伝的アルゴリズムは Brainfuck (プログラミング言語) を使用して、「hello」と印刷できるプログラムを構築することができました。

その遺伝的アルゴリズムのソース コードにはプログラミングの原則は書かれておらず、単なる単純な古い自然選択アルゴリズムでした。 29分で、これが生成されました -

+++><>.]]]]
このコードを Brainfuck コンパイラで実行すると、「hello」と出力されます。実験は成功しました！

これは、十分な時間と計算リソースが与えられた場合の遺伝的アルゴリズムの威力とその能力を示しています。

4. ニューラル常微分方程式 - 「スパイラル層」

数年前、NeurIPS に提出された 4,854 件の研究論文の中で、「Neural Ordinary Differential Equations」と題されたこの論文が際立ってトップ 4 論文の 1 つになりました。

何がそんなに素晴らしいのでしょうか?なぜなら、ニューラル ネットワークについての考え方がまさに変わるからです。

従来のニューラル ネットワークには離散的な数の層があり、最適化 (グローバル最小値の検出) には勾配降下法とバックプロパゲーションに依存しています。レイヤーの数を増やすとメモリ消費量も増加しますが、理論的にはそうする必要はなくなります。

離散層モデルから連続層モデルに移行して、無限の層を持つことができます。

出典：上記の研究論文

事前にレイヤーの数を決める必要はありません。代わりに、必要な精度を入力し、一定のメモリを犠牲にして魔法が起こるのを見てください。

論文によれば、この方法は時系列データ（特に不規則な時系列データ）において従来のリカレントニューラルネットワークや残差ネットワークよりも優れたパフォーマンスを発揮します。

出典：上記の研究論文

この新しい手法を使用すると、オイラー法などの任意の常微分方程式ソルバー (OOE ソルバー) を使用して勾配上昇法を置き換えることができ、プロセス全体をより効率的にすることができます。

ご存知のとおり、時系列データは株式市場の金融データから医療業界まであらゆるところに存在するため、このテクノロジーが成熟すれば、その応用範囲は広がるでしょう。しかし、まだ開発中です。

良い方向に発展することを願っています！

5. 神経進化 - 「再び自然を模倣する」

ニューロ進化は 2000 年代初頭にまで遡る古いアイデアですが、最近では強化学習の分野で有望性と勢いを示しており、有名なバックプロパゲーション アルゴリズムと比較されています。たとえば、ニューラルアーキテクチャ検索、自動機械学習、ハイパーパラメータ最適化などの分野です。

一言で言えば、「ニューロエボリューションとは、遺伝的アルゴリズムを使用してニューラル ネットワークを改善する技術です」。重みとパラメーターだけでなく、ネットワークの (トポロジカル) 構造も改善します (最新の研究)。

これは、ニューラル ネットワーク モデルのトレーニングにおける勾配降下最適化アルゴリズムと進化的最適化アルゴリズムの戦いです。

出典: https://blog.otoro.net

しかし、なぜそれを使うべきなのでしょうか?

なぜなら、Uber の最近の研究 (Deep Neuroevolution) では、この手法によりバックプロパゲーションよりも速くモデルを収束できることがわかったからです。数日かかる計算時間を、ローエンドの PC ではわずか数時間にまで短縮できます。

勾配降下法を使用してニューラル ネットワークをトレーニングしていて、局所的最小値や勾配消失などの状況で行き詰まった場合は、ニューロエボリューションを使用すると、より良い結果を得ることができます。

この交換には料金を支払う必要はありません。このテクノロジーは、どこで使用されていてもニューラル ネットワークを最適化し、トレーニングするために使用できます。

「二人の頭は一人より優れている。一人の方が間違いを犯す可能性が低いからではなく、二人が同じ間違いを犯す可能性が低いからだ。」 - CS ルイス

6. Google の AI キッズ - 「AI が AI を創る」

ハイパーパラメータの調整は、すべてのデータ サイエンティストが嫌う、面倒で退屈な作業です。ニューラル ネットワークは事実上ブラック ボックスであるため、作成したハイパーパラメータを変更するとネットワークの学習にどのような影響が及ぶかを明確に知ることはできません。

2018 年、Google は NASNet と呼ばれるモデルで自動機械学習 (AutoML) の世界に画期的な進歩をもたらしました。このオブジェクト認識モデルの精度は 82.7% で、コンピューター ビジョン分野の他のどのモデルよりも 1.2% 高く、少なくとも 4% 効率的です。

最も重要なのは、強化学習を使用する別の AI の助けを借りて開発されたことです。

画像出典: Google Research

「ニューラル ネットワーク設計 ニューラル ネットワーク」。 。 。それは本当に素晴らしいアイデアだと思いませんか？

ここで、その親 AI はコントローラー ネットワークと呼ばれ、何千回もの反復を経て徐々に AI の子を育成します。各反復で、子供のパフォーマンスを計算し、この情報を使用して次の反復でより優れたモデルを構築します。

この創造的な考え方は、「学ぶことを学ぶ」（またはメタ学習）という概念を推進し、正確さと効率の点で地球上の人間が設計したどのニューラル ネットワークよりも優れています。

コンピュータービジョンの領域以外で何ができるか想像してみてください。このコンセプトが、超高性能な人工知能に対する人々の最悪の恐怖をかき立てるのも不思議ではない。

7. GAN - 「ニューラル ネットワーク対ニューラル ネットワーク」

GAN は Generative Adversarial Networks の略で、任意のデータ分布を模倣することを学習できます。

これはどういう意味ですか？

GAN 以前の機械学習アルゴリズムは、入力と出力の相関関係を見つけることに重点を置いていました。これらは判別アルゴリズムと呼ばれます。たとえば、画像分類器はリンゴとオレンジを区別できます。

ネットワークに写真を入力すると、0 (リンゴの場合) または 1 (オレンジの場合) が返されます。ラベルを割り当てることと考えることができます。内部的には、どの特徴がリンゴに対応し、どの特徴がオレンジに対応するかを判断し、一定の確率でラベルを出力するモデルを作成します。 。
しかし。 。 。内部的にはリンゴとオレンジを何らかの方法で表現して比較できるようにする方法はあるかもしれませんが、リンゴとオレンジの画像を生成する方法はありません。
ここで GAN が役に立ちます。 GAN は、ジェネレーターとディスクリミネーターの 2 つのネットワークで構成されます。

前の例を続けると、リンゴの画像を生成したい場合、ジェネレーターとして逆畳み込みネットワークを使用し、識別器として畳み込みネットワークを使用します。

ジェネレーターは、ランダムなノイズ画像を生成し、それをリンゴのように見せようとします。一方、識別器は、入力画像が本物か偽物（ジェネレータによって生成されたもの）かを識別しようとします。

識別器が画像を正しく区別できれば、生成器はよりリアルな画像を生成するために自らを改善するよう努力します。同時に、識別器も識別能力の向上に努めます。これは、改善が何らかの形で避けられないことを意味し、唯一の問題はそれが識別器で起こるのか、それとも生成器で起こるのかということです。

これは二重のフィードバックループに少し似ています。

GAN は複雑なためトレーニングが難しく、Nvidia が最近発表した研究論文では、ジェネレーターとディスクリミネーターを段階的に改善することで GAN をトレーニングする方法が説明されています。 （面白い言い方ですね！）。

GAN の仕組みについてはこれで十分ですが、では、どのように使用するのでしょうか?

いくつかのクールな GAN アプリケーション:

• 顔を老けさせる

• 超高解像度

• 画像のブレンド

• 衣服変換

• 3Dオブジェクトの生成とか、そういうもの。

詳細については、この記事を参照してください。

8. 転移学習 - 「事前学習済みネットワークの使用」

ニューラル ネットワークを最初からトレーニングするのは計算コストが高く、時には非常に混乱を招く可能性があります。しかし、以前に別のデータセットでトレーニングされた別のネットワークから知識を取得し、それを新しいターゲット データセットのトレーニング プロセスで再利用できると想像してみてください。

このようにして、新しい領域での学習プロセスを高速化し、計算エネルギーとリソースを大幅に節約できます。他の人より先にスタートするランニングレースのようなものだと考えてください。

車輪の再発明に時間を無駄にしないでください。明らかに、このテクノロジーをまったく関係のない 2 つの分野で使用することはできませんが、自然言語処理やコンピューター ビジョンなどの一部の分野では、すでにトレーニング済みのネットワークを使用することが新しい標準となっています。

出典: https://www.topbots.com/

コンピューター ビジョンの分野では、オブジェクト検出、オブジェクト認識、画像分類のタスクで、VGG ConvNet、AlexNet、ResNet-50、InceptionV3、EfficientNet などの事前トレーニング済みのネットワークが使用されます。特にミッションの開始時に。

Neural Style Transfer (NST) などのタスクでも、VGG19 を使用すると、固有の表現をすばやく取得して時間を節約できます。

感情認識や言語翻訳などの NLP タスクでは、スタンフォード大学の GloVe (語彙のグローバル ベクトル表現) や Google の Word2Vec などのさまざまな単語埋め込み方法が標準となっています。

Google の BERT、OpenAI の GPT-2 (Generative Pre-trained Transformer)、万能の GPT-3 などの最新の言語モデル (大きなもの) については触れたくありません。彼らは皆、私たち一般人には想像もできないほどの膨大な情報で訓練されています。彼らはほぼネットワーク全体を入力データセットとして取り、それをトレーニングするために数百万ドルを費やしました。

この時点では、これは将来使用する事前トレーニング済みのネットワークのように見えます。

9. ニューロモルフィックアーキテクチャ - 「次世代材料」

ソフトウェアの世界における多くの進歩を見てきたので、次はハードウェアの部分に焦点を当ててみましょう。

しかしその前に、このばかげた比較を見てください。 。 。

平均的な人間の脳には 860 億個のニューロンと約 1 千兆個のシナプスがあります。直感的に言えば、脳（400,000 km の神経繊維）を解きほぐすことで、実際に月に到達できる可能性があります。

脳をシミュレートするには、膨大な計算エネルギー（100ペタフロップス）を消費する必要がありますが、これは現在の技術では実現できません。

最も強力なスーパーコンピュータでさえ、これほど大量の計算を実行することはできません。言うまでもなく、人間の脳は、これを実行するためにわずか 20 ワットの電力 (電球を点灯する電力よりも少ない) しか必要としません。

なぜ？ 「建築」のせいで

画像ソース: https://randommathgenerator.com/

今日私たちが使用しているすべてのコンピューターは、フォン・ノイマン・アーキテクチャと呼ばれる 75 年前のアーキテクチャに基づいていることをご存知ですか?このアーキテクチャでは、メモリとプロセッサが互いに分離されているため、大規模な行列乗算などの計算集約型のタスクを実行するときにパフォーマンスのボトルネックが発生します。

フォン・ノイマン・ボトルネックは、一連の命令を実行するときに、入力を渡して出力を取得するプロセスが順次行われるために発生します。しかし、私たちの脳では、記憶と処理を実行するユニットは本質的に同じであり、わずかなエネルギーしか消費せずに、膨大な量のデータを超高速で処理することができます。ここで、メモリと処理装置を接続するのはメモリそのものです。

IBM や Intel などの一部の企業は、人間の生物学的脳に似たアーキテクチャをシミュレートしようとしています。最終的には、ニューロモルフィック コンピューティングという新しいタイプのコンピューティングが誕生するでしょう。

複数の GPU と TPU を使用する時代は終わりつつあります。その日が来るのが本当に待ちきれません！

進歩: IBM の True North チップと Intel のニューロモルフィック チップ。

10. 汎用人工知能 (AGI) - 「私たちの究極の目標」

「いつか AI が私たち全員を殺すだろう」と誰かが叫ぶのを聞いたら、汎用人工知能がまさにそうする可能性が高いです。

なぜ？

なぜなら、現在私たちが扱っているのは「弱い AI」であり、つまり現在のモデルは特定のドメイン以外では役に立たないからです。しかし、世界中の科学者や研究者は、幅広いタスクを実行できる、あるいはほぼあらゆるタスクの実行を学習できる AI の開発に取り組んでいます。

もし彼らが成功すれば、それは当然のことながら、人間の知能をはるかに超える知能の爆発的な増加、そして最終的には超知能につながるだろう。

これが起こると、その超知能は知覚、自己認識、そしてより高い認知能力を備えた存在になります。

[[357175]]

出典: https://www.theverge.com (この写真を投稿せずにはいられませんでした)

次に何が起こるでしょうか?神のみが知っている。

この状況を説明する特別な言葉があります。シンギュラリティとは、技術の発展が制御不能かつ不可逆となり、最終的に人類の文明に予期せぬ変化をもたらすという仮説上の時点です。 -ウィキペディア

単純に開発を止めることはできないのでしょうか?いいえ。

人工知能は今日の電気のようなものです。私たちはそれに非常に依存しているため、その発展を止めることは暗黒時代に戻るようなものです。さらに、大量破壊能力を持つ核兵器を作ったときの考え方と同じように、「私たちが開発しなくても、彼らは開発する」という共通の考え方があるため、どの国も開発を止めることはないだろう。

イーロン・マスク氏の懸念は根拠のないものではない。彼は真剣だ。

要約する

完璧な AI を作成する方法について、いくつかの重要なポイントを理解したと思います。しかし、誰が気にするでしょうか?彼らと共存できない限りは。

Neuralink に取り組んでいる人々が、終末の日までに脳と機械のインターフェースを完成させることができることを願っています。そしてイーロン・マスクは、私たちの脳を新世代のハッカーにさらすことなく、それを使用することに成功したのです。