Redditのネットユーザーが議論中！コンピューティング能力とデータは本当にすべてを解決できるのでしょうか?

誰もが知っているように、コンピューティング能力とデータは非常に重要ですが、それだけで十分でしょうか?

最近、reddit ユーザーが次のようなディスカッション スレッドを開始しました: データと計算能力がさらに増え、理​​論的な作業の発展が止まれば、今日のどの問題が解決できるでしょうか?絶対に解決できない問題は何ですか?

この質問はRedditユーザーの間で白熱した議論を引き起こした。

アキュライト氏はこう語った。 「希少疾患の診断に関わるものなら何でもいいと思います。」データが存在しないため、これ以上のデータはありません。しかし、これは単なる推測であり、おそらく小規模サンプル学習によってこの問題を解決できるかもしれません。

MichaelMMeskhi は次のように返信しました:小規模サンプル学習では問題は解決しません。データがあれば、従来のディープラーニングが役立ちます。しかし、理論的には、小規模サンプル学習でそれが可能になるかもしれません。

pm-me-your-covfefes は言います:

十分なデータがあればほとんどの問題の解決策を見つけることができると思いますが、それで問題が解決する（または解決が容易になる）わけではありません。

私は米国最大のヘルスケア企業のデータサイエンス担当シニアディレクターです。私たちは巨大です。基本的に、あなたが知りたいことすべてに関するデータがあります。中国の医療制度以外に、私たちよりも多くの医療データを保有している機関があるとは思えません。

このデータを使用すると、これまで公の場でも個人的にも見たものよりも印象的な数千の生産モデルを作成できます。これには、ヘルスケア分野への参入を目指す「魅力的な」テクノロジー企業が行ってきたすべてのことが含まれます。

しかし、これらのモデルは医療の改善に必須ではありません。私たちはあらゆる病気（最もまれなものも含む）を簡単に予測できるモデルを持っています。病気予測モデルはまったく新しいものではありません。たぶん10〜15年前です。これらのモデルは実際には医療の改善に役立ちません。

糖尿病予測モデルを例に挙げてみましょう。 1 日にハンバーガーを 2 個食べる、体重 350 ポンドの手に負えない患者が 2 型糖尿病を発症するだろうと教えてくれる派手なモデルは必要ありません。しかし、「食生活や生活習慣を変えたほうがいいですよ」と言われても、症状は時間とともに悪化するばかりでした（90％の場合）。これでは健康状態が悪化し、費用もさらにかかるだけです。

簡単に言えば、少なくとも医療分野では、無限のデータがなくても、好きなだけ凝ったモデルを作成できますが、ほとんどの場合、問題は人（患者と医療提供者）だけなので、問題の解決には役立ちません。人々が望まない変更を加えることに依存している他の業界でも同じことが言えると思います。

「基本的に、無制限のラベル付きデータと最近傍サンプリングがあれば、どんな問題でも解決できると思います」とパーセプトロンのドアーズ氏は言う。「十分なデータがあれば、おそらくこのシナリオを以前に見たことがあるでしょう。あとは答えを調べるだけです。」

何か巧妙なことを考え出そうとするのではなく、問題に十分な計算力を投入して最適なアーキテクチャを見つけ、検索空間を総当たりで調べるだけで、既存のディープラーニング手法を大幅に改善することもできます。 (業界ではすでにある程度これが行われており、そのため優れたアーキテクチャの多くは Google などの場所から生まれています)。

計算やデータについて心配する必要がない場合は、探索/活用のトレードオフの探索部分に焦点を当てることで、強化学習を最も効果的に行うことができます。

したがって、問題をさらに制限する必要があります。データと計算は無限にあるため、すべての問題を解決するのに現代的なアプローチは必要ないと思います。 ”

m--w は、大規模なベイズ推論は現代のコンピューティングには依然としてコストがかかりすぎると考えています。

絶対に解決できない問題について尋ねられたとき、フィリダはこう答えました。

技術的特異点がどのように起こるかを説明する理論モデルさえまだありません。たとえば、多くの理論的問題に対して、「形式 X の問題 (P = NP など) に対する解決策があれば、この問題は解決できる」と言えます。特異点については正式な定義がまだないので何も言えません。たとえ停止問題を何とか解決できたとしても、技術的特異点に到達するための明確な道筋はありません (いいえ、AIXI はそのような理論ではありません。AIXI は明確なアクションと報酬を持つ環境における最適なエージェントを説明します)。

AGI についても同じことが言えますが、AGI の場合、少なくとも十分な計算能力とデータがあれば、人間の行動を再現しようとすることで、人間の知能の「アヒル型」（アヒルのように見え、アヒルのように行動するなら、それはアヒルです）モデルを作成できます。これは talktoatransformer を使用した小規模な操作であり、会話にはまだ不十分であると考えていますが、サブレディット シミュレーター GPT2 は非常に現実的であり、現時点ではそのためだけの計算能力とデータがあります。

Turings_Ego はこう考えています: 別の道を進むべきだと思います。この分野は、データセット/ベンチマークからの経験によって大きくサポートされています。もっと複雑な問題を本当に解決したいのであれば、収束とは何か、何が収束ではないのかを理解するために多くの作業を行う必要があります。位相データ解析がこれらの証明のいくつかの重要な側面を提供してくれるだろうという予感がします。

人工知能の進歩は計算能力から生まれるのでしょうか?周志華：全然違います！

国内のAI大手がコンピューティングパワーとデータをどのように見ているかを見てみましょう。

「人工知能の進歩は計算能力によってもたらされる」という見解に関して、南京大学の周志華教授はかつてこう述べた。「この発言は絶対に間違っている！」周教授はIBM Deep BlueとAlphaGoを比較した。Deep Blueはチェスをプレイする際に1秒あたり6億の局面を評価する必要があるが、AlphaGoはより複雑な囲碁ゲームに臨む際に1秒あたり2万の局面を評価するだけでよい。「6億から2万への改善は機械学習アルゴリズムによってもたらされたものであり、計算プロセスの目標方向が根本的に変化したことは言うまでもない。」

これに対し、中国科学院計算技術研究所先端コンピュータシステム研究センター所長の鮑雲剛氏は、 アルゴリズムが重要な役割を果たしており、計算能力の向上も不可欠だと述べた。鮑雲剛氏は「月面着陸」を例に挙げて、両者の補完関係を説明した。 「AIの発展において、アルゴリズムの役割はナビゲーション＋第1段ロケットのようなもので、コンピューティングパワーの役割は第2段＋第3段ロケットに相当する」。どちらも月面着陸には欠かせないものだ。鮑雲剛氏はまた、周教授が提供したIBMの6億局面の評価からAlphaGoの2万局面の評価まで、「アルゴリズムの効率は20年間で3万倍に向上した」というデータは、アルゴリズムの進歩を客観的に示していると述べた。

この点について周志華教授は、計算能力の向上が重要ではないということではなく、人工知能技術の進歩が決して単に「計算能力の向上」によるものではないと述べた。周先生はさらにこう説明した。「方向転換は計算能力の向上だけでは達成できない。」アルゴリズムにブレークスルーがなく、依然として専門家のルールに依存している場合、量子コンピュータが開発されて速度が向上したとしても役に立たないでしょう。

また、6億と2万の位置評価に関しては、得られる結果に矛盾が生じています。したがって、単純に 6 億を 20,000 で割って高速化率を計算することはできません。周志華教授は、アルゴリズムの変更によって解決プロセスの性質が変化する可能性があり、今日の人工知能の進歩はまさにこれによるものであり、これは単に計算能力を高めるだけでは達成できないと述べた。

ヒントン氏は、将来の AI システムはほとんどが監視なしになるだろうと考えている。教師なし学習は、ラベル付けも分類もされていないテスト データから知識を抽出できる機械学習の分野であり、共通点を学習し、共通点の有無に応答する能力において、ほぼ人間レベルの能力に達します。

「数十億のパラメータを持つシステムを採用し、何らかの目的関数に対して確率的勾配降下法を実行すると、予想よりもはるかにうまく機能します」とヒントン氏は言う。「規模が大きくなるほど、よりうまく機能します。」

ニューラル ネットワークとディープラーニングはなぜ数十年前は失敗していたのに、今は成功しているのでしょうか?そしてその限界は何でしょうか?賈陽清はかつてこう言った。

• 成功の理由は、ビッグデータと高性能コンピューティングです。
• 制限の理由は、第一に、構造化された理解、第二に、少量データに対する効果的な学習アルゴリズムです。

アリババ副社長の賈洋青氏は、「モバイルインターネットの台頭などによる大量のデータや、ラベル付きデータを提供するAWSなどの低コストプラットフォームにより、機械学習アルゴリズムはデータの限界を突破できるようになり、GPGPUなどの高性能コンピューティングの台頭により、制御可能な時間（数日またはそれ以下）内でエクサフロップレベルのコンピューティングを実行できるようになり、複雑なネットワークのトレーニングが可能になった」と考えている。高性能コンピューティングはGPUに限定されないことに注意する必要がある。CPU上での大量のベクトル化コンピューティングや分散コンピューティングにおけるMPI抽象化は、いずれも1960年代に登場し始めたHPC分野の研究成果と密接に関連している。

しかし、ディープラーニングの限界も認識する必要があります。現在、多くのディープラーニング アルゴリズムは認識レベルで飛躍的な進歩を遂げており、音声や画像などの非構造化データの認識作業を実行できます。より構造化された問題に直面した場合、ディープラーニングアルゴリズムを単純に適用するだけでは良い結果が得られない可能性があります。 AlphaGo や Starcraft のようなアルゴリズムがなぜ成功できるのかと疑問に思う学生もいるかもしれません。一方では、ディープラーニングは知覚の問題を解決します。他方では、Q 学習やその他の強化学習アルゴリズムなど、従来の非ディープラーニング アルゴリズムが多数存在し、それらが組み合わさってシステム全体をサポートしていることも理解する必要があります。さらに、データ量が非常に少ない場合、ディープラーニングの複雑なネットワークでは良い結果を達成できないことがよくあります。しかし、多くの分野、特に医療などの分野では、データの入手が非常に困難です。これは、将来的に非常に有意義な科学研究の方向になる可能性があります。

ディープラーニング、あるいはもっと広義には AI の方向に次に何が起こるのでしょうか?私の個人的な感覚としては、ここ数年、AIフレームワークは誰もが注目していますが、近年のフレームワークの均質化は、もはや解決に多大な労力を要する問題ではないことを示しています。TensorFlowなどのフレームワークが業界で広く応用されていることや、Pythonを使用したモデリング分野でのさまざまなフレームワークの優れたパフォーマンスは、これまで独自のプログラミングを必要としていた多くの問題を解決するのに役立ちます。したがって、AIエンジニアとして、フレームワークの束縛から飛び出し、より広い分野に価値を求めるべきです。 ”