アンドリュー・ン氏の最新の予測: AIに関するこれらのことは今後10年間は​​変わらない

2024年にはAIの発展はどのように変化するのでしょうか？

アンドリュー・ン氏は最新の手紙の中で、今後 10 年間で変わらないものがいくつかあると考えています。

（以下はアンドリュー・ン氏からの手紙の原文です）

親愛なる友人の皆様、

人工知能がかつてない速さで進歩しているのを見るのはワクワクします。ただし、急激な変化は混乱を招く可能性があります。この場合、ジェフ・ベゾスのアドバイスに従い、変化していることだけでなく、変わらないことについても考えることが非常に有益です。状況が変わらないのであれば、エネルギーと努力を注ぐほうが価値があります。

今後 10 年間で AI に関して変わらないと思われる点をいくつか挙げます。

• 私たちにはコミュニティが必要です。友人や仲間がいる人は、一人でやる人よりも良い成果を上げます。 AI の分野では毎週のように画期的な進歩が起こっていますが、誇大広告と現実を区別し、アイデアをテストし、相互にサポートし、共同で創造するのを手伝ってくれる友人がいると、より良い立場に立つことができます。
• AI ツールの使い方を知っている人はより効率的です。データの操作方法を知っている個人や企業は、より効果的に真実を理解し、より適切な意思決定を行い、より多くの成果を達成することができます。人工知能が進歩し続けるにつれて、このことはさらに真実になるでしょう。
• 人工知能がうまく機能するには良質なデータが必要です。人間が、どのようなマーケティング戦略を追求するかから、子供たちに何を食べさせるかまで、意思決定を行うために優れたデータを必要とするのと同様に、AI もアルゴリズムが拡張、進化、改善し続ける中で同様に優れたデータを必要とします。

では、上記の 3 つの点は私たち一人一人にとって何を意味するのでしょうか?

• これからもAIコミュニティを構築していきましょう。これは重要です！皆さんが学んだことを他の人と共有し、お互いに刺激し合い、友人や協力者を見つけ続けられることを願っています。
• 学び続けましょう！学習を習慣にするのが一番です。生産性の向上など、さまざまなメリットが得られます。 2024 年の新年の抱負を考えているなら、そこに学習目標も含めましょう。人工知能が進歩し続けるにつれて、誰もがそれに追いつくための計画が必要になります。
• データ中心の AI プラクティスを継続的に育成します。企業が AI ツールを導入するケースが増えるにつれ、自分のデータを管理することが最も重要なことの一つだと私は考えています。これは個人にとってもますます重要になってくると思います。

上記の 3 つの点は AI に関連していますが、残念ながら今後 10 年間も変わらないと思われる他の 2 つの点についてもお話ししたいと思います。⑴ 気候変動は人類が直面する大きな課題であり続けるでしょう。 ⑵ 多くの人々が基本的な必需品を買うのがやっと（あるいは買うことすらできない）という貧困は、今後も問題であり続けるでしょう。私は、AI 気候モデリングが前者にどのように役立つか、そして AI を使ってすべての人の生活の質をどのように向上できるかについて、引き続き考えていきます。

上記は、AI の将来の発展に関する Andrew Ng 氏の最新の見解です。

新年最初の数日間で、AI界の大物たちも今年の人工知能技術の発展に関する予測を発表した。

LeCun が気に入った 8 つの予測

最近、Meta の研究者である Martin Signoux 氏が今年の AI の発展に関する 8 つの予測を書き出しましたが、これらの予測は LeCun 氏から高く評価されました。

（以下はマーティン・シグヌーの予測の原文です）

1. AIスマートグラスが現実になる

マルチモーダル技術が普及するにつれ、大手 AI 企業は AI ファーストのウェアラブルに注力するようになります。

AI アシスタントを搭載するのにメガネよりも適したフォームファクターはあるでしょうか?

音声を伝えるテンプルが耳の近くにあり、視覚入力を捉えるカメラが目の近くにあるため、両手が自由になり、快適に装着できます。

私たちは RayBan でこのトレンドをリードしていますが、最近の OpenAI と Snapchat の噂を考えてみてください...私たちの物語はまだ始まったばかりです。

2. ChatGPTはAIアシスタントにとってGoogleが検索にとってであるのと同じではない

2023 年は ChatGPT で始まり、Bard、Claude、Llama、Mistral、および数千の派生作品で終わります。

コモディティ化が進むにつれて、参照評価が改訂され、ChatGPT は消滅します。

3. さようならLLM、こんにちはLMM

大規模マルチモーダル モデル (LMM) は、マルチモーダル評価、マルチモーダル セキュリティなど、活発な議論の中で、今後も登場し、大規模言語モデルに取って代わっていくでしょう。

さらに、LMM は真に汎用的な AI アシスタントへの足がかりとなります。

4. 大きな進歩はないが、あらゆる面で改善が見られる

新しいモデルは真のブレークスルーをもたらさないでしょう (GPT5 はそうではありません)。また、大規模な言語モデルには依然として固有の制限があり、幻覚を起こしやすくなります。 2024年までに「基本的なAGIの問題を解決する」のに十分な信頼性を実現するような飛躍的な進歩は見られないでしょう。

反復的な改善により、さまざまなタスクに「十分対応できる」ものになります。 RAG、データ管理、より優れた微調整、量子化などの改善により、LLM は多くのユースケースで十分に堅牢かつ有用になり、さまざまな業界のさまざまなサービスへの採用が促進されます。

5. 小さいことは美しい

小規模言語モデル (SLM) はすでに存在していますが、コスト効率と持続可能性を考慮すると、この傾向は加速するでしょう。

量子化も大幅に改善され、消費者向けサービスのデバイス上統合の大きな波が押し寄せるでしょう。

6. オープンソースモデルはGPT-4に勝ち、オープンソースとクローズドソースの論争は徐々に消えていくだろう

過去 12 か月間にオープン ソース コミュニティが達成したエネルギーと進歩を振り返ると、オープン ソース モデルによってパフォーマンス ギャップがすぐに解消されることは明らかです。

2023 年末までに、MMLU (Multimodal Learning to Understand) テストにおける Mixtral と GPT-4 の差はわずか 13% になります。

しかし、最も重要なのは、オープンソース モデルが今後も存続し、進歩を推進し、独自のモデルと共存するという認識があることです。

7. ベンチマークは依然として問題となる

モデル評価において究極のベンチマーク、リーダーボード、評価ツールのセットは存在しません。

代わりに、特にマルチモダリティの面で、一連の改善 (最近の HELM など) と新しい取り組み (GAIA など) が見られるようになるでしょう。

8. 実存的リスクについては、既存のリスクよりも議論が少ない

2023 年には X リスクが注目を集めますが、世間の議論は、偏見、フェイクニュース、ユーザーの安全性など、現在のリスクと論争に重点が置かれることになります。

ランウェイCTO: 新しいツールで新しいストーリーを伝える

Runwayの共同創設者兼CTOであるアナスタシス・ゲルマニディス氏も、今年のAIの発展についての見解を述べた。

（以下はアナスタシス・ゲルマニディスの予言の原文です）

2023 年は、テキスト、画像、ビデオ、オーディオ、その他のモダリティをカバーする、幅広く適用可能な AI システムの開発における転換点となります。

Runway だけでも、Gen-1 や Gen-2 などのビデオ生成モデルや、これらのモデルに対する新しい形式のクリエイティブ コントロールを可能にするツールがリリースされています。

来年は、以下の分野で継続的な進歩が見られるものと期待しています。

• ビデオ生成: 昨年、生成ビデオ モデル (テキストからビデオ、画像からビデオ、ビデオからビデオ) が初めて公開されました。来年も、これらのモデルの品質、汎用性、制御性は急速に向上し続けるでしょう。 2024 年末までに、インターネット上のビデオ コンテンツのかなりの部分が、ある程度これらのモデルを活用するようになります。
• リアルタイムのインタラクティブ性: 大規模なモデルの実行速度が向上し、より構造化された制御方法が開発されるにつれて、一般的なプロンプトから入力やおしゃべりなアシスタントのパラダイムを超えた、より斬新なユーザー インターフェイスや製品が登場し始めるでしょう。
• 自動化された AI 研究: 開発者は、GitHub Copilot などの大規模な言語モデルに基づくコーディング アシスタントを採用しています。ただし、モデル コードの開発とデバッグ、モデルのトレーニングと評価などの反復タスクの自動化など、AI 研究ワークフローを加速するために特別に設計されたツールはほとんどありません。来年には、このようなツールがさらに登場するでしょう。
• システムへのさらなる注目: 多くの会話は、単一ネットワークのエンドツーエンドのトレーニング機能に焦点が当てられています。ただし、実際のアプリケーションでは、現実世界のシナリオに展開される AI システムは、多くの場合、モデルのパイプラインによって駆動されます。このようなモジュール式システムを構築するためのフレームワークがさらに登場するでしょう。

こうしたシステムを構築する上で最もやりがいを感じるのは、技術的な進歩だけでなく、アップデートや機能の向上ごとに、新しい視聴者がシステムに触れ、これまで語られなかった新しいストーリーが語られるようになることです。今後 1 年間でこの状況がどのように継続していくのか楽しみです。

スタンフォード准教授：基礎モデルの透明性

スタンフォード大学のコンピューターサイエンスの准教授であるパー​​シー・リャン氏は、基礎となるモデルの透明性に注目しました。

（以下はパーシー・リャンの予言の原文です）

ちょうど 1 年前、ChatGPT はベース モデルの威力を世界に知らしめました。しかし、この力は、目を見張るような、目を見張るようなプレゼンテーションだけに限ったものではありません。基盤となるモデルは、前世代のコンピューティングとインターネットが社会を変革したのと同じように、私たちの生活のあらゆる領域とあらゆる側面に浸透するでしょう。予想される影響の広範さを考えると、AI で何ができるかだけでなく、それがどのように構築されるかについても問わなければなりません。どのように管理されていますか?誰が決めるのですか?

本当に分かりません。これは、AIに関する透明性が低下しているためです。 2010 年代の大部分では、オープン性がデフォルトであり、研究者は論文、コード、データセットを公開していました。過去3年間で透明性は低下しました。

GPT-4、Gemini、Claude などの最先端モデルに関する公開情報はほとんどありません。これらのモデルのトレーニングにはどのようなデータが使用されたのでしょうか?このデータは誰が作成し、労働慣行はどうなっているのでしょうか?これらのモデルはどのような値と一致していますか?これらのモデルは実際にどのように使用されるのでしょうか?透明性がなければ説明責任はなく、ソーシャル メディアなどの以前の世代のテクノロジーでは透明性の欠如によって問題が引き起こされてきたことを私たちは見てきました。

透明性評価を厳格化するために、基本モデル研究センターは、基本モデル開発者の透明性を表す「基本モデル透明性指数」を導入しました。幸いなことに、透明性の多くの側面（適切な文書化など）は達成可能であり、企業のインセンティブと一致しています。 2024年には、おそらくこの傾向を逆転させ始めることができるでしょう。

現在、政策立案者の間では AI を規制する必要性について広く認識されています。透明性に加えて、最優先事項の 1 つは評価です。実際、これらのモデルの能力とリスクを理解するための科学的根拠がなければ、私たちは盲目的に行動していることになります。約 1 年前、基礎モデル研究センターは、言語モデルや画像生成モデルなどの基礎モデルを評価するためのリソースである HELM (Comprehensive Evaluation of Language Models) をリリースしました。当社は現在、MLCommons と協力して、セキュリティ評価の業界標準の開発に取り組んでいます。

しかし、この評価は、特に汎用のオープン システムの場合、困難です。ほぼ無限のユースケースと潜在的な危害をどのようにカバーするのでしょうか?操作をどうやって防ぐのですか?結果を一般の人々が理解できる形でどのように提示しますか?これらはすべて未解決の研究課題ですが、AIの急速な発展に対応するためには、短期間で解決する必要があります。研究コミュニティ全体からの支援が必要です。

ChatGPT スタイルのアシスタントが、私たちが情報を入手し、意思決定を行う主な方法になるだろうと想像するのは、非現実的ではありません。したがって、バイアスや好みを含む基礎モデルの動作が重要になります。

これらのモデルは人間の価値観と一致していると言われていますが、どのような価値観について話しているのでしょうか?繰り返しになりますが、透明性が欠如しているため、これらの値が何であるか、どのように決定されるかはわかりません。単一の組織が決定を下すのではなく、価値観を引き出すためのより民主的なプロセスを想像できるでしょうか?重要なのは、プロセスの完全性と合法性です。

OpenAI はこの分野の研究に資金提供することを望んでおり、Anthropic もこの方向でいくつかの研究を行っていますが、これらはまだ初期段階です。これらのアイデアのいくつかが実稼働システムに採用されることを願っています。

マイクロソフトCTO: 来年の急激な成長に備えよう

マイクロソフトのCTOケビン・スコット氏も、今年のAIの発展についていくつかの予測を述べた。

（以下はケビン・スコットの予測の原文です）

2023 年は、間違いなく、私の長いキャリアの中でテクノロジーにとって最もエキサイティングで興味深い年になるでしょう。

2022 年が終わる頃にも同じようなことを言ったはずですし、来年の今頃も、そして近い将来毎年同じことを言うことになると思います。つまり、AI の分野では今、おそらくこれまでで最も大きな技術的進歩を示す持続的な指数関数的成長の時期を迎えているということです。

そしてこれはほんの始まりに過ぎません。現代の生成 AI はまだ初期段階にあり、私たちは学びながら進んでいます。私たちは長い間 AI とともに暮らしてきたように感じますが、2023 年は、ChatGPT や Microsoft Copilots などの強力な AI ツールが、人々の生活を楽にする便利なアシスタントとして実際に意味のある形で世間の注目を集める最初の年です。

来年末までに、世界中のより多くの人々に連鎖的なメリットをもたらす多くの新しいエクスペリエンス、アプリ、ツールが登場する予定です。 AI の誇大宣伝と成長の加速により、人々は次々に登場する「次の大きなもの」に注目するかもしれませんが、少し立ち止まって考えてみると、私たちの目の前にあるチャンスは私たちが認識しているよりもはるかに大きいことが簡単にわかります。

指数曲線の産物を私たちが経験するのは数年に一度程度（最近では GPT-4）なので、この時期には成長率が実際どれほど驚異的であるかを忘れがちです。そして、人間の性質に忠実に、私たちはすぐに適応し、現れた新しいクレイジーな可能性をすぐに当然のこととして受け入れました。

したがって、これからの一年で AI とテクノロジーに携わる私たち全員に対する私の希望は、指数曲線の次のサンプルが来ていることを認識し、（きっと驚くべき）結果に適切に備える必要があるということです。

2024 年も私たち全員に発見と継続的な革新の興奮をもたらし続けますように。

では、今年の AI の発展において、何が期待できると思いますか?