Microsoft と OpenAI が分裂/Stability AI が終了、新しいアーキテクチャにより Transformer は終了するのか?フォーブス誌の2024年AI予測トップ10

2024年に向けて、AI分野ではどのような発展や変化があるでしょうか？

Stability AIが倒産すると言われています。父と息子のような関係にあるマイクロソフトとOpenAIの間に亀裂は生じるのだろうか？

新たな役職「Chief AI Officer」も登場予定？

さらに、2024 年には Transformer に代わる新しいアーキテクチャが登場するでしょうか?

最近、フォーブスは2024年のAI予測トップ10を発表しました。

Nvidiaはクラウドサービスプロバイダーになる

世界が GPU をめぐる戦争に突入する中、ほとんどの組織は GPU を Nvidia から直接購入するのではなく、クラウド サービスを選択しています。

彼らは Amazon、Microsoft、Google のクラウド プラットフォームを通じて GPU にアクセスし、これらの大手クラウド サービス プロバイダーは Nvidia からチップを大量に購入しています。

しかし、誰もが GPU の価値を認識しており、すべてのクラウド プロバイダーが独自の AI チップを精力的に開発しているため、この関係は複雑になります。

これはまた、Amazon、Microsoft、GoogleなどがNvidiaの最大の顧客から競合企業に変わることを意味します。

それに応じて、Nvidia も逆の方向に進みます。つまり、独自のクラウド サービスの提供を開始し、独自のデータ センターを運営して、クラウド企業の配信への依存を減らすことになります。

今年初め、Nvidia は DGX Cloud という新しいクラウド サービスを開始しました。そして2024年には、同様の取り組みがさらに増えるでしょう。

安定AIは廃業するだろう

かつては有望なスタートアップだったStability AIは、今やゆっくりと進む列車事故と同程度のものになってしまった。

まず、人材の喪失です。ここ数か月で退職した人には、最高執行責任者、最高人事責任者、エンジニアリング担当副社長、製品担当副社長、応用機械学習担当副社長、コミュニケーション担当副社長、研究責任者、オーディオ責任者、法務顧問が含まれています。

第二に、昨年Stability AIの1億ドルの資金調達ラウンドを主導した2社、CoatueとLightspeedは、Stability AIのCEOであるEmad Mostaque氏との論争により、ここ数カ月で同社の取締役を辞任した。

今年初め、Stability AIは40億ドルの評価額で追加資金調達を試みたが失敗した。

最近インテルから5000万ドルの投資を受けたにもかかわらず、Stabilityのキャッシュバーンレートは高いことで有名です。 10月にインテルが投資した時点では、Stability AIは月額800万ドルを費やしていたと報じられている（収益はごくわずかだった）。このままでは、5000万ドルは長く持たないでしょう。

投資家からの圧力を受けて、Stability AIは買収先を探し始めたと報じられている。

LLMという用語はますます一般的ではなくなるだろう

現在の大規模な生成 AI モデルは基本的にプレーンテキスト モデルであるため、ほとんどすべての高度な人工知能モデルを指すために大規模言語モデル (LLM) が使用されます。

しかし、AI モデルの種類が増え、AI がよりマルチモーダルになるにつれて、この用語はますます不正確になるでしょう。

マルチモーダル AI の出現は、2023 年の AI を定義するテーマの 1 つです。今日の主要な生成 AI モデルの多くには、テキスト、画像、3D、オーディオ、ビデオ、音楽、物理的な動きなどが組み込まれています。それらは単なる言語モデルではありません。

たとえば、ロボット工学で使用される基本モデルは、視覚および言語入力と一般的なインターネット規模の知識を組み合わせて、現実世界でアクションを実行します（ロボットアームを制御します）。

このようなモデルの場合、「視覚-言語-行動」(VLA) モデルなど、「言語モデル」よりも幅広い用語を使用する必要があります。

DeepMind が最近リリースした FunSearch モデルも同様ですが、作成者自身はこれを LLM と呼んでいますが、自然言語ではなく数学を処理します。

2024 年には、モデルがより多次元化されるにつれて、モデルを説明するために使用する用語もより多次元化します。

クローズドソースモデルが引き続きリードする

オープンソースとクローズドソースの議論は、今日の AI 分野における重要なトピックです。

OpenAI、Google DeepMind、Anthropic、Cohere などはクローズドソースを選択しましたが、Meta や最近参入した Mistral などの少数の企業はオープンソースを選択しました。

現在、最もパフォーマンスの高いベースモデルはクローズドソースです (GPT-4 など)。しかし、多くのオープンソース支持者は、クローズド モデルとオープン モデルのパフォーマンスの差は縮まっており、次の図で予測されているように、オープン モデルがクローズド モデルのパフォーマンスを上回ると予想されていると考えています。

写真

しかし、フォーブスは、2024年以降も、クローズドソース モデルは、最高のパフォーマンスを発揮するモデルと比較して、オープンソース モデルを上回り続けると予測しています。

基盤となるモデルのパフォーマンスは急速に進化しています。ミストラル氏は、2024年にGPT-4レベルのモデルをオープンソース化すると述べているが、これは2023年初頭にリリースされたGPT-4から1年以上遅れている。

そして 2024 年には、GPT-4.5 や GPT-5 が登場するかもしれません。

高度な新モデルの開発に必要な投資は莫大であり、モデル機能が段階的に向上するたびに拡大し続けます。 OpenAIはGPT-5の開発に約20億ドルを費やすと推定されています。

比較すると、Llama 2 の構築には約 2,000 万ドルの費用がかかり、収益の増加がなくても、戦略的なメリットを考慮すると、Meta にとってこの投資レベルは正当化できるものとなります。

しかし、Meta は公開企業として、最終的には株主に対して責任を負います。最先端の AI モデルを構築するために 20 億ドル近くを投資し、具体的な投資収益を期待せずにそれをオープンソース化するでしょうか?

おそらく、ミストラルのような企業がより強力な AI モデルの構築にますます多くの資金を投資するにつれて、最終的にはオープンソースに対する姿勢を緩和し、最も先進的なモデルを利益のために保持するようになるかもしれません。

最高AI責任者

今年、人工知能はフォーチュン 500 企業にとって優先事項となり、業界全体にわたる取締役会や経営陣は、AI が自社のビジネスにどのような影響を与えるかをできるだけ早く把握しようとしています。

そこでフォーブスは、大企業が来年、自社の人工知能の取り組みを主導する「最高AI責任者」を任命すると予測している。

10 年前、クラウド コンピューティングが台頭してきた頃、多くの組織がクラウドの戦略的重要性を理解するために「最高クラウド責任者」を雇用しました。

最高 AI 責任者 (これをどう略していいのかわかりませんが) を任命することが、企業の人工知能に対する姿勢を示す人気のトレンドになるでしょう。

この最高 AI 責任者が長期的にどれほど効果的であるかは、また別の問題です。

Transformerに代わる新しいアーキテクチャ

2017年にGoogleが提案したTransformerは、今日の大規模なAIモデルを支配しています。ChatGPT、Midjourney、GitHub CopilotなどはすべてTransformerをベースに構築されています。

しかし、どんな技術も永遠に支配し続けることはできません。

研究者たちは、スタンフォード大学の研究室から生まれたこの新しいもののように、次世代の AI アーキテクチャの開発に熱心に取り組んでいます。 Transformer と比較すると、新しいアーキテクチャは計算負荷が低く、長いシーケンスをより適切に処理できます。

今のところ最も有望なアーキテクチャは Mamba です。先月、Mambaを紹介する記事がAI研究コミュニティで大きな反響を呼び、「Transformerの終焉」と呼ぶ人もいた。

写真

さらに、MIT が開発した液体ニューラル ネットワークなどの新しいアーキテクチャも、Transformer にとって課題となります。

来年は、本当に目立った挑戦者が出て、生産されるかもしれません。

投資規制

今年、大手テクノロジー企業から人工知能のスタートアップ企業に資金が大量に流入した。

マイクロソフトは1月にOpenAIに100億ドルを投資し、6月にはInflectionに13億ドルの投資ラウンドを主導した。

今年の秋、アマゾンはアンスロピックに40億ドルを投資すると発表した。負けじと、Alphabet 社も数週間後に Anthropic 社に 20 億ドルを投資すると発表した。

一方、Nvidia は、Cohere、Inflection、Hugging Face、Mistral、CoreWeave、Inceptive、AI21 Labs、Imbue など、同社の GPU を使用する数十の AI スタートアップに資金を投入している。

このような投資には、会計規則のグレーゾーンが含まれる可能性があります。

クラウド プロバイダーが AI スタートアップに 1 億ドルを投資し、スタートアップがその 1 億ドルをクラウド プロバイダーのサービスに使用することを保証しているとします。概念的には、これはクラウド プロバイダーにとって真の意味での通常の収益ではありません。実際には、プロバイダーは投資を利用して、貸借対照表上の現金を人為的に収益に変換しています。

このタイプの取引は、お金が出て行って戻ってくるため、「ラウンドトリッピング」と呼ばれることがよくあります。

こうした取引はこれまで規制当局の監視をほとんど受けていないが、2024年にはそうなるかもしれない。

マイクロソフトのOpenAIは「解散」する可能性

現在までにマイクロソフトはOpenAIに100億ドル以上を投資しており、両社は蜜月期にある。

OpenAI のモデルは、Bing、GitHub Copilot、Office 365 Copilot などの主要な Microsoft 製品に採用されています。

しかし、Microsoft と OpenAI は異なるビジョンを持つまったく異なる組織です。

OpenAI はエンタープライズ事業を積極的に拡大しようとしているため、顧客獲得をめぐって Microsoft との直接的な競争がますます激しくなるだろう。 Microsoft も多様化を進めており、トップクラスの AI モデルのサプライヤーになりつつあります。

Microsoft は最近、OpenAI の競合企業 Cohere との提携を発表しました。大規模な OpenAI モデルの実行にかかるコストの高さに直面した Microsoft は、Phi-2 などの小規模な言語モデルの研究にも投資しています。

より大きな視点で見ると、AI がますます強力になるにつれて、AI の安全性、リスク、規制、公的説明責任に関する重要な問題が焦点となるでしょう。

両組織の文化、価値観、歴史が異なるため、これらの問題に対する哲学やアプローチは必然的に異なるものとなるでしょう。

AIの誇大宣伝は別の方向へ

ベンチャーキャピタリストやテクノロジーリーダーは AI に深く関心を抱いていますが、1 年というのは長い期間であり、ベンチャーキャピタリストの「信念」は急速に変化する可能性があります。

人工知能と著作権

現在、生成 AI の分野全体が、過小評価されている重大な法的リスクに直面しています。それは、大規模な言語モデルが、著作権で保護された大量のコンテンツでトレーニングされていることです。

GPT-4 や Claude 2 の詩、DALL-E 3 や Midjourney の画像、Pika や Runway のビデオなど、生成 AI モデルは膨大な量のデータでトレーニングされているため、驚くほど複雑な出力を生成することができます。

ほとんどの場合、AI 企業はインターネットからこのデータを無料で入手し、それを自由に使用してモデルを開発します。

しかし、これらのデータの元の作成者はこれについて発言権を持っているのでしょうか?彼らは収益の一部を受け取る権利がありますか?

これらの質問に対する答えは、裁判所が「フェアユース」という重要な法的概念をどのように解釈するかによって決まります。

生成 AI にフェアユースの原則を適用するのは複雑な作業となるが、すでに一連の訴訟が進行中である。

参考文献:

https://www.forbes.com/sites/robtoews/2023/12/21/10-ai-predictions-for-2024/?sh=7295b6f54898