大規模なモデル開発スタックが準備完了です。

著者 | リチャード・マクマナス

企画 | ヤン・ジェン

Web3 は Web2 を打倒することはできませんでしたが、大規模モデル開発スタックの出現により、開発者は「クラウド ネイティブ」時代から新しい AI テクノロジー スタックに移行できるようになりました。

エンジニアに促しても、開発者がビッグモデルに向かう動機にはならないかもしれませんが、製品マネージャーやリーダーからの「エージェント」を開発できますか？「チェーン」を実装できますか？「どのベクトルデータベースを使用すればよいですか？」という一文は、大手主流のビッグモデルアプリケーション企業の技術者がAI開発の困難を克服するための原動力となっています。

では、新興テクノロジー スタックのレイヤーとは何でしょうか?一番難しい部分はどこですか？この記事を読めば、その理由がわかります。

1. テクノロジースタックを更新する必要がある。開発者はAIエンジニアの時代に入っている

過去 1 年間で、LangChain や LlamaIndex などのツールの登場により、AI アプリケーションの開発者エコシステムが成熟し始めました。今では、人工知能に重点を置く開発者を表す用語さえあります。「AI エンジニア」です。提唱者の Shawn@swyx Wang によると、これは「キュー エンジニア」の次のステップです。彼はまた、より広範な人工知能エコシステムにおける AI エンジニアの位置を示す座標図も作成しました。

画像ソース: swyx

大規模言語モデル (LLM) は、AI エンジニアにとって中核的な技術です。 LangChain と LlamaIndex の両方が LLM を拡張し補完するツールであることは偶然ではありません。しかし、この新しいクラスの開発者が利用できる他のツールは何でしょうか?

これまで私が見た中で最も優れた LLM スタックの図は、ベンチャー キャピタル会社 Andreessen Horowitz (a16z) のものです。 「LLM アプリ スタック」については次のように書かれています。

画像ソース: a16z

2. はい、最上層は依然としてデータです

明らかに、LLM テクノロジー スタックで最も重要なものはデータです。 a16z の図では、これが最上位層です。 「埋め込みモデル」では LLM が登場します。OpenAI、Cohere、Hugging Face、またはますます人気が高まっているオープンソースのものを含む他の数十の LLM オプションから選択できます。

しかし、LLM を使用する前であっても、「データ パイプライン」を構築する必要があります。LLM では、Databricks と Airflow の 2 つの例、つまりデータに対して「非構造化」処理を実行できるものを挙げています。これはデータ サイクルにも適合し、企業がカスタム LLM にデータを入力する前にデータを「クレンジング」または単純に整理するのに役立ちます。 Alation のような「データ インテリジェンス」企業は、この種のサービスを提供しています。これは、IT テクノロジー スタックでよく知られている「ビジネス インテリジェンス」ツールに少し似ています。

データ レイヤーの最後の部分は、LLM データを保存および処理するために使用される、最近人気の高いベクター データベースです。 Microsoft によれば、これは「特徴や属性の数学的表現である高次元ベクトルとしてデータを保存するデータベース」です。データは「埋め込み」と呼ばれる技術を使用してベクトルとして保存されます。

大手ベクターデータベースベンダーの Pinecone は、メディアチャットで、Pinecone のツールは Databricks などのデータパイプラインツールでよく使用されていると述べました。この場合、データは通常、他の場所（データ レイクなど）に保存され、その後、機械学習モデルによって埋め込みに変換されます。データを処理してチャンク化した後、結果のベクトルが Pinecone に送信されます。

3. プロンプトとクエリ

次の 2 つのレイヤーは、プロンプトとクエリとして要約できます。これは、AI アプリケーションが LLM および (オプションで) 他のデータ ツールとインターフェイスする場所です。 A16z は LangChain と LlamaIndex を「オーケストレーション フレームワーク」として位置付けています。つまり、開発者はどの LLM を使用しているかがわかれば、これらのツールを使用できます。

a16z によれば、LangChain や LlamaIndex などのオーケストレーション フレームワークは、「プロンプト チェーンの詳細の多くを抽象化」します。つまり、アプリケーションと LLM 間のデータのクエリと管理を意味します。このオーケストレーション プロセスには、外部 API とのインターフェイス、ベクター データベースからのコンテキスト データの取得、複数の LLM 呼び出しにわたるメモリの維持などが含まれます。 a16z チャートで最も興味深いボックスは、OpenAI、nat.dev、Humanloop を含む「Playgrounds」です。

A16z はブログ記事でこれを正確に定義していませんが、Playground ツールは開発者が A16z が「プロンプト柔術」と呼ぶものを実行するのに役立つと推測できます。これらの場所で、開発者はさまざまなヒント手法を試すことができます。

Humanloop は、プラットフォームの機能として「共同で情報を共有するワークスペース」を提供する英国企業です。さらに、同社は自らを「生産 LLM 機能のための完全な開発ツールキット」と表現しています。つまり、基本的には、LLM の機能を試してみて、動作する場合はアプリケーションに展開することができます。

4. 組立ラインオペレーション: LLMOps

大型モデルの生産ラインも明確になってきています。オーケストレーション ボックスの右側には、LLM キャッシュや検証などのいくつかの操作ボックスがあります。 LLM に関連するクラウドおよび API サービスも多数あり、その中には Hugging Face などのオープン API リポジトリや、OpenAI などの独自の API プロバイダーも含まれます。

これはおそらく、「クラウド ネイティブ」時代に私たちが慣れ親しんでいる開発者技術スタックに最も近いものであり、多くの DevOps 企業が AI を自社の製品リストに追加しているのは偶然ではありません。 5月に、私はHarnessのCEO、Jyoti Bansal氏と話をしました。 Harness は、CI/CD プロセスの「CD」部分に重点を置いた「ソフトウェア配信プラットフォーム」を運営しています。

バンサイ氏は、AI は、既存の機能に基づいた仕様の生成からコードの記述まで、ソフトウェア配信ライフサイクルに伴う退屈で反復的なタスクを軽減できると語った。さらに、AI はコードレビュー、脆弱性テスト、バグ修正、さらにはビルドとデプロイメントのための CI/CD パイプラインの作成も自動化できると彼は述べました。 5 月に私が行った別の会話によると、AI は開発者の生産性も変えているそうです。ビルド自動化ツール Gradle の Trisha Gee 氏は、AI によって反復的なタスク (定型コードの作成など) に費やす時間が短縮され、開発者がコードがビジネス ニーズを満たしているかどうかの確認など、全体像に集中できるようになるため、開発がスピードアップすると語りました。

5. Web3は時代遅れ、そして大規模なモデル開発スタックが登場

新たな LLM 開発テクノロジー スタックには、オーケストレーション フレームワーク (LangChain および LlamaIndex)、ベクター データベース、Humanloop などの「プレイグラウンド」プラットフォームなど、さまざまな新しい製品タイプが登場しています。これらはすべて、この時代を支えているコアテクノロジーである大規模言語モデルを拡張および/または補完するものです。

過去数年間の Spring Cloud や Kubernetes などのクラウドネイティブ ツールの台頭と同じです。しかし、現在、クラウドネイティブ時代のほぼすべての大手、中小企業、トップ企業が自社のツールを AI エンジニアリングに適応させるために全力を尽くしており、これは LLM テクノロジー スタックの将来の発展に非常に有益となるでしょう。

そうです、今回のビッグモデルは「巨人の肩の上に立つ」ものです。コンピューター技術における最高のイノベーションは常に、以前の基盤の上に構築されます。おそらくこれが「Web3」革命が失敗した理由です。前世代の基盤の上に構築するのではなく、それを奪おうとしたのです。

明らかに、LLM スタックはまさに​​その役割を果たしており、クラウド開発時代から新しい AI ベースの開発者エコシステムへの架け橋として機能しているようです。

参考リンク: https://thenewstack.io/llm-app-ecosystem-whats-new-and-how-cloud-native-is-adapting/