独自の大規模言語モデルを展開する 5 つの方法

これは歴史上最も急速に成長している新技術です。生成 AI は世界を変え、画像、ビデオ、オーディオ、テキスト、コードの作成方法を変革します。

Dell が 9 月に IT 意思決定者を対象に実施した調査によると、回答者の 76% が、生成 AI は組織に「変革的ではないにしても、大きな」影響を与えると回答し、ほとんどの回答者が今後 12 か月以内に有意義な結果が得られると期待しています。

大規模言語モデル (LLM) は生成 AI の一種です。画像や音声ではなくテキストとコードに重点を置いていますが、一部のモデルではさまざまなモダリティを統合し始めています。現在、企業で最も人気のある LLM には、ChatGPT やその他の OpenAI GPT モデル、Anthropic の Claude、Meta の Llama 2、アブダビの Technology Innovation Institute のオープンソース モデル Falcon などがあります。その中でも、Falconは英語以外の言語をサポートしていることで知られています。

企業が音声認識装置を導入する方法はいくつかあります。たとえば、従業員にパブリック アプリケーションへのアクセスを許可する、プロンプト エンジニアリングとアプリケーション プログラミング インターフェイスを使用して既存のソフトウェアに音声認識装置を埋め込む、ベクター データベースを使用して精度と関連性を向上させる、既存のモデルを微調整する、独自のモデルを構築するなどです。

01｜パブリックLLMの導入

イスラエルのクラウド データ セキュリティ企業 Dig Security のエンジニアは、ChatGPT を使用してコードを記述します。 「エンジニアは皆、コードをより速く書くために何かを利用している」とCEOのダン・ベンジャミン氏は語った。 ChatGPT は、最も初期かつ最もシンプルなコーディング アシスタントの 1 つです。しかし、これには問題もあります。アップロードした情報が次世代のモデルのトレーニングに使用されるかどうかは、決してわかりません。 Dig Security は、この可能性に 2 つの方法で対処します。まず、会社は安全なゲートウェイを使用してアップロードされた情報を確認します。 ”

「当社の従業員は、機密情報をアップロードできないことを知っています。すべてブロックされています」とベンジャミン氏は語った。

次に、同社は自社のプライベート Azure クラウド上で稼働する ChatGPT のバージョンにエンジニアを派遣しました。これは、Dig Security が独自の独立した ChatGPT インスタンスを取得することを意味します。セキュリティに対するこの「厳しい」アプローチでさえ、完璧な解決策ではないとベンジャミン氏は主張する。 「完璧な解決策など存在しない。完璧な解決策があると考える組織は、自らを欺いている。」

たとえば、誰かが VPN または個人のコンピューターを使用して ChatGPT のパブリック バージョンにアクセスする可能性があります。これには、別のレベルのリスク軽減が必要です。

「重要なのは従業員のトレーニングであり、従業員が何をすべきかを理解し、適切なデータセキュリティのトレーニングを受けていることを確認することだ」と彼は語った。

Dig Security は単独ではありません。

Skyhigh のエンタープライズ マーケティング ディレクターである Tracy Holden 氏は、2023 年上半期に約 100 万人のエンドユーザーがエンタープライズ インフラストラクチャを通じて ChatGPT にアクセスし、1 月から 6 月の間にユーザー数が 1,500% 増加したと述べています。

Netskope Threat Labs の 7 月のレポートによると、ChatGPT には他の種類の機密データよりも多くのソース コードが投稿されており、企業ユーザー 10,000 人あたり毎月 158 件のインシデントが発生しています。

最近では、企業は、使いやすさと追加の制御および保護を組み合わせた、Microsoft の Copilot などのより安全でエンタープライズに適したオプションを利用するようになりました。 11月初旬のOpenAI DevDayで、CEOのサム・アルトマン氏は、現在同社のChatGPTチャットボットを使用するアクティブユーザーは1億人、APIを使用する開発者は200万人おり、フォーチュン500企業の92%以上がOpenAIプラットフォームで開発を行っていると述べた。

02｜ベクターデータベースとRAG

LLM をカスタマイズしたいと考えているほとんどの企業にとって、Search Enhancement Generation (RAG) が最適です。誰かが埋め込みやベクター データベースについて話している場合、通常はこれが意味されます。仕組みとしては、ユーザーが会社のポリシーや製品について質問するというものです。この問題はすぐには LLM に設定されません。代わりに、まずそれを処理します。ユーザーは情報にアクセスできますか?アクセスが許可されると、通常はベクター データベースから、関連する可能性のあるすべての情報が取得されます。質問と関連情報は、ローカル言語マネージャーに送信され、最適化されたプロンプトに埋め込まれます。このプロンプトでは、ローカル言語マネージャーの好みの回答形式と音声のイントネーションも指定される場合があります。

ベクター データベースは、情報を一連のリストに整理し、それぞれ異なる属性で並べ替える方法です。たとえば、アルファベット順のリストがある場合、回答がアルファベット順に近いほど、関連性が高くなります。

アルファベット順のリストは 1 次元のベクトル データベースですが、ベクトル データベースは無限の数の次元を持つことができるため、任意の要因への近さに基づいて回答を検索できます。したがって、LLM と組み合わせて使用​​するのが最適です。

「現在、すべてをベクター データベースに変換する作業を進めています」と、セールス エンゲージメント プラットフォームのベンダーである Salesloft の最高製品およびエンジニアリング責任者である Ellie Fields 氏は言います。確かに、作業は進行中です。

彼女は、LLM クエリのコンテキストを提供するために単純なドキュメントを使用するよりも、これが効果的であると考えています。

同社では主にオープンソースのベクトルストレージChromaDBを使用しており、その主な用途はLLMです。 Salesloft が使用するもう 1 つのベクター データベースは、PostgreSQL データベース用のベクトル類似性検索拡張機能である Pgvector です。

「しかし、私たちはFAISSとPineconeを使った研究も行いました」とフィールズ氏は語った。FAISSはFacebook AI Similarity Searchの略で、マルチメディア文書の類似性検索をサポートするMetaが提供するオープンソースライブラリである。

Pinecone は、開発者にも人気の独自のクラウドベースのベクター データベースで、無料レベルで最大 100,000 個のベクターをサポートします。ベクター データベースから関連情報が取得され、ヒントが埋め込まれると、クエリは Microsoft Azure のプライベート インスタンスで実行されている OpenAI に送信されます。

「当社は、Azure を当社のプラットフォーム上の新しいサブプロセッサとして認定しました」とフィールズ氏は述べました。「新しいプロセッサが追加された際には、常にお客様にお知らせしています。」

しかし、Salesloft は Google や IBM とも提携しており、それらのプラットフォームを使用する生成 AI 機能を開発しています。

「私たちは間違いなく、さまざまなベンダーやさまざまなモデルと連携しています」と彼女は言います。「状況は毎週変化しています。さまざまなモデルに注意を払わないと、チャンスを逃してしまいます。」そこで、RAG は企業が独自のデータをモデル自体から切り離せるようにし、より優れたモデルがリリースされたときにモデルを簡単に交換できるようにしています。さらに、モデルの追加的な微調整や再トレーニングを必要とせずに、ベクトル データベースをリアルタイムで更新できます。

「当社は、モデルを OpenAI から Azure 上の OpenAI に切り替えました。さまざまな OpenAI モデル間で切り替えました。顧客ベースのさまざまな部分に対して、異なるモデルをサポートする可能性もあります」とフィールズ氏は語った。

モデルによって API が異なる場合もあると彼女は付け加えた。 「簡単なことではありません」と彼女は言う。「しかし、モデルを変更する方が再トレーニングするより簡単です。ベクター データベースよりも微調整に適したユースケースはまだ見つかっていません。ユースケースはあると思いますが、今のところパフォーマンスが優れているユースケースは見つかっていません。」

Salesloft の LLM の最初のアプリケーションの 1 つは、クライアントが見込み客に販売メールを送信できる機能を追加することでした。 「顧客はこうしたメールを書くのに多くの時間を費やします」とフィールズ氏は言う。「書き始めるのが難しく、文章が書けなくなることがよくあります。」そのため、顧客はターゲット ペルソナ、価値提案、行動喚起を指定できるようになり、パーソナライズ可能な 3 つの異なるメール下書きを受け取ることができます。フィールズ氏によると、Salesloft はメールの作成に OpenAI の GPT 3.5 を使用しているという。

03｜ローカルで動作するオープンソースモデル

ボストンに拠点を置く Ikigai Labs は、企業がカスタムの大規模グラフ モデル、つまり構造化データを処理するために設計された AI モデルを構築できるプラットフォームを提供しています。しかし、インターフェースを使いやすくするために、Ikigai はフロントエンドで LLM を使用します。たとえば、同社は Falcon オープンソース LLM の 70 億パラメータ バージョンを使用し、一部の顧客向けに独自の環境で実行しています。

LLM に情報を供給するため、Ikigai はローカルでも実行されるベクター データベースを使用します。共同創設者兼共同CEOのDevavrat Shah氏は、このデータベースはフロンティアフォレストアルゴリズムに基づいて構築されていると語った。

「4年前、MITで私と数人の学生は、大規模なベクターデータベースの実験を行った」と、イキガイ・ラボの人工知能教授でもあるシャー氏は語った。 「便利なのは分かるけど、こんなに便利なのは初めて」

モデルとベクターデータベースをローカルに保存しておくことで、データが第三者に漏洩することはないと彼は述べた。 「他のクライアントにクエリを送信できるクライアントには、OpenAI を使用します。LLM とは一切関係ありません」とシャー氏は語った。

Pricewaterhouse Coopers は独自の ChatPWC ツールを構築しましたが、これも LLM とは無関係です。 「ChatPWC は当社の従業員に力を与えてくれます」と、同社のパートナーであり、gen AI の市場開拓戦略責任者であるブレット・グリーンスタイン氏は語る。例えば、ChatPWC には職務記述書を作成するためのプロンプトがあらかじめ組み込まれている。 「このツールには、私が必要とするすべてのフォーマット、テンプレート、用語が揃っています」と同氏は言う。「当社には人事、データ、プロンプトの専門家がおり、非常に優れた求人広告を作成できるツールを設計しました。今では、求人広告用のすばらしいプロンプトを作成する方法を誰も知る必要はありません。」

このツールは Microsoft Azure 上に構築されていますが、同社は Google Cloud Platform と AWS 用にも構築しています。グリーンスタイン氏: 「私たちは顧客にサービスを提供しなければなりませんが、顧客はあらゆるクラウドを利用しています。同様に、顧客が望むように、バックエンドでさまざまなモデルを使用するように最適化されています。私たちが持っているすべてのモデルが機能します。Llama 2、Falcon など、すべて揃っています。」

「人々にできることはたくさんあります。モデルから独立したデータを構築したり、市場が変化して新しいモデルが登場してもデータとガバナンス構造が依然として関連性を持つようなガバナンス構造を構築したりすることなどです」と彼は語った。

04 |微調整

経営コンサルティング会社 AArete は、オープンソース モデル GPT 2 を採用し、独自のデータに基づいて微調整しました。 「軽量です」と同社のデジタル技術サービス担当副社長プリヤ・イラガヴァラプ氏は語る。「社内環境で使用、配布できるようにオープンソースのものを求めていました。」

AArete がホストされたモデルを使用し、API を介してそれに接続する場合、信頼の問題が発生します。 「私たちは、通報から得たデータが最終的にどこに行き着くのかを懸念しています」と彼女は語った。「そのようなリスクを負いたくないのです。」

オープンソース モデルを選択する際には、過去のダウンロード数、コミュニティ サポート、ハードウェア要件を考慮します。

「ベースモデルには、タスクとの関連性も必要です」と彼女は言います。「モデルの中にはタスク固有のものもあります。たとえば、私は最近、PDF のコンテンツを構造化された形式に解析できるハグ顔モデルに取り組みました。」

金融業界やヘルスケア業界の多くの企業は、独自の追加データセットに基づいて LLM を微調整しています。

「基本的な LLM はインターネット全体を対象にトレーニングされています」と彼女は言います。「微調整を行うことで、企業は自社のビジネス ユースケースに特化したモデルを作成できます。」

一般的なアプローチは、質問と回答のリストを作成し、それらの質問と回答に基づいてモデルを微調整することです。実際、OpenAI は 8 月に質問応答を使用した GPT 3.5 モデルの微調整を許可し始め、11 月の DevDay で GPT 4 の新しい微調整、カスタマイズ、および RAG オプションのセットをリリースしました。

企業がすでによくある質問のデータベースを持っている可能性があるため、これは顧客サービスやヘルプデスクのアプリケーションに特に役立ちます。

さらに、DELL の調査では、21% の企業が独自のデータを使用して、独自の環境で既存のモデルを再トレーニングすることを好んでいます。

「最も人気のある選択肢はLlama 2のようです」と、コンステレーション・リサーチ社の副社長兼主席アナリストのアンディ・トゥライ氏は語る。「Llama 2には3つの異なるサイズがあり、月間ユーザー数が7億人未満の企業には無料で提供されます」。トゥライ氏は、企業が独自のデータセットでLlama 2を微調整し、すぐに新しいカスタムモデルを作成できると考えている。実際、Hugging Face LLM のリーダーボードは現在、さまざまな調整とカスタマイズが施された Llama 2 が独占しています。 Llama 2 以前は、Falcon が最も人気のあるオープンソース LLM でした。 「今は軍拡競争です。微調整により、特定のビジネスユースケースに適したより正確なモデルを作成できます」と彼は言いました。汎用のLlamaモデルを使用すると、精度は低くなる可能性があります。

RAG 埋め込みと比較して、微調整にもいくつかの利点があります。埋め込み方式を使用する場合、企業はクエリごとにベクター データベース検索を実行する必要があります。 「そして、データベースを実装する必要があります。これも簡単ではありません」とトゥライ氏は語った。

微調整にはコンテキスト ウィンドウの制限もありません。埋め込みを通じてプロンプトに追加できる情報には制限があります。企業が微調整を行う場合、それは頻繁に行われるわけではなく、基盤となる AI モデルの大幅に改良されたバージョンをリリースするときのみ行われます。

最後に、企業が急速に変化するデータセットを持っている場合、埋め込みと組み合わせて微調整を使用できます。 「まず微調整を行い、その後 RAG を実行して段階的な更新を行うことができます」と彼は言いました。

Forrester Research のアナリスト、Rowan Curran 氏は、今後 1 年ほどで、細かく調整されたドメイン固有のモデルが急増すると予想しています。しかし、そうしている企業はわずか10％以下だと彼は言う。

プライスウォーターハウスクーパースのグリーンスタイン氏は、SaaSアプリケーションなどのアプリケーションを構築するソフトウェア企業は、微調整技術を使用する可能性が高いと述べた。 「繰り返しの多いパターンであれば、微調整によってコストを削減できます」と彼は言います。「しかし、エンタープライズ展開の場合、RAG は 90% から 95% の確率でより効率的です。」

「私たちは現在、特定の業界向けにモデルを微調整することを検討しています」と、カナダの企業検索および推奨会社 Coveo の ML 担当副社長、セバスチャン・パケット氏は付け加えた。「医療業界のように、専門用語を持つ専門業界があります。トラック部品を販売する企業には、部品に独自の名前を付ける方法があります。」

ただし、同社は現在、プライベート Azure クラウド上で実行される OpenAI の GPT 3.5 と GPT 4 を使用しており、LLM API 呼び出しは分離されているため、Coveo は必要に応じて別のモデルに切り替えることができます。同社では、特定のユースケース向けに、Hugging Face のオープンソース LLM もいくつか使用しています。

05｜ LLMをゼロから構築する

独自の LLM をゼロから構築する企業はほとんどありません。結局のところ、これらの企業は定義上、かなり大規模です。 OpenAI の GPT 3 には 1,750 億のパラメータがあり、460 万ドルのコストで 45 TB のデータセットでトレーニングされました。 OpenAIのCEOサム・アルトマン氏によると、GPT 4には1億ドル以上の費用がかかったという。

このスケールにより、LLM は魔法のような能力と人間の言語を処理する能力を獲得し、ある程度の常識と指示に従う能力を獲得します。

「自分のデータだけでトレーニングすることはできません」と、インサイトの著名なエンジニアであるカーム・タグリエンティ氏は言う。「価値あるものにするには、何千万ものパラメータでトレーニングする必要があります。」

現在、LLM 取得者のほとんどは、大規模なスーパーコンピューターや、OpenAI や Anthropic などの AI に特化したスタートアップ企業から輩出されています。

独自のモデル構築において豊富な経験を持つ企業でさえ、独自の LLM の作成から離れつつあります。

たとえば、Salesloft は、以前の技術を使用した生成 AI モデルを含む独自の AI および機械学習モデルを何年も構築していましたが、まったく新しい最先端の基礎モデルをゼロから構築することには躊躇していました。

「これは膨大な計算ステップであり、少なくとも現段階では実行するつもりはない」とフィールズ氏は語った。

出典: www.cio.com