Hugging FaceはLLM向けの新しいGitHubです

翻訳者 |李睿

レビュー | Chonglou

大規模言語モデル(LLM)は近年テクノロジー業界に旋風を巻き起こし、新たなイノベーションの領域を開拓し、検索から顧客サービスまであらゆるものに革命をもたらしています。この AI 革命を支えているのは、 GitHubやHugging Faceなどのオープンエコシステムであり、開発者や企業はこれらを活用してLLM を迅速に構築、展開、拡張することができます。 GitHub がソフトウェア開発とコラボレーションのプラットフォームとして定着したのと同様に、 Hugging FaceはLLM関連のあらゆるものの事実上のハブになりつつあります。

大規模言語モデルの台頭

GPT-3 、 BERT 、 PaLMなどのLLM は、人間のようなテキストを生成し、質問に答え、文書を要約し、さらには単純なテキストプロンプトに基づいてコードを記述する機能を備えており、技術コミュニティが想像力を働かせることを可能にしています。マッキンゼー・アンド・カンパニーが発表した調査レポートによると、 LLMに重点を置く自然言語処理のスタートアップへの投資は、 2020年の1億ドルから2021年には15億ドル以上に急増した。

この関心の高まりは、さまざまな AI の課題に対処するLLM の汎用性に起因しています。たとえば、 OpenAIのChatGPT は会話タスクに優れており、 Cohereの生成的自然言語処理APIなどのツールはテキストを要約したりコンテンツをモデレートしたりできます。 LLM は、インテリジェント検索から自動化された顧客サポートまで、あらゆる分野の進歩を推進し、企業の運営方法を変えています。

マッキンゼー・アンド・カンパニーは、 2025年までにLLMが米国経済に年間2,000億ドルから3,000億ドルの経済価値を生み出すと予測しています。 Google、 Meta 、Microsoftなどのアメリカのテクノロジー大手や新興企業は、 LLMの可能性を活用するために競争している。しかし、 LLMの構築、展開、反復には、特殊なインフラストラクチャとツールが必要です。

ソフトウェアコラボレーションにおけるGitHubの重要な役割

LLMハブとしてのHugging Faceの重要性が高まっている理由を理解するには、 GitHub がソフトウェア開発で果たす重要な役割を理解することが役立ちます。 2008 年に開始されたGitHub は、バージョン管理とソースコード管理のためのオープンソースGitプロトコルの先駆者です。

現在、 GitHub には2億を超えるコードリポジトリと8,300万人を超える開発者がいます。開発者に共同作業、コードのレビュー、問題の追跡、ソフトウェアのリリースを行うツールを提供します。 2018 年に Microsoft がGitHubを75億ドルで買収したことからもわかるように、 GitHub はソフトウェアチームの運営に不可欠なものとなっています。

2021年のStackOverflowの調査によると、開発者の90%以上がGitHubを使用しています。このプラットフォームのソーシャルコーディング機能は、ソフトウェア開発における障壁を打ち破ります。開発者はオープンソースプロジェクトを活用してビルドを高速化できます。また、企業はGitHubのエンタープライズ製品を使用してコーディングワークフローを効率化しています。 GitHub は開発者文化に深く根ざしており、ソフトウェアコミュニティがコードを作成、拡張、展開する方法を形作っています。

Hugging FaceがLLMの推奨プラットフォームに

GitHub がオープンソース開発を推進したのと同様に、 Hugging FaceはLLMのオープンエコシステムアプローチを先導しています。 Hugging Faceは2016 年に設立され、当初は自然言語処理に重点を置いていました。 2020 年にはLLMに目を向け、さまざまなLLMアーキテクチャ( BERTやGPT-2など) を標準化されたAPIで統合するTransformerライブラリを作成しました。

このライブラリは、LLM の操作の複雑さを抽象化することで、 LLMへのアクセスを民主化します。現在、 Hugging Face は20 万人を超えるユーザーを抱える活気あるコミュニティとなっています。主な製品は次のとおりです。

モデルセンター: OpenAIのCLIPやSalesforceのBLENDERなどのLLMを含む100,000を超えるAI モデルのリポジトリ。 LLMを使用するための敷居を下げます。
タガー: LLMテキストのタグ付けとエンコードを行うための事前トレーニング済みモデル。データの前処理は非常に重要です。
データセット: LLM のトレーニングと評価用に慎重にキュレーションされたデータセット。
Spaces : LLMを利用したアプリケーションをデプロイ、監視、スケーリングするためのMLOpsプラットフォーム。
Infinite :自然言語クエリに対する回答を生成するためのGPTモデルに基づく Wiki スタイルのデータセット。

このツールセットは、検出から展開までのLLM開発ライフサイクル全体に対応します。 Hugging Face はStreamlightなどのプラットフォームとの統合も構築しており、ノーコードLLMの実験を可能にしています。

ハギング・フェイスは、その人気の高まりを反映して、これまでに1億ドルの資金を調達しています。昨年、ハギング・フェイスの評価額は5倍の20億ドルに増加した。世界トップクラスの人工知能研究所や企業もHugging Faceに取り組んでいます。

LLM の GitHub

Hugging Face のモデル、データセット、開発者ツールの巨大なハブは、「 LLM GitHub 」というニックネームを得ています。そのモデルセンターは、 LLMで働きたい人にとって出発点となります。開発者は、 Meta AIのOPT-175Bなどのモデルの最適化された実装を同社の Web サイトで見つけることができます。

その後、 Hugging FaceのTransformersライブラリを通じてこれらのモデルにシームレスにアクセスできるようになります。これにより、高度なLLM を使用するためのハードルが大幅に下がり、企業は独自のLLM をゼロから構築する必要がなくなります。代わりに、 Hugging Face の事前構築されたLLMを取得し、検索や分析などの分野でのカスタムユースケースに合わせて微調整することができます。

Spaces は、 LLMアプリケーションの共同構築、テスト、および展開をサポートします。 Hugging Faceのオープンデータセットと活発なコミュニティフォーラムと組み合わせることで、 LLM向けにカスタマイズされたGitHub のオープンソース精神の中核要素を再現します。

米国の大手テクノロジー企業の機械学習エンジニアであるレオ・ザオ氏は、 Hugging Face の LLMワークフローへの統合について次のようにまとめています。「新しいプロジェクトでLLM が必要なときはいつでも、まずHugging Faceに頼ります。同社のモデルセンターには、選択できるオプションが山ほどあります。数行のコードで、すぐにラベルを付けてモデルにデータを供給できます。Spaces を使用すると、 GPUクラスターでモデルトレーニングを簡単に拡張できます。LLMに関連するすべてのものをワンストップで提供できるプラットフォームです。」

GitHub の例えは、Hugging Face が LLM を中心に協力的なコミュニティを育成する方法にも当てはまります。その技術フォーラムは、何万人もの LLM 開発者とユーザーにとって重要な知識とサポートの源となっています。 Hugging Face は、人気の LLM カンファレンスを通じてこのコミュニティをさらに育成し、最新の進歩へのアクセスを民主化しています。

LLM導入の課題を克服する

Hugging Face は、企業がLLM導入における主要な障壁を克服する上で役立つことが証明されています。 McKinsey & Companyが実施した調査によると、企業がLLMで直面する最大の課題は、価値を評価し、ユースケースを特定することです。 Hugging Face は、幅広いLLM選択と推奨される微調整データセットを一元管理することで、この問題を軽減します。

さらに、 LLM を本番環境に導入すると、複雑なデータとインフラストラクチャの問題が発生します。 Hugging Faceのエンドツーエンドのプラットフォームは、モデルへのアクセスから展開まで、企業のこうした障害を取り除きます。

LLM を大規模に構築および運用するために必要な財務投資も、 LLMの導入を妨げています。 Hugging Face は、簡単にアクセスできる事前トレーニング済みモデルを提供することでコストを削減します。 Space は、サーバーレスアーキテクチャと、 TPUなどのスケーラブルなクラウドコンピューティングハードウェアのサポートを通じて、支出をさらに最適化します。これにより、小規模なチームやスタートアップでも大規模なLLM実験が可能になります。

LLMで未来を変える

今後、ハギングフェイスはLLMの拠点として成長を続けていくと思われます。そのコミュニティは、人気の AI フォーラムを上回っています。ますます多くの開発者や企業が、生産パイプラインでTransformersライブラリやTokenizerなどのツールに依存しています。

LLM は、マーケティング、販売、財務などの分野で根本的な変化を推進します。マッキンゼー・アンド・カンパニーは、 LLMによって現在の業務活動の30% ～ 45%が自動化され、大きな社会的影響が生まれると見積もっています。 LLM にとってのイノベーションの障壁を下げるHugging Faceのようなプラットフォームは、LLM の変革の可能性を実現する上で中心的な役割を果たすでしょう。

GitHub がソフトウェアエンジニアリングを加速させたのと同様に、 Hugging Face は開発者や企業がLLMのパワーをより迅速かつ効率的に活用できるようにします。成長するLLM主導の経済にとって、 Hugging Face は未来への入り口となります。その包括的なプラットフォームは、新しい市場を活性化し、人間と AI の大規模なコラボレーションを可能にし、技術進歩の次の時代を先導することができます。