大規模言語モデルを導入し、国内初のコンピューティングパワーエコシステムをサポートする新しいオープンソースRLフレームワークRLLTEが登場

近年、強化学習に対する研究熱は高まり続けており、インテリジェント製造、自動運転、大規模言語モデルなど多くの分野で輝かしい成果を上げており、大きな研究の可能性を示しています。しかし、強化学習アルゴリズムの効率的で信頼性の高いエンジニアリング実装は、依然として長年の課題となっています。アルゴリズム構造が複雑なため、わずかなコードの違いが実際のパフォーマンスに重大な影響を及ぼす可能性があります。

この問題を解決するために、科学研究者や開発者コミュニティは、安定性と信頼性を重視したStable-Baselines3、モジュール設計のTianshou、単一ファイルアルゴリズム実装のCleanRLなど、強化学習フレームワークを数多く提案しており、強化学習の学術研究やアプリケーション開発に積極的に貢献しています。しかし、ほとんどのプロジェクトはアクティブサイクルが短く、合理的な長期的進化計画が確立されておらず、コードスタイルが異なっているため、コミュニティのオープンソースコラボレーションが制限されています。彼らは完全なプロジェクト エコシステムを構築しておらず、評価や展開などの実用的なニーズを無視して、モデルのトレーニングのみに焦点を当てています。同時に、これらのプロジェクトには完全なテストデータが不足しており、再現コストが非常に高くなり、その後の研究を妨げています。

上記の問題を解決するために、香港理工大学、寧波東方理工大学（仮称）、パデュー大学、DJIテクノロジーの研究者とアルゴリズムチームは、通信分野の「長期進化技術（LTE）」に着想を得て、強化学習の研究と応用を促進するための開発コンポーネントとエンジニアリング標準を提供することを目的とした、RLLTEと呼ばれるオープンソースの強化学習フレームワークをリリースしました。 RLLTE は、高品質のアルゴリズム実装を提供するだけでなく、新しいアルゴリズムの開発のためのツール ライブラリとしても使用できます。

• 論文リンク: https://arxiv.org/pdf/2309.16382.pdf
• コード/デモ リンク: https://github.com/RLE-Foundation/rllte
• 公式サイト: https://docs.rllte.dev/

図1 RLLTEフレームワーク図

RLLTE は、強化学習アルゴリズムを「探索と活用」の観点から完全に分離し、観察を処理するためのエンコーダーや、経験の保存とサンプリングのためのストレージなど、いくつかの最小限のプリミティブに分解します。 RLLTE は、開発者が各プリミティブに対して選択できる豊富なモジュール セットを提供し、開発者が「ビルディング ブロック」方式で強化学習アルゴリズムを構築できるようにします。 RLLTE フレームワークの主な機能とハイライトは次のとおりです。

• 極端なモジュール性: RLLTE の中心的な設計思想は、特定のアルゴリズムの実装を提供することに重点を置くのではなく、PyTorch のような強化学習アルゴリズム開発のための標準的で便利なプラグアンドプレイ開発コンポーネントを提供することです。したがって、RLLTE によって実装されるアルゴリズムの各コンポーネントは交換可能であり、ユーザーがカスタマイズされたモジュールを使用することをサポートします。この分離プロセスにより、アルゴリズムの解釈可能性の研究と改善のより深い探求が容易になります。
• 長期的進化: 長期的進化フレームワークとして、RLLTE は強化学習における高度なアルゴリズムとツールを継続的に更新します。プロジェクトの規模と品質を維持するために、RLLTE では一般的なアルゴリズムの更新、またはサンプリング効率や一般化能力の改善のみが行われ、これらのアルゴリズムは広く認識されているベースラインで優れたパフォーマンスを達成する必要があります。
• データ拡張: 近年の多くの研究では、強化学習アルゴリズムにデータ拡張技術を導入し、サンプリング効率と一般化能力の大幅な向上を実現しています。 RLLTE はデフォルトでデータ拡張操作をサポートし、開発者が選択できる多数の観測拡張および内在的報酬モジュールを提供します。
• 豊富なプロジェクト エコロジー: RLLTE は、学界と産業界の両方のニーズを考慮し、豊富なプロジェクト エコロジーを構築します。開発者は、タスクの設計、モデルのトレーニング、評価、およびデプロイメントを 1 つのフレームワークで実装できます。さらに、RLLTE は、ユーザーの学習コストを削減し、強化学習アプリケーションの構築を加速するために、フレームワークに大規模な言語モデルを導入しようとしています。
• 完全なベースライン データ: 既存の強化学習フレームワークでは通常、限られたタスクでのみアルゴリズムをテストし、完全なテスト データ (トレーニング カーブやテスト スコアなど) が不足しています。これは、強化学習のトレーニングの計算コストが高いため理解できますが、その後の研究の妨げになります。この問題を解決するために、RLLTE は Hugging Face プラットフォームに基づくデータ ウェアハウスを構築し、広く認知されているベースラインで組み込みアルゴリズムをテストして、完全なトレーニング データを提供しました。
• 複数のハードウェア サポート: 現在、世界的にコンピューティング パワーの需要が急増していることを踏まえ、RLLTE は柔軟性と拡張性を確保するためにさまざまなコンピューティング デバイスをサポートするように設計されています。現在、このフレームワークは、NVIDIA GPU と HUAWEI NPU を使用したトレーニングをサポートし、NVIDIA TensorRT および HUAWEI CANN アーキテクチャでの推論側の展開をサポートしています。 RLTLE は、国内のコンピューティング パワー エコシステムをサポートする最初の強化学習フレームワークでもあります。

図2. RLLTEフレームワークと他の一般的なオープンソースRLフレームワークとの機能比較

RLLTEフレームワークの紹介

RLLTE フレームワークは、主にコア層 (Core)、アプリケーション層 (Application)、ツール層 (Tool) の 3 つの層で構成されます。

• コア レイヤーは、RL アルゴリズムを「探索と活用」の観点から完全に分離し、次の 6 つのプリミティブに分割します。

図3 RLLTEコア層アーキテクチャ

RLLTE は、開発者がプリミティブの種類ごとに選択できる多数のモジュールを提供します。たとえば、ストレージ モジュールは、観測データをそれぞれプレーン形式と辞書形式で保存するための VanillaReplayStorage と DictReplayStorage を提供します。

• アプリケーション層は、コア層のモジュールに基づいて、強化学習アルゴリズム (rllte.agent)、事前トレーニング (Pre-training)、モデル展開 (Deployment)、開発アシスタント (Copilot) の実装を提供します。
• ツール レイヤーは、タスク設計 (rllte.env)、モデル評価 (rllte.evaluation)、およびベースライン データ (rllte.hub) 用の便利なアプリケーション インターフェイスを提供します。

ユーザーは、視覚制御タスクを解決するために DrQ-v2 アルゴリズムを使用するなど、トレーニング用に RLLTE によって実装されたアルゴリズムを直接呼び出すことができます。

トレーニングを開始すると、次の出力が表示されます。

あるいは、組み込みのアルゴリズム プロトタイプとモジュールを使用して、アルゴリズムを迅速に開発することもできます。

RLLTE を使用すると、開発者はわずか数十行のコードで A2C などのよく知られた強化学習アルゴリズムを実装できます。さらに、適切に実装されたアルゴリズムの場合、開発者は組み込みモジュールを置き換えて、パフォーマンスの比較やアルゴリズムの改善を行うことができます。たとえば、同じアルゴリズムのパフォーマンスに対する異なるエンコーダーの効果を比較します。

トレーニング済みのモデルの場合、開発者は rllte.evaluation 内のツールを呼び出してアルゴリズムの評価と視覚化を実行できます。

学術研究では、rllte.hub を使用してアルゴリズムのトレーニング データとモデル パラメータをすばやく取得します。

大規模言語モデルをRLフレームワークに統合する

RLLTE は、大規模な言語モデルを導入して開発者の学習コストを削減し、強化学習アプリケーションの開発を支援する最初の強化学習フレームワークです。

RLLTE は、LocalGPT などのプロジェクトの設計コンセプトに基づいて Copilot を開発しました。これにより、追加のトレーニングを必要とせず、ユーザー データの完全なプライバシーが保証されます。まず、インストラクター埋め込みツールを使用して、プロジェクト ドキュメント、チュートリアル、強化学習論文で構成されるコーパスを処理してローカライズされたベクトル データベースを構築し、次に Vicuna-7B などの大規模なモデルを使用して問題を理解し、ベクトル データベースに基づいて回答を提供します。ユーザーは自身の計算能力に応じて、基本モデルを自由に変更することができます。今後は、コーパスをさらに充実させ、より高度な機能を追加することで、よりインテリジェントな強化学習特化型 Copilot を実現していきます。

RLLTE は、長期的に進化する強化学習フレームワークとして、最新の研究の進捗を追跡し、今後も高品質のアルゴリズム実装を提供することで、開発者の変化するニーズに適応し、強化学習コミュニティにプラスの影響を与えていきます。