モデル推論が5〜20倍向上します。1行のコードで複数のDLコンパイラをテストできます。ハードウェアを理解していなくてもこのライブラリを使用できます。

最近、reddit の投稿がネットユーザーの間で大きな議論を呼びました。投稿の主な内容は、「AI モデルの最適化がいかに簡単かを知っている人はほとんどいません。数行のコードを追加するだけで、モデルの推論速度を 5 ～ 20 倍に上げることができます。」というものでした。

ポスターを掲げるのは、スタートアップ企業 Nebuly の共同設立者兼 COO であるエミール・コートハウド氏です。コートハウド氏は、現在の開発者は AI、データセットのクリーニング、モデルのトレーニングには熟練しているものの、ハードウェア、コンパイラ、コンピューティング、クラウドコンピューティングなどの側面に関する知識が不足していると考えています。その結果、開発者は適切なハードウェアを選択することの重要性を認識せずに、ソフトウェアのパフォーマンスの向上に多くの時間を費やすことになります。

この問題は長い間 Courthoud 氏を悩ませてきました。そこで彼と Nebuly の数人の友人 (全員 MIT、ETH、EPFL 出身) は、DL コンパイラー技術を採用し、ハードウェアについて何も知らない開発者でもアクセスできる nebullvm というオープンソースライブラリに多大な労力を費やしました。このライブラリは、すべてのオープンソース AI コンパイラーを同じ使いやすいインターフェイスに統合することを目指しています。

Nebullvm はどのように機能しますか?全体的には、さまざまな DL (ディープラーニング) コンパイラをテストし、ユーザーに最適なものを選択することで、ユーザーが使用する AI モデルをマシン (CPU、GPU など) と最適に結合し、モデルを約 5 ～ 20 倍高速化し、わずか数行のコードで完成させることができます。

プロジェクトアドレス: https://github.com/nebuly-ai/nebullvm

Nebullvm プロジェクトの紹介

ユーザーは、次の状況で Nebullvm ライブラリを使用することを選択できます。

AI モデルの応答時間を高速化したい。
市場にあるすべての DL コンパイラをテストするのではなく、特定のアプリケーションに最適なコンパイラを知りたいだけです。
私は複雑な問題を単純化するのが好きだし、ほんの数行のコードでどの DL コンパイラが自分にとって最適かを知りたいのです。

プロジェクトの作成者は、非常に使いやすいものを設計しました。DL モデルを入力するだけで、ハードウェアに一致する最適なモデルバージョンが得られます。

現在、このプロジェクトは PyTorch や TensorFlow などのフレームワークをサポートしており、まもなく Hugging Face もサポートする予定です。サポートされている DL コンパイラには、OpenVINO、TensorRT、TVM が含まれ、Rammer と MLIR も近々サポートされる予定です。

nebullvm をインストールするには、ソースコードを使用してインストールできます。git を使用してインストールする方法は次のとおりです。

 git クローンhttps://github.com/nebuly-ai/nebullvm.git

次にリポジトリに移動し、pip を使用して nebullvm をインストールします。

 cd ネブルlvm
 pip をインストールします。

PyPiのインストール: nebullvmをインストールする最も簡単な方法は、pipを使用して次のコードを実行することです。

 pip インストールnebullvm

自動インストールの方法は次のとおりです。この方法では、nebullvm でサポートされているすべての DL コンパイラを自動的にインストールできます。

 python - c "nebullvm をインポート"

ただし、自動インストールを回避したい場合は、次の方法を使用できます。

 エクスポートNO_COMPILER_INSTALLATION = 1

または、コマンドラインから追加します。

 インポートOS
 os . environ [ "NO_COMPILER_INSTALLATION" ] = "1"

nebullvm をインストールしたら、使用できます。次のコードは、nebullvm を使用して pytorch モデルを最適化する例を示しています。

 >>> トーチをインポート
>>> torchvision.models をモデルとしてインポートします
>>> nebullvm からoptimize_torch_model をインポートします
>>> モデル= models.efficientnet_b0 ( )
 >>> bs 、 入力サイズ= 1 、[( 3 、 256 、 256 )]
 >>> save_dir = "."
 >>> 最適化モデル= 最適化トーチモデル(
 ... モデル、 batch_size = bs 、 input_sizes = input_sizes 、 save_dir = save_dir
 ... ）
 >>> x = torch.randn (( bs , * input_sizes [ 0 ]) )
 >>> res = 最適化されたモデル( x )