EasyDL Professional Notebookモデリング機能の詳しい説明

Jupyter Notebook は、開発やドキュメントの作成からコードの実行、結果の表示まで、コンピューティング プロセス全体に使用できるインタラクティブ コンピューティング用の Web ベースのアプリケーションです。つまり、Jupyter Notebook を使用すると、開発者は Web ページ上で直接コードを記述して実行できます。コードの実行結果は、コード ブロックのすぐ下に表示されます。同時に、プログラミング プロセス中に説明ドキュメントを記述する必要がある場合は、同じページに直接記述することもできます。これは、タイムリーな記述や説明に便利です。ノートブックは、機械学習の学習とトレーニングに非常に適した、柔軟で使いやすいインタラクティブな方法です。機械学習プロジェクトでは、テストと実験を繰り返し、パラメータ調整プロセスを文書化することがよく必要になります。ノートブックは、データ視覚化コードの開発と表示、実験データの観察にも使用できます。まとめると、Jupyter Notetook 自体には次の機能があります。

1. プログラミング時に構文の強調表示、インデント、タブ補完機能を備えています。

2. コードブロック内のコードをブラウザで直接実行し、リアルタイムでデバッグすることができ、実行中の出力はコードブロックのすぐ下に表示されます。

3. ドキュメントを書くためのMarkdown構文をサポートする

4. 数学的記述を書くためのLaTeXの使用をサポートする

5. HTML、PNG、SVG などのデータ視覚化をサポートします。

AI開発プロセスにおいて、ノートブック開発方式は開発者がより直感的かつ便利にコードを記述するのに役立ち、それによってモデルの開発速度が向上することがわかります。 Baidu Brain EasyDL は、インテリジェントなラベリング、モデルのトレーニング、サービスの展開など、プロセス全体の機能をワンストップでサポートするゼロしきい値の AI 開発プラットフォームであり、エンタープライズ開発者向けに設計されています。 EasyDL Professional Editionは、高精度のAIモデルの徹底的な開発をサポートします。開発者に使いやすく柔軟な開発環境を提供するために、Professional Editionは2020年4月にノートブック機能を開始し、ディープラーニングプロジェクト開発におけるJupyter Notebookの上流と下流のリンクを接続しました。開発者は、EasyDLのワンストップディープラーニングモデル開発プロセスを享受しながら、トレーニングやパラメータ調整に適した事前トレーニング済みモデルを自由に使用することもできます。具体的には、EasyDL Professional Edition のノートブックには次の機能があります。

1. EasyDL データ管理モジュールが接続されており、繰り返しアップロードすることなく、EasyDL のデータセットを直接トレーニングに使用できるようになります。

2.強力なコード編集の柔軟性、完全にカスタマイズされたモデルトレーニング環境、EasyDLスクリプトパラメータ調整の組み込みモデルに限定されないため、深くカスタマイズされたモデルの自己プログラミングのニーズを満たします。

3.高性能GPUトレーニングリソース（V100）と十分な無料トライアルクォータ（現在100時間）を提供する

4. EasyDLコンソールでノートブックによって生成されたモデルのマルチバージョン管理と効果比較を提供します。

5.ワンクリックサービス展開を提供し、一時的な効果検証と本番環境APIレベルのサービスカプセル化を実行できます。

次に、プロセスの紹介を使用して、これらの機能を徐々に紹介します。

EasyDL Professional Notebook を使用するための具体的な手順:

1. まず、次の URL からノートブックの操作ページに入ります。

https://ai.baidu.com/easydl/pro/app/projects/notebook/

Baidu Cloud アカウントにログインしていない場合は、まずログイン ページにリダイレクトされます。ログインに成功すると、EasyDL Professional Edition Notebook の操作インターフェイスが表示されます。

2. 現時点ではプロジェクトがないので、作成しましょう。 「今すぐ作成」をクリックし、ポップアップウィンドウでタスクの種類を選択します。単一ラベルまたは複数ラベルの画像分類、オブジェクト検出を選択し、名前やその他の情報を入力してから作成できます。

デモでは、オブジェクト検出が選択されています。後で生成されるコード テンプレートは、選択されたモデルに基づいて調整されます。

3. プロジェクトを作成すると、空のモデル バージョンが取得されます。次に、操作するためにノートブックを開く必要があります。ここで「環境の構成」をクリックし、PaddlePaddle のバージョン、Python のバージョン、GPU モデルを選択する必要があります。現在はデフォルトが GPU V100 になっており、100 時間の期間限定で無料です。価値、構成ともに優れています。

4. 「ノートブックを起動」をクリックします。起動時間は約 3 ～ 5 分です。

5. 起動が成功すると、ノートブック インターフェイスに入ることができます。左側の列にはフォルダー、データ セット、動作環境、および関連設定が表示され、右側にはエントリ ノートブックとターミナルが表示されます。
フォルダを見てみましょう。デフォルトでは 3 つのフォルダが保持されています。これらはすべて EasyDL の関連サービスに関係しています。勝手に削除しないでください。
-PretrainedModel フォルダ: ノートブックでトレーニングされたモデルを保存します。このモデルは、EasyDL でのその後のモデルの保存と公開に使用できます。
-data フォルダー: データ セットを保存するためのディレクトリ。最初は空です。EasyDL からインポートされたデータはここに保存されます。次の手順で具体的なインポート手順について説明します。
-demo フォルダ: プリセットのサンプルコードを保存し、エントリ ポイントは demo/train.sh です。

6. 次に、トレーニングフェーズに入ることができます。まず、データを準備する際に、EasyDL Professional Edition の一部である Notebook 開発環境では、EasyDL Professional Edition とデータセットを共有し、直接インポートすることができます。

• まず、左側のナビゲーションバーで[データセット]をクリックし、[データセットのインポート]をクリックします。プロフェッショナルバージョンにアップロードされたすべてのデータセットがポップアップ表示されます。必要に応じて、対応するデータセットを選択してインポートできます。

• 選択後、データセット タブでインポート中の選択したデータセットを確認できます。インポート時間はデータセットのサイズと正の相関関係にあります。

7. 次のステップは、トレーニング コードを実行することです。最初にサンプル コードを直接使用して実行できます。サンプル コードのエントリは demo/train.sh です。最初のパラメーターはデータセット パスで、2 番目のパラメーターはエクスポートを実行するモデル パスです。ここでのデータセット パスは、インポートする実際のデータセット パス (通常は /home/work/data/${dataset_id}) に変更する必要があります。dataset_id はデータセット インポート サイドバーで確認できます。また、インポートが成功した後にデータ フォルダーを直接表示することもできます。

8. データセット パスは、ノートブック コードでも変更できます。[実行] をクリックして、モデルのトレーニングを開始します。ここでは MNIST データセットを使用しますが、ボックス内の数字の位置を変更して、オブジェクト検出データセットにします。

この時点で、[Terminal-1] でトレーニング タスクが実行されていることがわかります。

9. 実行完了速度はデータ量に関係します。完了すると、PretrainedModel フォルダーに次のモデル ファイルが表示されます。

10. モデルをさらに調整することができますが、出力モデルはPretrainedModelフォルダに配置する必要があることに注意してください。次に、このデモモデルをリリースします。

a) まず、モデルを保存する必要があります。上の[モデルを保存]をクリックして、EasyDL コンソールに戻り、モデルを公開します。

b) まず、ポップアップ ウィンドウでモデル フレームワークを選択します。ここでは[新しいバージョンを生成する]または[既存のアップグレード可能なモデルを上書きする]を選択できます。

[新しいバージョンの生成] を選択すると、EasyDL コンソールのプロジェクトの下に新しいバージョンが表示されます。

EasyDLコンソールに表示されている古いバージョンを上書きするには、[既存のアップグレード可能なモデルを上書きする]を選択します。

c) 次に、保存するファイルを選択します。ここですべてのファイルを選択する必要があります。そうしないと、リリースが失敗します。

d) 次に、対応するコードを選択して保存します。

e) 最後に、「生成」をクリックします。しばらくすると、「バージョンが正常に生成されました」というプロンプトが表示されます。

11. EasyDL Professional Edition コンソールに戻ります。保存時に [新しいバージョンの生成] を選択したので、新しく作成された V2 バージョンがここに追加されていることがわかります。

12. 次に、「モデル構成」をクリックして公開の準備をします。ここで、モデルの関連情報を入力できます。次に、先ほどノートブック ページでモデルを保存したときに選択したモデル ファイルを選択します。

その後、モデル予測のための入力および出力パラメータ、前処理および後処理コードを編集できます。たとえば、リリース後に予測インターフェースによって返されるフィールドの形式を変更したいとします。ここではサイズ フィールドが追加されます。下の図を参照して変更を加え、[送信] をクリックします。

13. 送信後、プロフェッショナル バージョンのコンソールで、V2 バージョンのステータスが「コード検証」になっていることがわかります。ステータスが有効になるまで待ってから、「効果検証」をクリックしてデモを生成できます。

14. 「効果検証」をクリックしてモデル検証を開始します。

15. 数分待ちます。起動が完了したら、画像を使用してテストします。数字が 1 として認識され (予測ラベルは 1)、数字の位置がマークされていることがわかります。モデルは正常に動作しています。

16. 最後に、正式なデプロイメントを実行して、新しく追加されたカスタム サイズ フィールドが表示されるかどうかを確認します。

a) デプロイをクリックし、API名とカスタムURLフィールドに入力します。

b) ステータスがレビュー状態になります。レビューが完了すると、API呼び出しが可能になります。

c) 審査に合格すると、設定された通話URLを含むサービスの詳細が表示されます。

d) この時点で、API の呼び出しを試すことができます。具体的な呼び出し認証の問題については、公式ドキュメントを参照してください。

https://ai.baidu.com/ai-doc/EASYDL/Dk38n3yck

以下では、呼び出しの結果に「size」属性が含まれていることがわかります。

ノートブック開発方法に興味のある開発者は、上記のプロセスを参照して、EasyDL Professional Edition でノートブック モデリングを実行できます。今後も EasyDL は、ノートブックにプリセットされた豊富な事前トレーニング済みモデルを提供したり、ノートブック コードを EasyDL 分散トレーニング クラスターに自動的に移行する機能など、これを基盤として反復およびアップグレードを続け、開発者により柔軟で使いやすい AI モデル開発方法を提供していきます。

EasyDL は、PaddlePaddle のディープ開発プラットフォームに基づいてエンタープライズ レベルの開発者向けに構築されたゼロしきい値の AI 開発プラットフォームであり、データ処理、モデル トレーニング、モデル展開のためのフルプロセス機能を提供します。そのうち、EasyDL Professional Editionは、プロのアルゴリズムエンジニア向けに特別にリリースされたAIモデル開発およびサービスプラットフォームです。Baiduの膨大なデータでトレーニングされた事前トレーニング済みモデルが組み込まれており、少量のトレーニングデータでより良いトレーニング結果を達成できます。モデル サービスの展開に関しては、EasyDL は、パブリック クラウド API、デバイス側 SDK、サーバーベースの展開、ハードウェアとソフトウェアの統合ソリューションの展開としてモデルの公開をサポートしています。企業は、特定のモデル アプリケーション シナリオに基づいて適切な展開方法を選択できます。現在、小売、工業品質検査、生産安全、インターネット コンテンツ セキュリティなど、多くの業界で導入され、企業がインテリジェント変革を完了し、コスト削減と効率向上の目標を達成するのに役立っています。

Baidu で「EasyDL Professional Edition」を検索するか、直接アクセスしてください:

https://ai.baidu.com/easydl/pro、今すぐノートブック開発を始めましょう!