AIが5分で「3D展示」を完成させる「魔法の博物館」を制作

よく見てください、ここはメカスーツまで多種多様な展示品がある「魔法博物館」です...

魔法の鏡、クリスタルの杖...まるで本当に魔法の世界に入ったかのように、あらゆるものが揃っています。

そうです、この「博物館」の「展示物」はすべて AI によって作成されており、1 つ作成するのに 5 分しかかかりません。

南洋理工大学、上海AI研究所などの研究者が共同で、新しいVincent 3Dベースモデル3DTopiaを発表しました。

テキスト一式だけで、5分以内に多様で高精度な3Dモデルを生成できます。

「魔法博物館」の展示品以外にも、3DTopia では日常的なオブジェクトも正確に合成できます。

たとえば、上司が突然オフィスを飾りたくなった場合、テーブルや椅子の外観を作成し、テーブルの上のコーヒーまで一緒に「準備」することができます。

少々突飛なことでも構いません。人々が思いつけば、月の「砂のテーブル」を作ることができます。

では、3DTopia を使用して 3D モデルを作成するにはどうすればよいでしょうか?

推論は2段階で行われる

3DTopia の推論プロセスは 2 つの段階に分かれています。最初の段階では、プロンプトの単語に基づいてポイント クラウド形式で大まかなモデルを生成します。

たとえば、ロボットモデルを生成するように指示すると、最初の段階で取得されるモデルは次のようになります。

2 番目の段階は、チームが立ち上げた theeefiner を使用して、この大まかなポイント クラウドを精緻化し、色付けなどの操作を完了することです。

イーファイナーを最適化した後、ロボットモデルは最終的に人間に馴染みのあるものになりました。

したがって、実際の運用プロセスでは、これら 2 つの部分で使用するツールを個別に展開する必要もあります。

まず、3DTopia ファイルを pull し、conda を使用して仮想環境を作成し、インストールを完了します。次に、別のチュートリアルのデプロイメントの第 2 段階で使用する threefiner をインストールします。

デプロイが完了すると、チェックポイント ファイルが HuggingFace からダウンロードされ、指定されたディレクトリに配置されます。

全体のプロセスは難しくありませんが、初心者が操作するには多少の労力が必要になる場合があります。

したがって、このデプロイメント プロセスが面倒すぎると思われる場合は、優れた人物によって調整された Colab ノートブックを参照してください。

このノートブックを使用すると、プロンプトの単語とファイル名を変更するだけで、展開プロセスはワンクリックで完了します。ただし、実際のテストでは、完璧に実行するには A100 を選択する必要があります。

このノートでは、第 2 段階を 2 つのサブステップに分割しているため、デプロイ後に合計 3 つのコードを実行する必要があります。プロンプト ワードを変更する方法は、次の図のとおりです。

ステージ 1 で生成されたファイル名は、左側のフォルダー アイコンをクリックすると、3DTopia - results ディレクトリで見つかります。最初のドラフトのプレビュー ビデオもステージ 1 ディレクトリに生成されます。

最終的な製品モデルは、デフォルトで stage2 ディレクトリに保存されます。

ただし、現在のノートのステップ 2-2 に小さなエラーがあることに注意する必要があります。実行する前に、threefiner の前に英語の感嘆符を追加する必要があります。そうしないと、正しく実行されません。

GitHub: https://github.com/3DTopia/3DTopia
Colab ノート: https://colab.research.google.com/github/camenduru/3DTopia-jupyter/blob/main/3DTopia_jupyter.ipynb