Fooocus: シンプルで強力な安定した拡散 WebUI

Stable Diffusion は強力な画像生成 AI モデルですが、通常は多くのチューニングとヒントエンジニアリングが必要です。 Fooocus はそれを変えることを目指しています。

ControlNet 論文の著者でもある Fooocus の創設者 Lvmin Zhang 氏は、このプロジェクトを「Stable Diffusion」と「Midjourney」の設計の再構築であると説明しています。 Fooocus は Midjourney の無料オフライン版のようなものですが、SDXL モデルを使用します。言い換えれば、複雑な設定をほとんど行わずに、安定拡散描画プロセスを非常にうまく最適化します。

Fooocus には多くの最適化と品質改善が組み込まれて自動化されており、他のページでの手動設定が自動構成に変換されるため、Midjourney と同様に、あらゆる試行で良好な結果が得られます。さらに詳しい操作をしたい場合は、Fooocus の [詳細設定] タブを使用できます。シャープネスフィルターの設定や lora のカスタマイズなど。

この投稿では、FooocusをローカルとColabで使用する方法を紹介します。

Windowsで実行

ファイルをダウンロードして解凍し、run.bat を実行するだけです。とても簡単です。

初回実行時にモデルが自動的にダウンロードされます。それらのファイルがすでにある場合は、上記の場所にコピーしてインストールを高速化できます。

sd_xl_base_1.0_0.9vae.セーフテンソル
sd_xl_refiner_1.0_0.9vae.セーフテンソル

Fooocus は、16GB の RAM と 6GB の VRAM を搭載したシステムで非常に優れたパフォーマンスで実行できます。次の画像は Github からのものです。

最小要件は、4GB の Nvidia GPU メモリ (4GB VRAM) と 8GB のシステムメモリ (8GB RAM) です。

Linuxで実行

Linux ではさらに簡単です:

 git clone https://github.com/lllyasviel/Fooocus.git cd Fooocus conda env create -f environment.yaml conda activate fooocus pip install -r requirements_versions.txt

プロセスを高速化するために Windows に似たモデルをダウンロードしますが、起動コマンドは次のようになります。

 python launch.py

または、リモートポートを開きたい場合は、listenパラメータを使用する必要があります。

 python launch.py --listen

Google Colabで実行

GPUを使用する必要があるため、ここではT4 GPUを選択します。

次に、次のコマンドを使用します。ダウンロードとインストールのため、この操作は完了するまでに時間がかかる場合がありますが、Colab はすぐにダウンロードされるため、モデルを転送する必要はありません。

 %cd /content !git clone https://github.com/lllyasviel/Fooocus !apt -y update -qq !wget https://github.com/camenduru/gperftools/releases/download/v1.0/libtcmalloc_minimal.so.4 -O /content/libtcmalloc_minimal.so.4 %env LD_PRELOAD=/content/libtcmalloc_minimal.so.4 !pip install torchsde==0.2.5 einops==0.4.1 transformers==4.30.2 safetensors==0.3.1 accelerate==0.21.0 !pip install pytorch_lightning==1.9.4 omegacnotallow==2.2.3 gradio==3.39.0 xformers==0.0.20 tritnotallow==2.0.0 pygit2==1.12.2 !apt -y install -qq aria2 !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/sd_xl_base_1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors -d /content/Fooocus/models/checkpoints -o sd_xl_base_1.0_0.9vae.safetensors !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/sd_xl_refiner_1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors -d /content/Fooocus/models/checkpoints -o sd_xl_refiner_1.0_0.9vae.safetensors !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_offset_example-lora_1.0.safetensors -d /content/Fooocus/models/loras -o sd_xl_offset_example-lora_1.0.safetensors %cd /content/Fooocus !git pull !python launch.py --share

完了すると、次のような接続が表示されます。

右側のgradio.liveリンクをクリックすると、インターフェースが表示されます。詳細設定を行う場合は、詳細オプションでより詳細な設定を確認できます。