Apple、たった1文で写真をレタッチできる新AIモデルMGIEを披露

2月8日、マイクロソフトの急速な発展と比較すると、AppleのAI分野における展開ははるかに控えめであるように思われるが、これはAppleがこの分野で成果を上げていないことを意味するものではない。 Appleは最近、自然言語の指示に基づいて画像を編集できる「MGIE」と呼ばれる新しいオープンソースの人工知能モデルをリリースした。

画像出典: VentureBeat および Midjourney

MGIE の正式名称は MLLM ガイド付き画像編集であり、マルチモーダル大規模言語モデル (MLLM) を使用してユーザーの指示を解釈し、ピクセルレベルの操作を実行します。 MGIE は、ユーザーが指定した自然言語コマンドを理解し、Photoshop スタイルの変更、写真のグローバル最適化、ローカル編集などの操作を実行できます。

Appleとカリフォルニア大学サンタバーバラ校の研究者は協力し、人工知能研究のトップカンファレンスの1つである2024年国際学習表現会議（ICLR）でMGIE関連の研究成果を発表する予定です。

MGIE を紹介する前に、まず MLLM を紹介したいと思います。 MLLM は、テキストと画像を同時に処理できる強力な AI モデルであり、指示ベースの画像編集機能を強化します。 MLLM はクロスモーダル理解と視覚知覚応答生成において優れた能力を示していますが、画像編集タスクではまだ広く使用されていません。

MGIE は、2 つの方法で MLLM を画像編集プロセスに統合します。まず、MLLM を使用して、ユーザー入力から表現指示を導き出します。説明は簡潔で、編集プロセスに関する明確なガイダンスを提供します。

たとえば、入力が「空をもっと青くする」である場合、MGIE は「空の領域の彩度を 20% 上げる」という命令を生成できます。

次に、MLLM を使用して、望ましい編集の潜在的な表現である視覚的な想像力を生成します。この表現は編集の本質を捉えており、ピクセルレベルの操作をガイドするために使用できます。 MGIE は、命令推論、視覚的想像力、画像編集モジュールを共同で最適化するための新しいエンドツーエンドのトレーニング スキームを採用しています。

MGIE は、単純な色調整から複雑なオブジェクト操作まで、幅広い編集状況に対応できます。モデルは、ユーザーの好みに応じてグローバル編集とローカル編集を実行することもできます。 MGIE の機能と特徴の一部を以下に示します。

• 指示ベースの表現編集: MGIE は簡潔で明確な指示を生成し、編集プロセスを効果的にガイドします。これにより、編集の品質が向上するだけでなく、全体的なユーザー エクスペリエンスも向上します。
• Photoshop スタイルの変更: MGIE は、切り抜き、サイズ変更、回転、反転、フィルターの追加など、一般的な Photoshop スタイルの編集を実行できます。モデルでは、背景の変更、オブジェクトの追加や削除、画像のブレンドなど、より高度な編集を適用することもできます。
• グローバル写真最適化: MGIE は、明るさ、コントラスト、鮮明度、色バランスなど、写真の全体的な品質を最適化できます。このモデルでは、スケッチ、絵画、漫画などの芸術的な効果も適用できます。
• ローカル編集: MGIE は、顔、目、髪、衣服、アクセサリーなど、画像内の特定の領域またはオブジェクトを編集できます。モデルでは、形状、サイズ、色、テクスチャ、スタイルなど、これらの領域またはオブジェクトのプロパティを変更することもできます。

MGIE は GitHub 上のオープンソース プロジェクトであり、ユーザーはコード、データ、事前トレーニング済みモデルを見つけることができます。このプロジェクトでは、MGIE を使用してさまざまな編集タスクを実行する方法を示すデモ ノートブックも提供されます。