ジェネレーティブ AI が画像検索をどのように再定義するか

翻訳者 | 李睿

レビュー | Chonglou

生成 AI は、ユニークなテキスト、サウンド、画像を作成できる機能により、ここ数か月で大きな関心を集めています。しかし、生成 AI の力は新しいデータの作成に限定されません。

トランスフォーマーや拡散モデルなどの生成 AI の基礎となる技術は、情報の検索や発見など、他の多くのアプリケーションにも活用できます。特に、生成 AI は画像検索に革命をもたらし、これまでは不可能だった方法で視覚情報を探索できるようになる可能性があります。

生成 AI が画像検索エクスペリエンスをどのように再定義しているかについて、知っておくべきことを紹介します。

画像とテキストの埋め込み

従来の画像検索は、画像に付随するテキストの説明、タグ、その他のメタデータに依存しているため、ユーザーの検索オプションは画像に明示的に添付された情報に限定されます。画像をアップロードする人は、自分の画像が他の人に確実に見つかるように、入力する検索クエリの種類について慎重に考える必要があります。画像を検索する場合、情報を探しているユーザーは、画像をアップロードした人が画像にどのような説明を追加したかを想像する必要があります。

諺にもあるように、「一枚の写真は千の言葉に値する」。ただし、画像を説明するときに記述できる内容には制限があります。もちろん、これは人々が画像をどのように見るかに応じてさまざまな方法で説明できます。人々は写真内のオブジェクトに基づいて検索することもあれば、スタイル、照明、場所などの特徴に基づいて画像を検索することもあります。残念ながら、画像にこのような豊富な情報が付随することはめったにありません。多くの画像が多くの人によってアップロードされていますが、添付情報がほとんどないかまったくないため、検索で見つけるのが困難です。

ここでAI画像検索が重要な役割を果たします。 AI画像検索にはさまざまなアプローチがあり、さまざまな企業が独自の技術を持っています。しかし、これらの企業に共通する技術がいくつかあります。

AI 画像検索、そして他の多くのディープラーニング システムの中心にあるのは、さまざまなデータ タイプを数値的に表現した埋め込みです。たとえば、解像度が 512×512 の画像には、約 260,000 個のピクセル (または機能) が含まれます。埋め込みモデルは、何百万もの画像でトレーニングすることで、視覚データの低次元表現を学習しようとします。画像の埋め込みには、画像の圧縮、新しい画像の生成、異なる画像の視覚的特性の比較など、多くの便利な用途があります。

同じメカニズムがテキストなどの他の形式にも適用されます。テキスト埋め込みモデルは、テキスト抜粋のコンテンツの低次元表現です。テキスト埋め込みには、大規模言語モデル (LLM) の類似性検索や検索強化など、多くの用途があります。

AI画像検索の仕組み

ただし、画像とテキストの埋め込みを一緒にトレーニングすると、さらに興味深いことが起こります。 LAION のようなオープンソース データセットには、何百万もの画像とそれに対応するテキストの説明が含まれています。テキストと画像の埋め込みがこれらの画像/キャプションのペアで共同でトレーニングまたは微調整されると、視覚情報とテキスト情報の関連性が学習されます。これは、Contrastive Image Language Pre-training (CLIP) などのディープラーニング技術の背後にある考え方です。

コントラスト画像言語事前学習（CLIP）モデルは、テキストと画像の結合埋め込みを学習します。

現在では、テキストを視覚的な埋め込みに変換できるツールが存在します。このジョイント モデルにテキスト記述が提供されると、テキスト埋め込みとそれに対応する画像埋め込みが作成されます。その後、画像の埋め込みをデータベース内の画像と比較し、それに最も関連性の高い画像を取得できます。これが基本的に AI 画像検索の仕組みです。

このメカニズムの優れた点は、視覚的特徴のテキストによる説明がメタデータに登録されていない場合でも、ユーザーがその説明に基づいて画像を検索できることです。 「朝霧に包まれた緑豊かな森、背の高い松の木の間から差し込む明るい日差し、草の上に生えているキノコ」など、これまでは不可能だった豊富な検索用語を使用できます。

上記の例では、AI 検索によって、このクエリに一致する視覚的特徴を持つ画像のセットが返されました。テキストの説明の多くにはクエリ キーワードが含まれていません。しかし、それらの埋め込みはクエリの埋め込みと似ています。 AI 画像検索がなければ、適切な画像を見つけるのはさらに困難になります。

発見から創造へ

時には、人々が探している画像が存在せず、AI を利用した検索でも見つけられないことがあります。この場合、生成 AI は 2 つの方法のいずれかでユーザーが望ましい結果を達成できるように支援できます。

最初のアプローチは、ユーザーのクエリに基づいて最初から新しいイメージを作成することです。この場合、テキストから画像への生成モデル (Stable Diffusion や DALL-E など) は、ユーザーのクエリの埋め込みを作成し、それを使用して画像を作成します。生成モデルは、Contrastive Image Language Pretraining (CLIP) などの共同埋め込みモデルと、Transformer や Diffusion モデルなどの他のアーキテクチャを活用して、埋め込まれた数値を魅力的な画像に変換します。

DALL-Eは、対照画像言語事前トレーニング（CLIP）と拡散法を使用してテキストから画像を生成します。

2 番目のアプローチは、既存の画像を取得し、生成モデルを使用して好みに合わせて編集することです。たとえば、松林に戻った写真では、草原のキノコが消えています。ユーザーは、適切と思われる画像の 1 つを開始点として使用し、生成モデルを使用してそれにキノコを追加できます。

生成 AI は、発見と創造性の境界を曖昧にするまったく新しいパラダイムを生み出します。ユーザーは単一のインターフェースから画像を検索したり、編集したり、まったく新しい画像を作成したりできます。

原題:生成 AI が画像検索をどのように再定義するか、著者: Ben Dickson