インテリジェントなデザインの4台の馬車が牽引する蘇寧木牛のクリエイティブな共有

[51CTO.comより] 蘇寧木牛は蘇寧人工知能研究開発センターが設計したインテリジェントデザイン製品です。木牛は三国時代に諸葛亮が発明した交通手段をモチーフにしており、設計者の作業効率を向上させることを目的としています。数年にわたる開発を経て、Suning Muniu は、バッチカットアウトやバッチ合成のための初期の設計補助ツールから、設計ルールを理解し、さまざまなアプリケーションシナリオの設計制約に適応できる設計アシスタントへと進化しました。当初から一定の学習能力を獲得し、設計者からのわずかな入力だけで、設計者のスタイルで作成し続けることができます。

蘇寧木牛はビジネスシーンでもその威力を発揮し始めています。広告では、デザイナーは少数の基本テンプレートをデザインするだけで、大量のバナーを作成できます。より精巧なデザインとより優れたクリエイティブな製品の組み合わせにより、クリックスルー率は30％～80％向上します。大規模なプロモーションクリエイティブ画像のデザインシーンでは、限定されたインテリジェント合成により、作成品質を確保しながら、デザイナーの効率を500％向上させ、年間を通じて数億枚の画像を一括合成することができます。

この成功の裏には、過去数年にわたるチームの蓄積があります。3年前、チームはAI技術をインテリジェントアプリケーションの設計プロセスに導入する試みを始めました。研究開発プロセス中に最も困難だったのは、設計創造性の不確実性、設計ルールの不確実性、最適化目標と設計目標の不確実性、評価基準の不確実性でした。

設計プロセスの不確実性と曖昧さを克服するには、石を手探りで渡り、基本的なアルゴリズムの実現とビジネスシナリオの実践を通じて徐々に経験を積むしかありません。当初、私たちが突破口を開いたのは、デザインに影響を与える最も重要な 2 つの要素、カラー マッチングとレイアウトでした。この目的を達成するために、スマート カラー マッチングとサイズ拡張という 2 つの小さなツールを実装し、その後の機能の反復のための強固な基盤を築きました。 Suning Muniuは、大規模なプロモーション雰囲気写真、プロモーションラベル写真、オフサイト広告、スマートバナーなどのシーンを経験した後、徐々にまとめ、基本エンジンの4つの柱、すなわちインテリジェント素材エンジン、インテリジェント作成エンジン、インテリジェント合成エンジン、インテリジェント最適化エンジンを形成しました。

図 1 ビジュアル クリエイティブ プラットフォーム アプリケーション アーキテクチャ

スマートマテリアル

インテリジェント分析は、インテリジェントデザインに最も基本的な力の源を提供します。デザインテンプレートであっても、一枚の写真であっても、デザインリソースが美しい限り、捨てられることはありません。インテリジェント分析の後、そのほとんどはその後のインテリジェントな創造の材料になることができます。

メインの商品画像の品質チェックと切り抜きが完了したら、乾癬が多すぎる、または時間的に敏感な情報を含む使用できない画像をフィルタリングし、白背景画像やシーン画像を区別して、乾癬領域を復元することができます。きれいな画像を切り抜いて透明​​ギャラリーを形成します。Suning Muniuの切り抜きアルゴリズムは、まず画像分割ネットワークを通過してトライマップマスクを取得し、次にマットネットワークを通過して切り抜きのエッジ結果を最適化します。この洗練された切り抜きアルゴリズムにより、透明画像の可用性を95％以上に高めることができます。同時に、透明画像品質レビューアルゴリズムを通じて切り抜き品質を判断し、商品重心のオフセット、小さすぎる、複数の商品ボディを最適化して、透明ギャラリーの品質と可用性をさらに向上させます。透明画像、シーン商品、画像を組み合わせた商品ギャラリーを構築することで、画像合成効果が効果的に向上し、ビジネスシナリオ検証でクリックスルー率を30％～80％向上させることができます。高品質のライブラリ資料を倉庫に入力するプロセス全体が自動で完了します。現在、高品質の製品ライブラリはすべての製品をカバーしており、人的レビューコストで数万人日を節約し、数千人への正確な配信を強力にサポートします。

図2 透明画像切り抜きアルゴリズム

製品ギャラリーの構築に加えて、素材ライブラリの構築も非常に重要な基本能力です。デザイナーは、作成時にデザインのインスピレーションと素材を得るために多くの研究も行います。高品質の素材は、インテリジェントなデザインに継続的な力を与えます。従来の手動で素材を保管する方法は、通常、多くの人手と時間を必要とします。インテリジェントな分析の後、Suning Wooden Cowは属性に応じて素材をすばやく保管できます。このプロセスは本質的に分類の問題です。デザイナーが設計したテンプレート一式には、通常、多くの設計要素とそれに合わせた設計スタイルが含まれています。難しいのは、設計言語の意味情報を機械言語に変換して分離できるようにすることです。機能の観点からは、低レベルの基本機能と高レベルの視覚意味機能に分けることができ、テンプレート構造から取得した属性構造情報を組み合わせて、分離性を実現するための効果的な認識ロジックのセットを設計します。

基本的な特徴については、Suning Muniu は画像処理方法やルールを通じて直接抽出します。より高度な特徴については、畳み込みニューラル ネットワークを使用して抽出用の分類器を構築し、ロジックを組み合わせて最終的に素材のスタイル、カテゴリ、色、目的、使用場所、エンティティ タイプなどの複数の属性を識別します。これにより、その後の素材の使用と作成に大量のデータ サポートが提供され、1 から 100、100 から 1 万にまでインテリジェントな作成を拡張できます。低品質の材料については、Suning Muniu は美観スクリーニング、インテリジェントクロッピング、超解像度も使用して、倉庫に入る材料の品質をさらに向上させます。

基本マテリアルライブラリの構築と同時に、テンプレートマテリアルライブラリの蓄積も行われ、テンプレート内の貴重な情報がインテリジェント分析によって抽出され、レイアウト、カラーマッチング、マテリアルマッチングの学習教材として提供されます。テンプレートの完全なセットは、レイヤータイプの識別、レイヤーのグループ化と分類、および単一レイヤーの属性の識別によって細分化されます。レイヤーはマテリアルとして独立して使用でき、解析結果は独自のデータ構造に変換され、洗練されたテンプレートとして使用したり、システム内でシームレスに接続できるマテリアルライブラリとして使用したりできます。

図3 テンプレート素材の解析プロセス

スマートクリエーション

インテリジェント創造リンクは、デザイン創造性全体の核心です。素材ライブラリの品質はデザイン創造性の上限を表し、インテリジェント創造リンクはデザイン創造性が到達できる高さを決定すると言えます。直面した主な課題は、この設計と創造の未解決の問題をコンピューター言語に変換して実装する方法でした。本質は、それを抽象化し、数学的に考えて実行可能にすることでした。Suning チームも、この点で多くの作業と試みを行いました。

たとえば、色拡張やサイズ拡張のアルゴリズム ツールを開発する際、チームはそれらのトポロジーとの関連性を徹底的に研究し、デザインにおけるトポロジー変換の不変性を調査しました。たとえば、サイズ拡張では、1 つのテンプレートから任意のサイズのテンプレートに拡張できるでしょうか。チーム内で白熱した議論が交わされ、最終的な設計案では、実際のアプリケーション シナリオでは、異なるサイズのテンプレートは実際には同じトポロジ空間に存在せず、連続的な変換は実現できないという結論に達しました。同様に、色拡張の設計では、色空間の変換も位相連続性に準拠する必要があります。色の移行後の色の衝突やテンプレートの使用不可の問題を解決するには、特定のレイヤーの色を変更する必要があります。どの色に変更すればよいでしょうか? 移行した色は色の衝突を引き起こしますか? この問題を解決するために、トポロジーの古典的な問題である「4色予想」も取り入れました。四色予想とは、国境を共有する国々の地図を、4 色だけを使って異なる色で塗ることができるというものです。その背後にある幾何学的性質は、平面上で共通点がなければ 2 本の直線は交差できないということです。この前提に基づいて、アルゴリズムを実装するときに新しい色を導入する必要はありません。画像に対応する色空間の主な色が4より大きい場合、色の変更とマッチングに使用可能な色を抽出できます。色はテンプレート自体から取得されるため、マッチング効果と調和が大幅に向上します。このように考えることで、アルゴリズム設計における多くの回り道を避け、前進する決意が固まります。

図4 サイズ拡大と色移行の影響

多数のアプリケーション シナリオにアクセスすると、アプリケーション シナリオには明確な特定のビジネス制約と比較的主観的な設計ルールがあることがわかります。これらの制約をクリエイティブな設計にどのように組み込むかは、私たちが直面しているもう 1 つの困難な問題です。この問題を解決するために、アルゴリズムは静的な計画と材料取得機能、および学習と生産を実行するための動的な微調整機能を備えて設計されています。

静的企画素材収集機能は、パーソナライズされた推奨シナリオを参考に構築されており、さまざまな入力情報に基づいて、さまざまなテンプレート素材、レイアウト素材、画像素材、コピーライティング素材から候補素材をすばやく呼び出し、より多くの機能を含むソートアルゴリズムを通じて適切な素材と素材の組み合わせを選択します。リコール段階では、マルチチャネルリコールを採用し、素材のスタイル、カテゴリ、適用可能なシナリオ、色、他の関連素材の同時出現確率、過去のクリック情報、プロモーション情報などの次元に応じて個別のリコールを実行します。これは、素材と入力情報のマッチングを考慮するだけでなく、過去の高品質で人気のある素材コンテンツも考慮します。このソリューションは、埋め込み中にさまざまな選択ロジックの重みをより便利に制御できるため、実際のアプリケーションでさまざまなシナリオの制約とルールに適応できます。ソートプロセスは、最終的な効果に影響を与える重要な部分です。この目的のために、アルゴリズムは多くの特徴エンジニアリングを行いました。視覚要素のレイアウト、主要な色成分の分布、各要素の画像特徴の意味ラベルの組み合わせ、およびターゲットシーンの出力ニーズを通じて、類似性がソートされ、最終的に出力素材が一致度に応じてソートされます。

動的な微調整段階では、デザインスタイルは基本的に決定されていると考えています。デザイナーの創作プロセスを参考にして、美的基準にさらに適合させるためにいくつかの調整を行う必要があります。この最適化プロセスは、強化学習による実装に非常に適しています。私たちが設計したアクションには、移動、レイヤー順序の調整、色の変更、ズームなどがあります。美観と効果の評価では、レイアウトと色のマッチングが合理的かどうか、障害物がないかどうかなど、いくつかの基本的なデザイン原則を採用しています。同時に、シンプルな背景、目立つメインコンテンツ、テキスト行数、調整された比率など、いくつかのビジネス特性の評価基準も組み合わせています。評価機能の設計と構成を制御することで、さまざまなシナリオのビジネス特性に対応し、制限された構成ルールと一般的な美的ルールが自然に統合され、フロアマップの色の統一性、広告画像の視覚的インパクト、プロモーション雰囲気マップの複雑な配置ルールに基づく整頓性と統一性を確保できます。

図5 テンプレートインテリジェントデザイン拡張効果

スマート合成

インテリジェント合成エンジンの目的は、アルゴリズムによって計算された高品質のアイデアを、対象ユーザーに正確かつ迅速に提示することです。設計プロセスにおいて、Suning Wooden Cow は Photoshop の機能設計を最大限に活用し、数百種類の画像合成機能と効果を実現しました。その中で最も複雑なのはテキストのレンダリングで、珍しい文字のさまざまなフォントのサポートを考慮する必要があり、また、さまざまな文字のテキストのずれ、行間、英語、中国語、数字などの文字間隔の問題を解決し、傾いたテキストをサポートするための慎重な設定も必要です。

長期にわたる研究とたゆまぬ努力を経て、Suning Muniu のテキストレンダリングモジュールは文字レンダリングレベルから最適化され、出力コピーの各行が固定的にタイル張りされたり、単一の色を使用したりすることがなくなり、意味情報とその他の過去の経験を組み合わせて多様な組版方法と芸術的効果を実現し、出力コピー領域のレンダリング効果はデザイナーのマニュアル制作とほぼ同じになりました。

さらに、レンダリング効果が正確で自然であることを保証するために、チームは繰り返し実験を行い、結果を最適化し続けました。彼らは、アルゴリズムによって設計された色の値が実際のレンダリングの色の値と完全に一致するように、技術研究に1週間を費やしました。また、アンチエイリアシングアルゴリズムを使用して、最終的な合成画像の効果を向上させ、卓越性を実現しました。膨大なデータ効果検証とユーザーからのフィードバックを通じて、Suning Mu Niuはクリエイティブ合成のプレゼンテーション効果を最適化し、継続的に改善し続けています。

Suning Wooden Cow の合成システムはリアルタイム レンダリング機能を備えていますが、これは Suning の画像システムの大規模で安全、低コスト、信頼性の高い画像処理サービスによるものです。このシステムは、回転、拡大縮小、トリミング、ジグソーパズルなどの画像処理をサポートできます。また、フォーマット変換、スリム化、複雑なフォーマット処理などのエンコードの問題も考慮されており、企業がいつでも、どこでも、どのインターネットデバイスでも画像を処理できることを保証します。また、多くのストレージスペースを節約できるため、システムは画像合成のために多数のマシンを事前に展開する必要がありません。同時に、モバイルデバイスでの画像合成もサポートしています。SDKを埋め込むことで、レンダリングと合成機能がユーザークライアントに事前に配置され、合成機能がさらに向上します。ユーザー体験をさらに向上させるために、Suning Wooden Cowはテンプレートのマイクロ編集機能の実装にも多大な労力を費やしました。マイクロ編集システムを通じて、デザイナーの最適化と改善を収集し、ユーザーから直接フィードバックを得ることができます。また、ユーザーは個々のニーズに応じて合成効果をさらに向上させ、Suning Wooden Cowの肩にさらに創造することができます。これにより、設計へのユーザーの関与を減らすことなく、専門知識への依存を最小限に抑えることができます。わずかな労力で大きな成果を達成することで、ユーザーの品質に対する要求と量に対する要求の両方を巧みに満たします。

インテリジェントな選択

インテリジェントに合成されたクリエイティブな画像はすでにユーザーに完全に提示されており、主に電子商取引のさまざまなシナリオでの使用ニーズを満たしていますが、Suning Wooden Cow はそこで止まりませんでした。トラフィック獲得競争の時代において、Suning Muniuがデザインしたクリエイティブイメージがマーチャントに最大のトラフィックメリットをもたらすよう、クリエイティブコンテンツ向けのインテリジェントな最適化エンジンを構築し、2020年のダブルイレブン期間中に目覚ましい成果を達成しました。

インテリジェントな最適化エンジンは、製品の使用シナリオと密接に統合されており、マーチャントの創造性の活用の有効性に責任を負います。クリエイティブ画像の露出とクリックデータを継続的に分析して、より高いクリック率をもたらすアイデアを見つけ出し、これらのクリエイティブ画像の共通点を視覚要素の観点から分析します。分析結果に基づいて、生成されたクリエイティブ画像コンテンツをリアルタイムで調整し、より高いクリック率をもたらすクリエイティブ画像をさらに生成して、画像のクリック率を継続的に向上するという目標を達成します。

2020年のダブルイレブン期間中、Suning Wooden Cowが生成したクリエイティブイメージはSuning.comの広告事業に使用され、そのクリエイティブはインテリジェント最適化エンジンを通じて継続的に最適化されました。約60％の商品広告のクリックスルー率が20％以上増加し、約30％の商品広告のクリックスルー率が10％から20％増加しました。

ある乳児用調合粉乳を例にとると、写真の背景を調整した後、クリック率（CTR）が5％増加しました。写真のテキストを、製品のセールスポイントをより強調する説明に変更した後、クリック率がさらに10％増加しました。背景を母子用品の雰囲気に合うように調整した後、CTRがさらに5％増加しました。

要約と展望

蘇寧ムニウは写真以外にも、他のビジュアル創作にも積極的に取り組んでおり、動画作成、加工、編集、音楽マッチングなどの機能を通じて、ユーザーへの効果的な情報伝達を強化し、マルチチャネル、マルチモーダル、マルチメディアのインテリジェント設計機能を形成しています。

材料資源の充実と最適化、創造力の継続的な向上により、Suning Muniu チームは Suning のビジネス シナリオのニーズをますます多く引き受けています。同時に、マルチフォーマット操作の実行を通じて創造性を監視および評価し、創造戦略を再調整し、アルゴリズムを継続的にトレーニングおよび学習することで、「設計 - 配信 - 再設計」のフィードバック ループを形成し、ユーザーと製品の間にコミュニケーションの架け橋を築き、デザインをより良くし、効果をより独特なものにしています。

人工知能を搭載したデザインエンジンであるSuning Muniuは、デザイナーの手を完全に解放し、デザインの敷居とコストを下げ、バッチで高速かつ豊富なビジュアルデザインを実現し、何千人ものユーザーにユーザーエクスペリエンスを提供します。より良いクリエイティブデザインはツールであり、ユーザーエクスペリエンスの向上が目標です。今後、よりスマートで効率的なクリエイティブデザインエンジンであるSuning Muniuがオムニチャネル小売でより大きな役割を果たし、業界のコスト削減と効率向上、ユーザーエクスペリエンスの向上にさらに強力な原動力をもたらすと信じています。

著者について

Suning Technology Group の人工知能研究開発センターのコンピューター ビジョン アルゴリズムの責任者である Yang Xian 氏は、コンピューター ビジョン アルゴリズムの研究で長年の経験を持っています。Suning の製品画像認識、デジタル ストア、画像コンテンツのレビュー、ビジュアル クリエイティブ プラットフォームなどの重要なプロジェクトに参加しており、電子商取引分野におけるビジュアル アルゴリズムの応用とソリューション設計について深い理解と思考を持っています。

蘇寧テクノロジーグループの人工知能研究開発センターのインテリジェントクリエイティブ製品部門の責任者であり、蘇寧ムニウインテリジェントクリエイティブプラットフォーム製品ラインの責任者である劉永輝氏は、小売業やモノのインターネット業界の億単位のtoBプロジェクトで15年以上の製品経験を持ち、大規模なSaaSサービス製品の企画と成長に関する詳細な研究と分析を行っています。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]