従来のポートレートプレイヤー向けに AI を新たなレベルに引き上げる方法

これからは、集合写真を撮るときに端に立って歪んでしまうことを心配する必要はありません。

現在、このハードウェア限定のバグは、痕跡を残さずに一挙に解決されつつあります。変形した顔を保存するだけでなく、人間らしく自然な方法で顔を美しくすることもできます。例えば、素の自分とノーメイクの自分を比較してみましょう。顔から首まで丁寧に美白し、ニキビの除去や写真編集で手間を省きつつも、象徴的な涙型のほくろは適度に残しておけば、WeChat Momentsでシェアした時に、美容フィルターの跡が残って恥ずかしい思いをすることはありません。もちろん、5G時代、ショートビデオ時代においては、ポートレート技術や美容機能も当然時代の変化に追いついていかなければなりません。たとえ手がジェットコースターのように震えていても、撮影したビデオ（左）は、数千ドルの価値があるスタビライザーを使用したワンショットと同じくらい鮮明になります。これは、AI が実現する最新かつ最先端のポートレートテクノロジーの機能です。さらに、伝統的なポートレートプレイヤーとして、彼はすべてを携帯電話に投入し、携帯電話のAIポートレートの実現を新しいレベルに引き上げました。そうです、OPPOのことです。 AI ポートレートの新しい機能は何ですか? 顔検出、顔のキーポイント検出、超解像アルゴリズム、セマンティックセグメンテーション、自動フレーム補完など、一連の最先端の AI テクノロジーを統合しています。正式名称: OPPO FDF 全次元ポートレートビデオテクノロジーシステム。これは、ポートレートビデオ撮影用に設計された業界初の AI イメージングテクノロジーシステムでもあります。このシステムは、ポートレート認識エンジンと画質向上エンジンで構成されており、写真に写っている人物の見栄えを良くするだけでなく、画質も向上させます。その方法について詳しく説明します。いわゆる知覚ポートレートエンジンは、撮影時にポートレート領域を最適化します。そのコア技術には、AI顔検出/キーポイント検出、AI超クリアポートレート（暗いシーン/望遠撮影でも高解像度）、OFL肌品質最適化、顔歪み補正などがあります。これら 4 つのスキルは、偏りがなく、非常に強力かつ安定している必要があります。顔検出を例に挙げてみましょう。これはポートレートエンジンの中で最も基本的な技術ですが、OPPOが最適化した特徴ピラミッド（FPN）アルゴリズムにより、25ミリ秒以内に99.78％の顔認識精度を達成できます。顔のキーポイント検出に関しては、OPPO は 296 ポイントのモバイルプラットフォームで 1 秒あたり 200 回 (200fps) の検出速度を達成し、WFLW データセットで 4.71% という低い NME 損失を達成しました。画質向上エンジンは、ほとんどのシナリオでユーザーが満足のいく写真を撮ることができるようにするためのアルゴリズムの集合体です。映像が大きく揺れたり、光量が不足したり明るすぎたりする場合でも、画質向上エンジンにより、ユーザーの好みに合った見た目に映像を調整できます。（VLOGに必須）冒頭で紹介した新世代のスーパー手ぶれ補正機能に加え、画質強化エンジンにはビデオマルチフレームHDRとスーパー夜景ビデオという2つの技術も搭載されています。マルチフレームHDR動画で撮影された若い女性の写真は、どのフレームでも美しく芸術的な写真になります。夜景の動画でも昼間と同じ鮮明さが得られ、昼間よりも豊かな色彩が得られます。これらの一見何気ないポートレート撮影と動画処理効果が、作品の細部を決定する鍵となります。 OPPOの最新AIポートレート技術をどのように評価しますか? コア技術の源泉を深く探究する必要がある。今回、OPPOはポートレートシステムを極限まで追求しただけでなく、ハードウェアの「広角カメラ」の欠点をソフトウェアで補った。現在、AIポートレート分野におけるコア技術レベルは、低照度・望遠撮影処理に使用される超解像計算の参考として使用できます。簡単に言えば、超解像コンピューティングとは、低品質で低解像度の画像のセットからソフトウェアとハードウェアを通じて高解像度の画像を取得することです。これは現在のコンピュータービジョンテクノロジーで最も難しい領域の 1 つであり、画像の品質と信頼性の間で可能な限り最適なバランスをとることが求められます。核となるアイデアは、空間解像度と引き換えに時間帯域幅（同じシーンのマルチフレーム画像シーケンスの取得）を使用することで、時間解像度から空間解像度への変換を実現することです。そして、この分野でOPPOが今回実証した技術力は「唐突で突発的なもの」ではない……OPPOはCVPR 2020で、分散アルゴリズムを使用してコンピューティング効率を向上させ、複数のサンプリングとコンピューティングモデルを組み合わせて、ぼやけた写真を16倍に鮮明に拡大する独自のニューラルネットワークアーキテクチャRFB-ESRGANを提案した。当時、OPPOは世界中の280を超えるトップ参加チームから抜きん出て、「Extreme Super Resolution Perception」で1位を獲得しました。準備して来てください。効果は誰の目にも明らか。AI処理後、ポートレートの眉毛や肌がより鮮明になります。しかし、ソフトウェアの問題を解決するソフトウェアのブレークスルーと比較して、OPPO の AI システムの注目すべきもう 1 つの技術的ハイライトは、ソフトウェア技術を使用してハードウェア固有の欠陥を補うことです。例えば、広角カメラで人物の写真を撮る場合、中心の位置を捉えないと顔が歪んでしまうなど、常に不自然な点があります。さらに、物体は近いほど大きく見え、遠いほど小さく見えるという遠近法の投影原理により、顔だけが歪んで、背景は比較的正常に見えることがよくあります。これまで、このような変形した顔を修正するには、プロの写真修正の専門家の力が必要でした。業界では、背景を歪めずに文字を正常に戻す技術も追求してきた。今回、OPPO のソリューションでは立体投影を採用しています。原理としては、球を平面に投影すると、距離は忠実に反映されませんが、角度は非常に忠実に反映されます。しかし、これだけでは一夜にして達成できるものではありません。この投影では顔はあまり伸びませんが、背景が歪んで見えます。（投影が近い場合は変化は小さく、遠い場合は変化が大きくなります。）そこでOPPOはAIでこの2つを組み合わせるために別のプロセスを採用しています。最後に、2 回の撮影プロセスと AI カットアルゴリズムを経て、「球面投影」のエッジ変形された顔と「透視投影」の背景を組み合わせて、顔を復元できます。いずれにせよ、技術的な原理自体にあまり興味がなくても問題ありません。 OPPO の AI システムの「Perception Portrait Engine」と「Image Quality Enhancement Engine」の洗練度を知る必要すらありません。シンプルで直接的、使用するものが得られるため、OPPO FDF フルディメンションポートレートビデオテクノロジーシステムは、OPPO が携帯電話に搭載する専用のメイクアップアーティストおよびビデオポストプロダクションツールであることがわかります。はい、結果の詳細に反映されているように、排他的です。例えば、冒頭で触れたAIによるシミ除去は、業界の美容製品や機能では標準的と考えられています。しかし、ニキビやシワなどの特徴と涙袋や「階層的サンプリング」などの生来の特徴を区別するようにトレーニングできるインテリジェントモデルはほとんどありません。これは、ユーザーの性質に関する技術チームと製品チームの洞察を反映しています。最近では、ソーシャルネットワークに写真や動画を投稿する際、投稿前にフォトショップで加工する人もいますが、誰もが望んでいるのはフォトショップの痕跡が残らないようにすることです。写真やビデオを投稿した後に美化の欠陥が発見されることを望む人は誰もいません。さらに、OFL 肌質最適化に必要なセマンティックセグメンテーション技術も、ユーザーに対するこのような考え方を反映しています。肌、髪、衣服を区別するために、OPPO のモデルは構造的特徴を抽出し、肖像画を顔、首、手、髪、衣服などのいくつかの部分に分割します。しかし、一般的な美容セマンティックセグメンテーションとは異なり、OPPO は顔、首、手を肌として分類し、それらを一緒に最適化することで、肌の色ムラの問題を回避します。 ...これらすべてから、OPPO がポートレートの分野で常にリーダーであり、優れたスキルを持っている本当の理由を理解できます。一方で、最も複雑で最先端の技術が必要であり、他方では人々の真の美的感覚に対する洞察が必要であり、最終的にユーザーがシームレスに使用できるように配信されます。 OPPO のもう一つの側面 OPPO の技術的な側面は、見落とされがちです。しかし、実際には、携帯電話の写真やビデオ撮影を含む「華山剣コンテスト」の分野で、OPPOの製品と機能が人気を博している理由は、その技術的基礎とサポートによるものです。世界知的所有権機関（WIPO）の特許報告書では、OPPO は常に世界のトップ企業の 1 つに数えられています。 2019年の最新データによると、OPPOは韓国のサムスンと米国のクアルコムに次いで、世界で6位、中国で2位にランクされています。特にポートレートの分野では、OPPO の技術特許が、同社がこの分野で革新を続け、リードし続けている理由を最もよく説明しています。 OPPOは、2012年から世界中でポートレート分野の特許を開発しており、中国、米国、ドイツ、フランス、英国、インド、日本、韓国など25の国と地域をカバーしていると公式に発表した。 OPPOはポートレート美、ぼかし、手ぶれ補正、夜景などの画像技術における特許出願総数が700件を超え、そのうち発明特許が80%を占めています。しかし、技術的背景の素晴らしさは、大衆向け家電製品の成功によってある程度影が薄くなってしまった。これは実は、先に述べたOPPOの製品コンセプトと密接に関係しています。義務、人間性、ユーザーエクスペリエンスについて語り、追求しています。今年のOPPO未来技術カンファレンスで、創設者の陳明勇氏はOPPO携帯電話の第1世代の物語も共有しました。当時はまだフィーチャーフォンの時代でした。2008年、1年半の研究開発を経て、OPPO初の携帯電話がサプライチェーンと顧客から高い評価を受けました。しかし、OPPOチームは最終的にそれをリリースしないことに決めました。その代わりに、彼らは半年かけて再設計し、望んでいた完璧な効果を実現しました。ついにスマイリーフォンが発売され、瞬く間に大ヒットとなり、フィーチャーフォンの発売が最も遅かった業界記録を樹立し、半年間で100万台以上を販売しました。同社はその後も一貫して同じコンセプトを採用し、「5分の充電で2時間の通話」という急速充電のリーディングソリューションを開発し、自撮りやポートレート撮影の分野でも地位を確立しました。需要と体験の観点から製品の成功を推進するのは、この製品コンセプトです。この製品の成功により、OPPO はより大規模なユーザーとユーザーからのフィードバックに基づいて技術を繰り返し改良し、製品を改良することが可能になりました。データインテリジェンスのコンテキストで、テクノロジー、製品、ユーザー間のポジティブな循環と運動エネルギーの変換を実現します。ユーザーは、背後にあるテクノロジーの複雑さや実装の難しさについて心配することなく、最高の製品エクスペリエンスとソリューションを得ることだけが必要です。これはまさに OPPO の創設者である陳明勇が強調した「義務と善意の革新」です。彼は、義務の力は自己反省から生まれると言いました。私たちは何をすべきでしょうか?やったことある？そして問題の本質を考え、正しいことをしてください。ビジネスの世界、特に家電の分野では、競合他社、競争、そしてあらゆる種類の「欺瞞と裏切り」がしばしば注目の的となります。しかし、義務と善意のイノベーションを信じるということは、他の人の問題やユーザーの悩みを解決することで、双方に利益のある状況が達成できると信じることを意味します。特に OPPO は、テクノロジーをあらゆるユーザーの美、想像力、人間性の追求を実現する手段として活用したいと考えています。陳明勇氏は、科学技術の革新に自己抑制の仕組みがなく、より高い概念に支えられなければ、負担になる可能性が高いと考えている。陳明勇は、中国の「良心」哲学と西洋の人間性哲学を総合的に考慮した上で、「科学技術は人々のために、世界に利益をもたらす」ことを提唱し、企業経営と技術革新に基準を与え、短期的な利益を追求するさまざまな革新を是正することを意図した。同時に、科学技術革新の過程においては、競争相手に遅れをとることを恐れて人々のニーズを無視する盲目的な革新を避けるよう注意を払うべきだとも指摘した。そのため、テクノロジーや製品から事業運営に至るまで、OPPO のやり方は一貫しています。最後にもう一つ、OPPOが自社の技術力と製品力を披露した今回のカンファレンスでは、その他の最先端技術も一挙に展示されていました。 FDF フルディメンションポートレートビデオテクノロジーシステムに加えて、3 つの最先端アプリケーションがあります。 1つ目は携帯電話、OPPO X 2021スクロールスクリーンコンセプトフォンです。2つ目はARグラス、OPPO AR Glass 2021で、次世代のインタラクティブ端末を表しています。そしてARアプリケーションプラットフォーム、CyberRealフルタイム空間コンピューティングは、OPPOのデジタルツインプラットフォームであり、高精度のフルタイムポジショニングとシーン認識を提供し、物理世界とデジタル世界の融合を実現します。さらに、会場内の展示エリアでは、3Dバーチャルポートレート技術、AIアイコントロール、UWB空間認識技術など、一連の最先端技術も紹介されています。しかし、この一連の最先端技術と革新的な製品の中で、最も期待されているのは FDF システムです。誰でもすぐに見れてわかるから。 OPPOが公式発表：来月である2020年12月に、FDFフルディメンションポートレートビデオテクノロジーシステムを搭載した新製品が発売されます。最先端のAIポートレート機能とアプリケーションを直接体験したい場合は、待ってみてください〜

<<: ビジネスに AI を導入する 3 つのユースケース: CxO 向けチートシート

>>: 微分方程式と機械学習: 類似点と相違点の例