AI+3Dカメラ：iPhone 10から見るスマートフォンの新たな変化の方向性

[[203631]]

今年はiPhone発売10周年の年です。 9月13日午前1時（北京時間）、アップルはスティーブ・ジョブズ・シアターで新製品発表会を開催した。

北京時間帯のAppleファンは1時間以上待った後、ついに「フィナーレゲスト」であるAppleの10周年記念特別版iPhoneXを待ち望んだ。外観面では、iPhone XはiPhoneとして初めてOLEDフルスクリーンを採用しています。前面と背面はガラス製で、内部は防塵・防水仕様のステンレススチール製です。画面サイズは5.8インチです。 iPhoneXの画面は、解像度2436 x 1125、1インチあたり458ピクセルのSuper Retinaディスプレイで、これまでのiPhoneのすべてを上回っています。

そのユニークな点は「ホームボタン」がないことだ。記者会見でクック氏は「iPhoneX」のこの特別版を「iPhone10」と呼んだ。 TouchID がない iPhone X は、携帯電話の生体認証技術として Face ID を使用します。最適な機能を実現するために、この携帯電話は画面上部にある TrueDepth カメラを活用するだけでなく、新しい Neural Engine も使用しています。新しい A11 Bionic チップに組み込まれたニューラル エンジンは、1 秒あたり 6 兆の命令を処理できるデュアル コア アーキテクチャです。 Face ID は Touch ID よりも安全で、既存の Touch ID 保護機能と互換性があります。

[[203632]]

過去10年間でスマートフォンはより薄く、より軽く、より高速になりましたが、他の機能については大きな改善は見られず、さまざまなメーカーの製品がますます均質化しています。将来のスマートフォンがどのようなものになるかを予測するには、デバイスのカメラとそれを活用するソフトウェアに注目すると役立ちます。

「インテリジェンスへの道には新たなセンサーが必要であり、3Dカメラはその典型的な例となるだろう」と、Yuemian TechnologyのCEO、Zhao Jinlei氏はSyncedとのインタビューで語った。 「カメラは世界を捉える携帯電話の目です。撮影した画像はすべて処理する必要があります。AIはこれらの画像の処理にさらなる可能性をもたらします。私たちは、ビジュアルAI技術の応用がスマートフォンの次世代の波を引き起こすと信じています」とセンスタイムはマシンハートに語った。

1. ホームボタンがなくなった

iPhone X のロックを解除するには、電話を持ち上げて、ちらっと見て、電話の下部から指を上方向にスライドさせるという、簡単な 3 つの手順を実行します。 Apple の携帯電話は、「スライドしてロック解除」の時代から「指紋でロック解除」の時代、そして最終的に現在の「視線でロック解除」の時代へと進化してきました。側面のボタンからSiriを呼び出すこともできます。

実際、Apple は私たちが考えていたよりもずっと早くホームボタンの変更を検討していました。 Appleが昨年iPhone 7と7 Plusをリリースしたとき、そのデバイスは大きな成功を収め、優れたカメラ性能を称賛する多くの新規ユーザーやアップグレードユーザーを引き付けましたが、それだけで、他に自慢できる点はあまりありませんでした。また、新しい Mac は過去のデバイスほどホームボタンに依存していないため、ホームボタンの性質も無意識のうちに変更されました。

ホームボタンがなくなったのは、部分的にはデザイン上の問題です。画面の材質とサイズを考慮すると、フルスクリーンディスプレイには基本的に技術的な難しさはありません。難しさは、携帯電話メーカーがカメラや指紋ボタンなど、複数の携帯電話コンポーネントの位置とレイアウトを解決する必要があることにあります。スマートフォンでは指紋認識機能が普及してきましたが、フルスクリーンスマートフォンの需要により、前面に搭載された指紋認識機能と背面に搭載された指紋認識機能は、程度の差はあるものの、技術的な困難に直面することになるでしょう。 Xiaomi Mix、LG G6、Samsung S8などの携帯電話を見ると、指紋認識機能の配置が今日ではより厄介な問題になっていることがわかります。

虹彩認証も比較的成熟した生体認証技術です。しかし、スマートフォンでの大規模な導入はコストと技術の面で制限され、ユーザーエクスペリエンスも悪くなります。調査によると、指紋認証と比較すると、虹彩認証では赤外線カメラを追加するだけで済むものの、赤外線カメラの単価は指紋モジュールよりもはるかに高く、携帯電話メーカーにコスト圧力をかけています。

「指紋フィルム群の廃止は、価格面で新たなアイデアを切り開くだけでなく、節約したスペースによって携帯電話メーカーは他の性能を改善・完成させたり、新機能の革新を試みることも可能になります。同時に、顔認証とフルスクリーンは密接に統合されています。フルスクリーンの起動により、顔認証は将来フルスクリーンの標準になるでしょう。」Megvii Technologyの副社長であるWu Wenhao氏はMachine Heartに語った。

2. 一目でロック解除：Appleの優位性とレイアウト

999ドルから販売されているiPhone 10には、デュアルリアカメラとフロント3Dセンシングカメラ（TrueDepth）が搭載されており、AR拡張現実技術をサポートするだけでなく、カメラと連携して顔認識認証も行うことができます。 「現段階では、アップルのアプリケーションを画期的なものとして、そのセキュリティは指紋のセキュリティを超えていると考えられる」と趙静蕾氏はMachine Heartに語った。

1. 成熟した顔認識技術。以前の顔認識システムの誤認率は 1% であり、セキュリティが非常に低いものでした。従来の顔認識システムは、単にカメラを使ってユーザーの写真を撮影し、それをデバイスに保存されている画像と比較して判断していました。こうしたシステムを騙すには、泥棒はカメラの前に顔写真をかざすだけでよい。すでに誰かがサムスンの顔認識機能を騙している。

赤外線顔認識ははるかに安全です。仕組みは次のとおりです (Qualcomm の Spectra 深度検知カメラ システムを例に挙げます)。Spectra システムのモジュールは、赤外線ドットをオブジェクトに向けて送信し、そのドットのサイズと歪みに基づいてオブジェクトの深度に関する情報を収集します。点が小さいほど物体は遠く、点が大きいほど物体は近くにあります。次に、画像システムはパターンをつなぎ合わせて顔の詳細な 3D 画像を作成し、スマートフォンのロックを解除する前に、そのユーザーがスマートフォンの所有者であるかどうかを判断します。

3D 情報を使用すると、画像の美化や顔の復元など、より多くの機能を実現できます。例えば、現在の映像ソフトにおけるAR特殊効果では、メガネや表情などの重ね合わせた情報が顔とずれて、まるで貼り付けたようになってしまうことが多いのですが、3Dの奥行き情報があれば、より自然になります。

顔認識の検証では、光の強弱、角度、遮蔽の影響により認識効果が低下しますが、深度情報によりこれらの問題を緩和し、照明不足、表情の大きな変化、姿勢の大きな変化に適応することができます。

「顔認証は強力な耐干渉性を備えており、眼鏡、狭い範囲の遮蔽、角度の変化、暗い光にも耐えることができます。しかし、指紋認証は手袋をはめているときや指が汗をかいたり濡れていたりすると全く効果がありません」とメグビー・テクノロジーはマシンハートに語った。人間の頭の形は非常に独特なので、Face ID がエラーを起こす確率は 100 万分の 1 に過ぎず、Touch ID の 5 万分の 1 よりも大幅に低くなります。

2. 雨の日に備えて計画を立てましょう。世界の生体認証市場は2020年に250億米ドルに達すると予想されており、その中で顔認識は現在最も急速に成長しています。応用シナリオの増加に伴い、顔認識は消費者向け端末におけるイノベーションの次の主要な方向となるでしょう。

端末メーカーの観点から見ると、Apple、Samsung、Huawei、Facebook、Googleの複数の特許は、大手端末メーカーがいずれも顔認識技術を導入していることを示しています。 Googleは早くも2012年に携帯電話のロックを解除するための顔認識の特許を取得しており、Appleも2015年に同様の特許を取得している。しかし、Appleの戦略は携帯電話部門で最も顕著で、PolarRose、PrimeSense、Perceptio、Faceshift、Emotient、Turiなどの顔認識関連技術企業を相次いで買収している。

2013年、AppleはMicrosoftのKinectにセンサーを供給したことで有名になった3Dセンシング技術企業PrimeSenseを買収した。業界では、同社の技術がアップル独自のハードウェア製品にも適用されると全員が一致して信じている。

PrimeSense は主に、デバイスが周囲の 3 次元環境を認識し、人間とコンピューターの相互作用を実現できるようにするセンサーとミドルウェアを提供しています。この技術をフロントカメラに使用すれば、写真撮影、背景のぼかし、顔認識、ジェスチャー認識などの利便性が高まります。深度情報を取得するために構造化光ソリューションを使用します。原理は、特定のパターンを空間に投影するだけで、センサーが反射パターンを取得し、それを元の画像と比較して深度マップを生成します。

特許に関しては、Appleは2015年に顔認識ロック解除デバイスの特許を取得しており、顔認識のニーズを満たす赤外線センサーの使用を具体的に保護しています。

アップルは、顔認識技術をApplePayとサードパーティのアプリケーションに適用すると発表した。現在、アリペイを中心に、証券会社、銀行などの金融サービス機関も昨年から口座開設、送金、支払いなどに顔認証を導入し始めている。招商銀行を例にとると、顔認証により携帯電話経由で50万件以上の送金を実現できる。

「アップルの技術は非常に成熟しているに違いない。そうでなければ使われないだろう。顔認証は今のところログインに取って代わったようだが、将来的にはモバイル決済などのアプリケーションと連携されるだろう。これらはすべてセキュリティ技術に関係している」と趙静蕾氏はマシンハートに語った。

[[203633]]

赤外線スキャン技術にも限界があります。 Qualcomm の専門家は、帽子やスカーフなどの着用物はカメラシステムが正常に機能しない可能性があると述べています。さらに専門家によると、赤外線は屋外の明るい日光に圧倒される可能性があるため、顔スキャンシステムはビーチではそれほど信頼できない可能性があるという。しかし、専門家たちは依然としてアップルの動きに対して楽観的だ。

「これは非常に大きなトレンドです。非常に大きなインタラクティブデバイスとして、携帯電話は現在、よりインテリジェントな方向に向かっています。…今回、iPhone 8は顔認証ロック解除のためにフロントカメラに3Dセンサーを追加しました。私はこのアプリケーションに非常に楽観的です。」と趙静蕾氏はMachine Heartに語った。このアプリケーションは対話型認証全体を表現しているため、協調型認証から非協調型認証への一歩前進です。これまでの識別方法は、指紋、パスワード、虹彩などユーザーの協力が必要でしたが、顔は非常に自然です。

「アップルは現在、フロントカメラに3Dカメラを追加し、また、画像撮影を最適化するためにリアカメラにデュアルカメラを導入しました。将来的には、リアカメラに深度カメラも追加される可能性があります。仮想と現実を統合するARに似た技術も、携帯電話側の急速な発展をもたらす可能性があります。私たちはそれについて非常に楽観的です。」と趙静蕾氏はさらに述べた。 「2018年はスマートフォンのカメラ技術において大きな進歩が起こる年になるだろう」とクアルコムのプロダクトマネージャー、フィリップ・ジェームズ・ヤコボウィッツ氏は語った。

3. 専用AIチップ。 iPhone 10 をちらっと見るだけで、すぐに画面のロックを解除できます。現在、顔認証の速度は、画面の点灯やカメラの起動時間を含めて数ミリ秒に達することがあります。このような正確かつ効率的な認識結果は、Apple 独自の AI チップと切り離すことはできません。

iPhone Xのフロント部には多数のセンサーが搭載されており、3万個以上のポイントを使ってユーザーの顔を3Dで認識し、ニューラルネットワークをトレーニングして顔をモデル化して認識します。髪型を変えたり、ひげを生やしたり、帽子をかぶったり、光の強さが違っても、システムの認識には影響しません。 Apple はこの目的のために A11 Bionic ニューラル エンジンを開発しました。このニューラル エンジンはデュアル コア設計を採用しており、1 秒あたり 6,000 億回の演算を実行できます。顔データはすべて A11 エンジンによって処理されます。 Appleは、ユーザーのプライバシーを確​​保するため、関連する計算はすべてローカルで実行され、クラウドにはアップロードされないと述べた。

今年5月には、ブルームバーグは情報筋の話として、アップルが人工知能専用のチップを開発していると報じていた。 Apple 社内ではこのチップを「Apple Neural Engine」と呼んでおり、顔認識や音声認識の処理など、人工知能を伴うタスク向けに Apple デバイスを最適化するのに役立ちます。 Appleは将来、バッテリー寿命を延ばすために人工知能のタスクを専用チップに移管すると言われている。

今回発売されたApple A11には、Appleが独自に開発したGPUが搭載されており、顔認識や音声認識などのAIアプリケーションの補助に活用できる。前世代より少なくとも30％高速化されている。 Apple の A11 チップは、4 つの Mistral コア (4*2.5Ghz) と 2 つの Monsoon コアを含む 6 コア設計を採用しており、すべて独立したアドレス指定機能を備えています。 iPhone 10 は、7 シリーズの携帯電話と比較して、バッテリー持続時間が 2 時間長くなっています。

3. アニ文字とより興味深いSiri

今回のカンファレンスでは、より自然な音声、リアルタイム翻訳、より正確な予測など、Siriがより多機能になっていることがわかりました。さらに、機械学習の助けを借りて、Siri はユーザーの興味をよりよく理解し、ニュースを推奨したり、ユーザーがメッセージに返信するのを手伝ったりできるようになります。

さらに、3D 顔追跡システムのもう 1 つの興味深い応用例として、アニメーション画像の合成である Animoji も挙げられます。 50 以上の顔の筋肉を追跡し、顔の表情で面白いアニメーション表現を作成できるほか、短いビデオを録画することもできます。

[[203634]]

iMessage では、ユーザーは漫画のキャラクターに独自の表情や唇の動きを追加できます。すると、ユーザーの漫画画像が GIF としてチャットに参加します。 SnapChatでは、ユーザーはAppleの人工知能技術を使って自分自身に「マスクを着ける」ことができる。さらに、iPhone Xの背面の垂直カメラも機械学習タスク向けに設計されています。現在、カメラは機械学習技術と連携して、シャッターを押す前にリアルタイムでパラメータを自動調整することができます。

「AI技術の大規模な応用は、2つの大きな力をもたらすだろう。1つは生産性の向上、もう1つは新しいインタラクション方法の創出だ」とセンスタイムはマシンハートに語った。 「携帯電話への視覚AI技術の応用は、主に後者、つまりインタラクション方法の革新をもたらすでしょう。例えば、ロック解除の際には顔認識でロック解除でき、写真を撮る際にはインテリジェントなアルゴリズムを使用して背景のぼかしや暗い部分の強調などを実現できます。上記のシナリオに加えて、仮想と現実を組み合わせた携帯電話へのAR技術の応用は、エンターテインメント、生活、オフィスなどのシナリオに無限の可能性をもたらすでしょう。」