袖の中の「スーパーパワー」：FacebookのリストバンドARセンサーは空中で入力してインターフェースを制御できる、LeCunはそれを気に入っている

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

手を動かすだけですべてをコントロールできるのですか?

Facebookは最近、仮想世界でスカーレット・ウィッチと同じスキルを習得できるリストバンド型ARセンサーを発表した。

FacebookのAR/VR研究部門であるFacebook Reality Labs（FRL）が開発したこのデバイスにより、装着者は手首の電気運動神経信号を介して指の動きでARグラスを制御できるようになる。

チューリング賞受賞者であり、畳み込みネットワークの父として知られるFacebookの主任AI科学者、ヤン・ルカン氏でさえ、これを高く評価した。

継続的な機能アップグレード

それで、それは何に使えるのでしょうか?

公式の説明によると、道路を歩いているときでも座っているときでも、手を体の前、横、ポケットの中に置くことでリストバンドを介して制御できるとのこと。

当初、リストバンドは親指と人差し指のつまみとリリースのジェスチャーによる単純なクリック操作しか実現できませんでした。その後、仮想オブジェクトをタッチして移動できる機能など、より豊富な制御機能が追加されました。

さらに研究チームは、テーブルや膝の上での高速タイピング機能の開発をさらに進め、キーボードを使用するよりも速いタイピング速度を実現しようとしています。

物理キーボードと比較して、仮想キーボードはいつでも使用できるだけでなく、時間の経過とともに各人の異なる入力スタイルを学習して適応し、適応的な変化を生み出してより速い入力速度を実現します。

FRL チームはパーソナライゼーション モデルにおいて重要な進歩を遂げ、個人のスタイルに適応するキーボード モデルのトレーニング時間を短縮しました。

さらに、FRLの研究科学責任者であるHrvoje Benko氏は次のように述べています。

「手首に装着するウェアラブルデバイスは、ARグラスに超低摩擦で常時利用可能な入力を提供できると考えていますが、それだけでは完全なソリューションにはなりません。

マウスがユーザー インターフェイスの一部であるのと同様に、マウスもユーザーと特定のコンテキストにリアルタイムで適応するために、意図の予測とユーザー モデリングの支援を受ける必要があります。 ”

そのため、FRL チームは現在、特定の環境に適応し、「スマート クリック」を実現する適応型インターフェースの調査に取り組んでいます。

つまり、ユーザーは目を動かしたりメニューを閲覧したりする必要はありません。システムはさまざまな環境でユーザーの意図を予測し、適応型インターフェースを積極的に提供し、ユーザーはそれを制御するために軽いフィードバックのみを必要とします。

FRL 研究科学マネージャーの Tanya Jonker 氏も次のように付け加えました。

「システムは、ユーザーの位置情報やランニングシューズやアクティビティ認識などの主要なオブジェクトに関する情報を学習し、ユーザーの過去の行動に基づいて意図を予測します。

たとえば、特定の靴を履いて外出するときは、通常、音楽プログラムを開始します。その後、装着して再び外出すると、システムはあなたが音楽を聴きたいと思っている可能性が高いと判断し、画面に「音楽を再生しますか?」と表示されます。 ' オプションを使用すると、ユーザーは簡単なジェスチャで提案を確認または変更できます。 ”

これらのマイクロジェスチャにより、ユーザーは作業を中断したり気を散らしたりする必要がなくなり、時間を節約できます。

Facebookの公式紹介でも、この機能を実現するには機械学習、人間とコンピュータの相互作用、ユーザーインターフェースの設計などの技術を適用する必要があり、まだ多くの技術的課題があると述べられています。

超低摩擦入力方式を使用して適応型インターフェースと対話することはできますが、仮想オブジェクトを認識するには触覚技術が依然として必要です。

この点に関して、FRLの研究科学ディレクターであるショーン・ケラー氏は次のように述べています。

「生まれたときの最初の握力から、物を操作したりキーボードを打ったりするときの器用さまで、私たちの手と指は非常に豊富なフィードバックを持っています。

私たちは触覚信号を使って世界を理解し、触覚によって道具を使ったり細かい制御を行ったりすることができます。メスを扱う外科医からピアノの鍵盤の端を感じるピアニストまで、すべては触覚に依存しています。 ”

リストバンドにより、ユーザーは見ることなくタッチで識別し、決定を下すことができます。例えば：

仮想の弓と矢は手首の触覚を利用して、装着者に弓を引くのと同じような感覚を与え、正しい動作を行ったかどうかを知ることができます。

ユーザー設定に応じて、緊急メールを受信すると、ブレスレットは通常のメールを受信したときよりも強く振動します。

電話がかかってくると、ユーザーはさまざまな触覚フィードバックを通じて相手の身元を知ることができます。

さらに研究者らは、「触覚はさまざまな感情を伝えることもできるため、社会的コミュニケーションを改善する新しい方法となる可能性がある」と付け加えた。

現在、Facebook チームは、触覚フィードバックの種類をさらに調査するために、8 つの空気圧ベローズを備えた Bellowband や、6 つの振動アクチュエータと新しい手首圧迫機構を使用する Tasbi などの研究用プロトタイプを構築しています。

EMG技術を使用した制御

これらの機能はすべて、EMG（筋電図）技術を利用して実現されています。

EMG テクノロジーは、センサーを使用して、手首を通じて手に伝達される電気運動神経信号をデジタル コマンドに変換します。ユーザーはこれらのコマンドを使用してデバイスの機能を制御できます。このレベルの制御は高度にパーソナライズされており、さまざまな状況で使用できます。

Facebookによると、手首を通じて送信される信号は非常に明瞭であるため、EMGは1ミリメートルの指の動きさえも感知でき、楽に入力できるという。将来的には、指を動かす意図さえも感知されるようになるかもしれません。

現在、神経運動インターフェース部門の責任者を務めるトーマス・リアドン氏は、次のように述べています。

「神経インターフェースで私たちが実現したいのは、ユーザーが末梢神経系、特に脳外の神経の出力を利用して、手や指の筋肉の動きを活性化し、機械を直接制御できるようにすることです。」

なぜ手首を選ぶのですか?

FRLチームは次のように説明した。

手は、人が世界と交流するために使用する身体の重要な部分です。手首に装着することで、手の豊富な制御機能を活用して、より優れたインタラクティブ機能を実現できます。

音声制御と比較すると、ウェアラブルデバイスは公共の場での使用に便利です。

時計のようなデザインなので、日常生活や社交の場で使用できます。

また、手首の位置は一日中快適に着用するのに適しています。

独立したデバイスとして設計することで、携帯電話や他のデバイスを介して制御する必要なく、より便利なアプリケーションが可能になります。

手首に装着するウェアラブル デバイスは、さまざまなセンサーをサポートしながら、コンピューティング、バッテリー、アンテナのプラットフォームとしても簡単に機能します。

ネットユーザーの注目

ルカン氏の賞賛を得たこの技術は、当然ながらネットユーザーから広く注目を集めた。

多くのネットユーザーはこれに驚いた。

「これが実際のディレイ効果ですか？素晴らしいですね。」

一部のネットユーザーもこの技術の応用についてアイデアを提案している。

「そうすれば、片手を失った人でも神経的にジェスチャーをシミュレートできるようになるのではないでしょうか？」

「これは間違いなく義肢を接続し、回復と学習のプロセスを促進するために使用できるでしょう。」

しかし、疑問を呈する人もいます。

「何？これは何年も前のMYOブレスレットじゃないの？」

実際、このEMG技術ベースのリストバンド「MYO」のプロトタイプは、もともとARグラス会社Northの前身であるThalmic Labsによって開発され、その特許は後にスタートアップ企業CTRL-labsによって取得されました。

2019年、Facebookは数億ドルを投じてCTRL-labsを買収し、元の研究チームもFRLに加わった。

同時に、一部のネットユーザーは喜んだ。

「数年前に初めてMyoについて読んだとき、VRでの可能性について疑問に思いました。それが実現して嬉しいです。」

このブレスレットは主にFacebookが開発中のARグラスと連動して使用されるもので、発売日はまだ発表されていない。