Google GlassのDIY貧弱版、カスタムジェスチャーコントロール、Raspberry Piがまたもや新しい遊び方を開発

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

目の前に映し出された電子映像を、かっこいい手振りで操作する、これがSF映画の基本構成ではないでしょうか？

今、誰かがそれをSF映画の現実に持ち込んだ。指を動かすだけで、目の前の世界をコントロールできます。

スマートガジェットの作成に熱心な YouTube ブロガーの Teemu Laurila さんは、Raspberry Pi を使用して、カスタムジェスチャーを認識できる AR グラスを DIY しました。

設定したいジェスチャーをデバイスに入力するだけで、クールな操作を実現できます。

大胆なアイデアがあります！

手作りARグラスの中の世界

ショーを始めましょう！

指をつまんで上下に引くと明るさを調整できます。 （これは一人称視点です）

ジェスチャー認識のために、ディスプレイはレンズ画像に重ねて表示されます。

より直感的な視点で、メガネを通して効果を見てみましょう。

DIYプロセス

AR グラス自体にテクノロジーが満載されており、現実世界にサイバーパンクな雰囲気を与えます。

もっとクールなほうがいい。指をパチンと鳴らすだけでコマンドが実行できる。面白いと思いませんか？

まず、デバイスにどのような部品を含めるかを設計する必要があります。

ハードウェアには、メガネのメインフレームに加えて、レンズグループ、0.6 mm PETG投影レンズも含まれており、アクセサリはポリ乳酸素材の3Dプリントで作られています。

なんせDIYスマートデバイスですから、万能ミニコンピューターRaspberry Piを使わない手はないですよね？

ソフトウェア部分に関しては、ジェスチャー認識プログラムは Python オープンソース プロジェクトMediaPipeに依存しています。

さらに、Teemu Laurila は 2 つのプログラミング スクリプトも作成しました。

1つは指をつまんで明るさをコントロールする応用例、もう1つはジェスチャーをリアルタイムビデオでキャプチャし、コンピューターに送信して処理し、スマートグラスに重ね合わせるというものです。

条件が揃ったので、組み立てて試してみましょう。

何度も調整を重ね、最終的にさまざまな部品が組み合わされて次の装置が完成しました。

プログラムをデバイスで利用できるようにするには、まずプログラムのサポートとして Raspberry Pi が必要です。

次に、メモリ、ドライバー、動作環境、マルチメディア インターフェイス、ネットワークなどの条件を設定して、デバイス全体をオーバークロックで実行できるようにします。

ハードウェアとソフトウェアの環境が準備できたら、アプリケーションをデバッグします。

アプリケーション機能の中核であるジェスチャ認識モデルは、手のひら認識モデル BlazePalm (手の全体的なフレームと方向を認識するために使用)、ランドマーク モデル (3 次元の手のノードを認識する)、ジェスチャ認識モデル (認識されたノードを一連のジェスチャに分類する) の 3 つのフレームワークで構成されています。

認識アルゴリズムのトレーニング中に、BlazePalm モデルは手のひらの初期位置を識別し、モバイル端末でのリアルタイム認識を最適化します。

BlazePalm によって認識される手のひらの範囲内で、Landmark モデルは 21 個のステレオ ノードの座標を識別します。

これに基づいて、ジェスチャ認識モデルは、関節角度に応じて各指の状態を識別し、その状態を事前定義されたジェスチャにマッピングし、基本的な静的ジェスチャを予測します。

Raspberry Pi Zero W を通じてジェスチャー情報をキャプチャします。画像情報はコンピューターに送信され、ジェスチャー認識AIによって処理されます。その後、デバイスに送信され、対応するジェスチャ コマンドが発行され、投影された画像に同期されます。

その過去と現在

ちょっと待ってください、カメラ、マイクロプロジェクター、コンピュータープロセッサーがあり、ディスプレイが片側に投影されています。この手のARグラスはどこかで見たことがあるような気がします。

そうです、使用されているジェスチャー認識コードも Google によってオープンソース化されています。

スマートフォンのようなGoogleスマートグラスと同じ機能はありませんが、音声制御やタッチ機能と比較すると、Teemu Laurilaのスマートグラスはカスタムジェスチャーを使用してコマンドをトリガーすることを選択しており、よりブラックテクノロジーの雰囲気があります。

さらに、Google Glass のカメラは写真の撮影とビデオの録画にのみ使用されますが、Teemu Laurila のカメラはジェスチャー コマンドの受信やコマンドの伝達にも使用されます。同時に、視覚的な観察を容易にするために、投影にはより大きな正方形のレンズも選択されました。

このデバイスは、Teemu Laurila が完成させたスマート グラスの 2 番目のバージョンであり、外観とパフォーマンスの両方が改善されています。

材料の選択に関しては、1mm厚ではなく0.6mm厚の投影レンズが使用され、アクリル酸の代わりにポリ乳酸材料が使用され、ブラケットを固定するためにボルトが追加され、接着剤は廃止されました。

最も重要な最適化は、カメラが正方形のレンズを使用して画像をより鮮明にすることです。

Teemu Laurila 氏は、興味のある視聴者が自分で再現できるように、2 つの追加コードを GitHub プラットフォームで共有しました。

参考リンク:
https://www.tomshardware.com/news/raspberry-pi-smart-glasses-recognize-hand-gestures
https://www.youtube.com/watch?v=60Os5Iqdbsw
https://www.youtube.com/watch?v=Gu4oOYo38rQ

GitHub リンク:
https://github.com/Teneppa/CameraStream
https://github.com/Teneppa/HandTrackingBrightnessControl