空中でスクリーンに文字を書くのは魔法のようです。指をつまむだけで実現します。

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

空中にお守りを描くという第 2 レベルのスキルを欲しくない人がいるでしょうか?

魔法のブラシとして機能する汎用 AI を作成したほうがよいでしょう。

これは、書いたり描いたりするためのハンド トラッキング プログラムです。開発者はこれをYoHa ( Your Hand Tracking) と名付けました。

このプログラムは、遅延や遅れのないTensorFlow.jsに基づいたリアルタイム認識を実装します。

指をつまむと絵筆になり、拳を握るだけで簡単にキャンバスをきれいにすることができます。

YoHa を使って自分自身に特殊効果を描く効果は非常に優れているため、555 個の星を獲得できるのも不思議ではありません。

このAIをどうやってプレイするのですか?

このジェスチャー認識プログラムはオープンソース化されており、開発者の Benjamin は、この「魔法」を使用する機会をすべての人に惜しみなく提供しています。

自分のパソコンにインストールして遊ぶことができ、1行のコードで簡単に実装できます。

npm インストール @handtracking.io/yoha

また、Web ページから直接モデルをダウンロードして、書き込みや描画を行い、オンラインで試すこともできます。

YoHa は現時点では指をつまむ動作と拳を握る動作にしか反応できませんが、TensorFlow.js のサポートにより、そのパフォーマンスは決して低くありません。

21個の手関節の位置決め、左右の手の方向検出、手の姿勢検出などをすべてリアルタイムで実現できます。

「バイヤーショー」も同様に優れているかどうか見てみましょう。

ルーン文字の絵が醜すぎるというだけで魔法使いにはなれないことが判明

このような興味深い AI の原理は何でしょうか?

YoHa モデルは、TensorFlow.js ディープラーニング フレームワークを使用して、最初からトレーニングを行います。開発プロセスには、トレーニングと推論の 2 つの部分が含まれます。

モデルのトレーニング フェーズでは、カスタム データセットをトレーニング データとして使用するカスタム ニューラル ネットワークが使用され、オンラインのリアルタイム推論では TensorFlow.js 推論フレームワークが使用されます。

ただし、TensorFlow.js のサイズ制限により、YoHa はコンピューターよりもモバイル デバイスでのパフォーマンスが低下します。

さらに、YoHaのローカル実行速度はオンライントライアルよりもはるかに高速です。AIを飼いならすには、まず家に連れて帰って育てる必要があることがわかりました。

ジェスチャー認識は何に役立ちますか?

YoHa の開発者であるベンジャミン氏は、このプロジェクトは当初、ネットワークの双方向性を高めるために作成されたと述べています。

「既存のソリューションには私が求めていたものがなかったので、自分で新しいソリューションを作りました」

彼は本当に実践的な人です。欲しいものがない場合は、自分で作ります。

ジェスチャー認識は非常に人気があるので、VR/AR をもっと楽しくするために、より多くの遊び方を開発し、より豊富な機能を追加してみてはいかがでしょうか。

前述の YoHa のパフォーマンス欠陥に対応して、Benjamin はプレイヤーに高性能な代替手段である汎用ジェスチャ認識モデル MediaPipe も提供しました。

ハイエンドのプレーヤーがより高いパフォーマンスを要求する場合、このクラシックモデルをベースに機能を拡張することができます。

例えば、最近MediaPipeをベースに開発された「air-drawing 」という類似プロジェクトは、ゲームプレイの点でYoHaとは少し異なります。

興味があれば、AI を飼い慣らして文章を書いたり描いたりしてみましょう。

GitHub アドレス:
https://github.com/handtracking-io/yoha
トライアルアドレス:
https://handtracking.io/draw_demo/
https://loicmagne.github.io/air-drawing/