YOLOv5の魔法：手話を学び、聴覚障害者を支援する

コンピュータービジョンはアメリカ手話を学習して聴覚障害者を助けることができるでしょうか?データサイエンティストの David Lee 氏は、プロジェクトを通じてその答えを示しました。

聞こえなかったらどうしますか？唯一のコミュニケーション方法が手話だったらどうなるでしょうか?

食べ物を注文したり、金銭面について話し合ったり、友人や家族と会話したりするような単純なことでさえ、相手があなたの言っていることを理解してくれないとがっかりすることがあります。

普通の人にとって簡単なことでも、聴覚障害者にとっては非常に難しいことであり、そのために差別を受けることもあります。多くの場合、彼らは適切な翻訳サービスにアクセスできず、失業、社会的孤立、公衆衛生上の問題につながります。

聴覚障害者コミュニティの声をより多くの人に届けるために、データ サイエンティストの David Lee 氏はデータ サイエンス プロジェクトを利用してこの問題を解決しようとしました。

コンピュータービジョンはアメリカ手話を学習して聴覚障害者を助けることができるでしょうか?

機械学習アプリケーションが最も基本的なアルファベットからでもアメリカ手話を正確に翻訳できれば、聴覚障害者コミュニティにさらなる利便性と教育リソースを提供することに一歩近づくことができます。

データとプロジェクトの紹介

David Lee は、いくつかの理由から、生画像データセットを作成することを決定しました。まず、モバイル デバイスまたはカメラに基づいて目的の環境を設定します。通常は 720p または 1080p の解像度が必要です。存在するデータセットは数が少なく、解像度が低く、完成させるのに多少の動きを必要とする「J」と「Z」の文字が含まれないデータセットも多くあります。

この目的のため、デイビッド・リーはソーシャルプラットフォーム上で手話画像データの収集を要請し、プロジェクトと手話画像の提出方法の説明を紹介し、意識を高めてデータを収集したいと願った。

プロジェクトアドレス: https://github.com/insigh1/GA_Data_Science_Capstone

データの変形とオーバーサンプリング

デビッド・リー氏はこのプロジェクトのために、自身の手の写真も含め 720 枚の画像を収集しました。このデータセットは小さいため、David は labelImg ソフトウェアを使用して境界ボックスのラベル付けを手動で実行し、変換関数の確率を設定して、同じ画像に基づいて複数のインスタンスを作成し、各インスタンスに異なる境界ボックスを設定しました。

次の図はデータ拡張の例を示しています。

データ拡張後、データセットのサイズは 720 枚の画像から18,000 枚の画像に拡張されました。

モデリング

David はモデリングに YOLOv5 を使用することを選択しました。データセット内の画像の 90% はトレーニング データとして使用され、10% の画像は検証セットとして使用されます。転移学習と YOLOv5m の事前トレーニング済み重みを使用して 300 エポックトレーニングします。

検証セットにラベルと予測信頼度を含む新しい境界ボックスが正常に作成されました。

損失値が増加していないため、モデルは過剰適合しておらず、モデルはおそらくより多くのエポックにわたってトレーニングされる可能性があります。

このモデルは最終的に [email protected]:.95 スコア 85.27% を達成しました。

画像推論テスト

デイビッドはさらに、息子の手の画像データをテストセットとして収集しました。実際のところ、モデルをトレーニングするための子供の手の画像は存在しません。理想的には、さらにいくつかの画像があればモデルのパフォーマンスを示すのに役立ちますが、これはほんの始まりに過ぎません。

26 文字のうち、4 文字 (G、H、J、Z) には予測がありません。

正確に予測されなかったのは次の 4 つです。

D は F になると予測されます。

E は T になると予測されます。

P は Q になると予測されます。

R は U であると予測されます。

ビデオ推論テスト

トレーニング用の手の画像がわずか数枚しかない場合でも、モデルはこのような小さなデータセットで優れたパフォーマンスを発揮し、妥当な速度で優れた予測を提供することができ、大きな可能性を示しています。

より多くのデータは、さまざまな新しいコンテキストで使用できるモデルの作成に役立ちます。

上のビデオに示されているように、文字の一部がフレームから外れていても、モデルは良好な予測結果を出すことができます。最も驚いたのは、文字 J と Z も正確に認識されたことです。

その他のテスト

David は次のような他のテストも実行しました。

左利き手話テスト

元の画像はほとんどすべて右手が写っていましたが、左利きのユーザーの場合、画像が水平に反転している可能性が 50% あったため、データ拡張がここで役立ったことに David は驚きました。

子どもの手話テスト

デイビッドの息子の手話データはトレーニング セットでは使用されていませんでしたが、それでもモデルはそれに対して優れた予測を行いました。

複数のインスタンス

手話の使い方はビデオとは異なりますが、この例では、画面に複数の人物が登場する場合に、モデルが複数の手話を区別できることを示しています。

モデルの制限

デイビッドは、モデルにはまだ改善の余地があることに気付きました。

距離

‍多くの元画像は携帯電話で撮影されており、手とカメラの距離が比較的近いため、遠距離推論に一定の悪影響を及ぼします。

新しい環境

このビデオはボランティアによるもので、モデルのトレーニングには使用されません。モデルは多くの文字を認識していますが、それらの予測の信頼性は低く、誤分類がいくつかあります。

‍背景推論

このテストの目的は、さまざまな背景がモデルのパフォーマンスに影響を与えることを確認することです。

結論は

このプロジェクトは、コンピューター ビジョンを使用して、聴覚障害者コミュニティが教育リソースにアクセスしやすくする方法を示しています。

このモデルは、データセットが少量であっても優れたパフォーマンスを発揮できます。このモデルは、さまざまな環境のさまざまな手に対しても優れた検出結果を実現します。また、トレーニング データを増やすことで、いくつかの制限に対処できます。微調整とデータセットの拡張により、このモデルはアメリカ手話のアルファベット以外のシナリオにも拡張できる可能性があります。

リソース

Yolov5 GitHub プロジェクト: https://github.com/ultralytics/yolov5