Android Things と TensorFlow を使用して IoT に機械学習を適用する方法

Android Things を Tensorflow と統合する方法と、機械学習を IoT システムに適用する方法を学びます。 Android Things を搭載した Raspberry Pi で Tensorflow を使用して画像分類を行う方法を学びます。

このプロジェクトでは、機械学習をモノのインターネットに適用する方法を探ります。具体的には、IoT プラットフォームとしてAndroid Thingsを使用し、機械学習エンジンとしてGoogle TensorFlow を使用します。

現在、Android Things は Android Things 1.0 という安定バージョンになっており、実稼働システムで使用できます。すでにご存知かもしれませんが、Raspberry Pi は開発とプロトタイピングのために Android Things 1.0 をサポートできるプラットフォームです。このチュートリアルでは Android Things 1.0 と Raspberry Pi を使用しますが、コードを変更せずにサポートされている他のプラットフォームに切り替えることもできます。このチュートリアルでは、Android Things Raspberry Pi を使用して、モノのインターネット (IoT) に機械学習を適用する方法について説明します。

IoT における機械学習は最もホットなトピックの 1 つです。機械学習の最も簡単な定義は、おそらく Wikipedia にあるものです。

機械学習は、明示的にプログラムすることなく、データを使用してコンピューターが「学習」（つまり、特定のタスクでのパフォーマンスを徐々に向上させること）できるようにするコンピューターサイエンスの分野です。

言い換えれば、一度トレーニングすれば、システムは特にプログラムされていなくても結果を予測できるようになります。一方、モノのインターネットと接続デバイスの概念は誰もが知っています。最も有望な分野の一つは、機械学習をモノのインターネットに適用し、エキスパートシステムを構築して、「学習」できるシステムを開発する方法です。さらに、この知識は物理的なオブジェクトの制御と管理にも使用できます。 Android Things の詳細に入る前に、まずデバイスにインストールする必要があります。 Android Things を初めて使用する場合は、デバイスに Android Things をインストールする方法に関するこのチュートリアルをお読みください。

機械学習と IoT を適用することで大きな価値を生み出すことができる領域はいくつかあります。以下に、興味深い領域をいくつか挙げます。

産業用 IoT (IIoT) における予測メンテナンス
消費者向け IoT では、機械学習によってデバイスを私たちの習慣に合わせて調整することで、よりスマートにすることができます。

このチュートリアルでは、Android Things と TensorFlow を使用して、機械学習をモノのインターネットに適用する方法について説明します。このAdnroid Things IoTプロジェクトの基本的なアイデアは、前方の道路上の基本的な形状（矢印など）を認識し、道路の方向を制御できる自動運転車の構築方法を探ることです。 Android Things を使用して自動運転車を構築する方法についてはすでに説明しましたので、このプロジェクトを開始する前にそのチュートリアルを読むことをお勧めします。

この機械学習と IoT プロジェクトでは、次のトピックを取り上げます。

Docker を使用して TensorFlow 環境を構成する方法
TensorFlow システムをトレーニングする方法
TensorFlow を Android Things と統合する方法
TensorFlow の結果を利用して自動運転車を制御する方法

このプロジェクトは、Android Things TensorFlow 画像分類器から生まれました。

さあ始めましょう！

画像認識にTensorflowを使用する方法

始める前に、TensorFlow 環境をインストールして構成する必要があります。私は機械学習の専門家ではないので、TensorFlow 画像認識エンジンを構築できるように、何か迅速かつ便利なものを見つける必要がありました。これを行うには、Docker を使用して TensorFlow イメージを実行します。手順は次のとおりです。

1. TensorFlow リポジトリをクローンします。

 git clone https : //github.com/tensorflow/tensorflow.git
 cd / tensorflow
 git checkout v1 . 5.0

2. このプロジェクトで使用するすべてのファイルを保存するディレクトリ ( /tf-data ) を作成します。

3. Dockerを実行します。

 docker run - it \
 -- volume / tf - data :/ tf - data \
 -- volume / tensorflow :/ tensorflow \
 -- workdir / tensorflow tensorflow / tensorflow : 1.5 . 0 bash

このコマンドを使用すると、インタラクティブな TensorFlow 環境を実行し、プロジェクトの作業中に使用するいくつかのディレクトリをマウントします。

TensorFlow をトレーニングして画像を認識する方法

Android Things システムが画像を認識できるようにするには、まず TensorFlow エンジンをトレーニングしてモデルを構築できるようにする必要があります。これを行うには、いくつかの画像を収集する必要があります。前述したように、Android Things の無人運転車を制御するには矢印を使用する必要があるため、少なくとも 4 種類の矢印を収集する必要があります。

上向き矢印
下向き矢印
左向き矢印
右向き矢印

システムをトレーニングするために、これら 4 つの異なるカテゴリの画像を使用して「知識ベース」が作成されます。 /tf-dataディレクトリにimagesというディレクトリを作成し、その下に次の名前の 4 つのサブディレクトリを作成します。

up-arrow
down-arrow
left-arrow
right-arrow

さて、写真を探しに行きましょう。私はGoogle画像検索を使用しましたが、他の方法も使用できます。画像のダウンロードプロセスを簡素化するために、Chrome ダウンロード拡張機能をインストールして、選択した画像をワンクリックでダウンロードできるようにすることができます。トレーニング効果を高めるために、より多くの画像をダウンロードすることを忘れないでください。もちろん、モデルの作成時間はそれに応じて長くなります。

さらに読む

APIを使用してAndroid Thingsを統合する方法
Firebase で Android Things を使用する方法

ブラウザを開いて、次の 4 種類の矢印の画像を探し始めます。

TensorFlow 画像分類器

カテゴリーごとに80枚の画像をダウンロードしました。画像ファイルの拡張子については心配する必要はありません。

すべてのカテゴリのイメージに対して次の操作を実行します (Docker インターフェース内)。

 python / tensorflow / examples / image_retraining / retrain . py \
 -- bottleneck_dir = tf_files / bottlenecks \
 -- how_many_training_steps = 4000 \
 -- output_graph = /tf-data/ retrained_graph . pb \
 -- output_labels = /tf-data/ retrained_labels . txt \
 -- image_dir = /tf-data/ images

このプロセスには長い時間がかかるため、忍耐強く待つ必要があります。完了すると、 /tf-dataディレクトリに次の 2 つのファイルが作成されます。

retrained_graph.pb
retrained_labels.txt

最初のファイルには TensorFlow トレーニングプロセスによって生成された結果モデルが含まれ、2 番目のファイルには 4 つの画像クラスに関連付けられたラベルが含まれます。

Tensorflow モデルのテスト方法

このモデルをテストして期待どおりに動作するかどうかを確認する場合は、次のコマンドを使用できます。

 python scripts . label_image \
 -- graph = /tf-data/ retrained - graph . pb \
 -- image = /tf-data/ images /[ category ]/[ image_name . jpg ]

モデルの最適化

Android Things プロジェクトで TensorFlow モデルを使用する前に、最適化する必要があります。

 python / tensorflow / python / tools / optimize_for_inference . py \
 -- input = /tf-data/ retrained_graph . pb \
 -- output = /tf-data/ opt_graph . pb \
 -- input_names = "Mul" \
 -- output_names = "final_result"

それが私たちのモデルのすべてです。このモデルを使用して、TensorFlow を Android Things と統合し、機械学習を IoT などのタスクに適用します。目標は、Android Things アプリケーションを使用して矢印画像をインテリジェントに認識し、その後の自動運転車の方向制御に反応することです。

TensorFlow とモデルの生成方法について詳しく知りたい場合は、公式ドキュメントとこのチュートリアルをご覧ください。

Android Things と TensorFlow を使用して IoT に機械学習を適用する方法

TensorFlow データモデルの準備ができたので、次のステップである、Android Things を TensorFlow と統合する方法に進みます。この目的のために、このタスクを 2 つのステップに分割します。

ハードウェア部分では、モーターやその他のコンポーネントを Android Things 開発ボードに接続します。
このアプリケーションの実装

Android Things の図

周辺機器コンポーネントの接続方法を説明する前に、この Android Things プロジェクトで使用されるコンポーネントのリストを示します。

Android Things 開発ボード (Raspberry Pi 3)
ラズベリーパイカメラ
LEDライト
LN298NデュアルHブリッジモータードライバーモジュール（制御モーターを接続）
二輪無人自動車のシャシー

Android Things を使用してモーターを制御する方法については、以前の記事ですでに説明されているため、ここでは繰り返しません。

ここに図があります:

Android Things と IoT の統合

上の写真にはカメラは写っていません。最終結果は次のとおりです。

[[238649]]

Android Things と TensorFlow の統合

TensorFlow を使用した Android Things アプリケーションの実装

最後のステップは、Android Things アプリケーションを実装することです。これを行うには、Github にある TensorFlow Image Classifier Example というサンプルコードを再利用できます。始める前に、ソースコードを変更できるように Github リポジトリをクローンします。

この Android Things アプリは、次の点で元のアプリと異なります。

カメラ画像のキャプチャを開始するためのボタンは使用しません
異なるモデルを使用する
リマインダーとして点滅する LED ライトを使用し、LED の点滅が止まるとカメラが写真を撮影します。
TensorFlow は画像 (矢印) を検出するとモーターを制御します。さらに、ステップ 3 のサイクルが開始する前に、モーターが 5 秒間オンになります。

LED を点滅させるには、次のコードを使用します。

 private Handler blinkingHandler = new Handler ();
 private Runnable blinkingLED = new Runnable () {
  @Override
  public void run () {
    try {
     // If the motor is running the app does not start the cam
     if ( mc . getStatus ())
       return ;
     Log . d ( TAG , "Blinking.." );
 mReadyLED . setValue (! mReadyLED . getValue ());
     if ( currentValue <= NUM_OF_TIMES ) {
 currentValue ++;
 blinkingHandler . postDelayed ( blinkingLED , 
 BLINKING_INTERVAL_MS );
     }
     else {
 mReadyLED . setValue ( false );
 currentValue = 0 ;
 mBackgroundHandler . post ( mBackgroundClickHandler );
     }
   } catch ( IOException e ) {
 e . printStackTrace ();
   }
  }
 };

LED の点滅が止まると、アプリケーションは写真をキャプチャします。

ここで、検出された画像に基づいてモーターを制御する方法について考える必要があります。このメソッドを変更します:

 @Override
 public void onImageAvailable ( ImageReader reader ) {
  final Bitmap bitmap ;
   try ( Image image = reader . acquireNextImage ()) {
 bitmap = mImagePreprocessor . preprocessImage ( image );
   }
   final List < Classifier . Recognition > results = 
 mTensorFlowClassifier . doRecognize ( bitmap );
   Log . d ( TAG , 
    "Got the following results from Tensorflow: " + results );
   // Check the result
   if ( results == null || results . size () == 0 ) {
     Log . d ( TAG , "No command.." );
 blinkingHandler . post ( blinkingLED );
     return ;
    }
    Classifier . Recognition rec = results . get ( 0 );
    Float confidence = rec . getConfidence ();
    Log . d ( TAG , "Confidence " + confidence . floatValue ());
    if ( confidence . floatValue () & lt ; 0.55 ) {
     Log . d ( TAG , "Confidence too low.." );
 blinkingHandler . post ( blinkingLED );
     return ;
    }
    String command = rec . getTitle ();
    Log . d ( TAG , "Command: " + rec . getTitle ());
    if ( command . indexOf ( "down" ) != - 1 )
 mc . backward ();
    else if ( command . indexOf ( "up" ) != - 1 )
 mc . forward ();
    else if ( command . indexOf ( "left" ) != - 1 )
 mc . turnLeft ();
    else if ( command . indexOf ( "right" ) != - 1 )
 mc . turnRight ();
 }

この方法では、TensorFlow がキャプチャされた画像に一致する可能性のあるラベルを返した後、アプリケーションはこの結果を可能性のある方向と比較し、それに応じてモーターを制御します。

***では、先ほど作成したモデルを使用します。既存のファイルを置き換えるには、 assetsフォルダー内のopt_graph.pbとreatrained_labels.txtをコピーします。

Helper.javaを開き、次の行を変更します。

 public static final int IMAGE_SIZE = 299 ;
 private static final int IMAGE_MEAN = 128 ;
 private static final float IMAGE_STD = 128 ;
 private static final String LABELS_FILE = "retrained_labels.txt" ;
 public static final String MODEL_FILE = "file:///android_asset/opt_graph.pb" ;
 public static final String INPUT_NAME = "Mul" ;
 public static final String OUTPUT_OPERATION = "output" ;
 public static final String OUTPUT_NAME = "final_result" ;