BBAug: PyTorch 用のオブジェクト検出境界ボックスデータ拡張パッケージ

多くのニューラル ネットワーク モデルと同様に、オブジェクト検出モデルは大量のデータでトレーニングすると最も効果的に機能します。通常、利用可能なデータは限られており、世界中の多くの研究者が利用可能なデータの量を増やすための拡張戦略を調査しています。 Google の Brain チームはそのような研究を実施し、「物体検出のためのデータ拡張戦略の学習」と題した論文を発表しました。この論文では、著者らは、物体検出問題に対して優れたパフォーマンスを発揮する戦略と呼ばれる一連の拡張を特定しています。この戦略は強化された検索を通じて得られ、一般的なモデルのパフォーマンスが向上します。

著者らは、強化戦略をサブ戦略のセットとして定義しています。モデルのトレーニング中に、サブ戦略の 1 つがランダムに選択され、画像が拡張されます。各サブ戦略には、画像に順番に適用される拡張機能があります。各変換には、確率と大きさという 2 つのハイパーパラメータもあります。確率は強化が適用される可能性を示し、大きさは強化の度合いを示します。次のコードは、この記事で使用されている戦略を示しています。

ポリシー= [  
  [('TranslateX_BBox', 0.6, 4), ('イコライズ', 0.8, 10)], 
  [('TranslateY_Only_BBoxes', 0.2, 2), ('Cutout', 0.8, 8)], 
  [('シャープネス', 0.0, 8), ('ShearX_BBox', 0.4, 0)], 
  [('ShearY_BBox', 1.0, 2), ('TranslateY_Only_BBoxes', 0.6, 6)], 
  [('Rotate_BBox', 0.6, 10), ('色', 1.0, 6)],
 ]

この戦略には 5 つのサブ戦略があり、最初のサブ戦略には TranslateX_BBox と Equalize の拡張機能が含まれます。 TranslateX_BBox 操作は、画像を x 軸上で 4 だけ移動します。この場合、サイズは直接ピクセルに変換されるのではなく、サイズに応じてピクセル値が拡大縮小されます。この強化の確率も 0.6 です。つまり、この強化を選択した場合、適用される確率は 60% です。各強化には関連する確率があるため、ランダム性の概念が導入され、トレーニングにランダム性の程度が追加されます。一般的に、Brain Team は v0、v1、v2、v3 の 4 つの戦略を提案しています。この記事では v0 ポリシーを示しますが、他の 3 つのポリシーには、いくつかの異なる変換を含むサブポリシーがさらに含まれています。一般的に、増加は3つのカテゴリーに分類され、著者らは次のように定義しています。

色の操作: 境界ボックスの位置に影響を与えずにカラー チャネルを歪めます。

幾何学的操作: 画像を幾何学的に歪め、それに応じて境界ボックスの位置とサイズを変更します。

境界ボックス操作: 境界ボックスに含まれるピクセルの内容のみが歪められます。

経営学修士

では、この点に関して BBAug はどのような貢献をしたのでしょうか? BBAug は、Google Brain Team のすべての戦略を実装する Python パッケージです。このパッケージは、これらの戦略をより簡単に使用できるようにするラッパーです。実際の拡張は、優れた imgaug パッケージによって行われます。

上記の戦略は、以下に示すようにサンプル画像に適用されます。各行は異なるサブ戦略であり、各列はそのサブ戦略の異なる実行です。

ご覧のとおり、サブポリシーの実行間にはある程度の変動があり、トレーニングにランダム性が加わります。これは、BBAug が実装した 4 つの戦略のうちの 1 つにすぎません。 4 つの戦略すべての完全な視覚化を確認するには、パッケージの GitHub ページ (https://github.com/harpalsahota/bbaug) をご覧ください。このパッケージには、戦略をカスタマイズする機能や、画像の外側にある境界ボックスが部分的に画像の外側にある場合は自動的に削除または切り取られる機能など、便利な機能もいくつか用意されています。たとえば、下の画像では、変換拡張が適用され、境界ボックスが部分的に画像の外側に押し出されています。これに合わせて新しい境界ボックスが縮小されていることがわかります。

境界ボックス領域のみに影響する拡張機能を作成することも可能です。次の画像では、solarisaugmentation は境界ボックス領域にのみ適用されています。

ランダムな戦略を使用して単一の画像を拡張するのはどれくらい簡単ですか?それは次のように簡単です:

 bbaug輸入ポリシーから 
 # ポリシー v0 セットを選択 
 aug_policy =ポリシー.policies_v0 ()  
 # 選択したポリシーセットでポリシーコンテナをインスタンス化します 
ポリシーコンテナ=ポリシー.ポリシーコンテナ (aug_policy)  
 # ポリシーセットからランダムにポリシーを選択する 
ランダムポリシー=ポリシーコンテナ.select_random_policy ()   
 # 拡張を適用します。拡張された画像と境界ボックスを返します。  
 # 画像は画像のNumPy配列です 
 # 境界ボックスは、ピクセル単位 (int) の境界ボックスのリストです。  
 # 例: [[x_min, y_min, x_man, y_max], [x_min, y_min, x_man, y_max]]  
 # ラベルは、バウンディングボックスのクラスラベルであり、intの反復可能オブジェクトです（例：[1,0]）。  
 img_aug、 bbs_aug = policy_container .apply_augmentation(ランダムポリシー、イメージ、バウンディングボックス、ラベル)  
 # image_aug: 拡張された画像のNumPy配列 
 # bbs_aug: 拡張境界ボックスの numpy 配列 (形式: [[label, x_min, y_min, x_man, y_max],...])

要約する

このパッケージは、Google Brain チームによって導き出された強化戦略を実装します。現在、4 つの戦略すべてが実装されており、パッケージには、ユーザーがこれらの戦略を PyTorch トレーニング パイプラインに統合するのに役立つノートブックも付属しています。