ディープラーニングは、データが不足している場合、無力なのでしょうか?ここにいくつかの良いアイデアがあります!

ディープラーニングは、データが大量にある場合、どんなに複雑な問題でも問題ありません。しかし、データがそれほど多くない場合はどうなるでしょうか。この問題に対して、この記事の著者である Tyler Folkman は、限られたデータに対してディープラーニングを使用するいくつかの方法を紹介しています。これにより、データが不足している場合でもディープラーニングを使用することができます。

[[285157]]

ディープラーニングがこれまでで最高のものであることは周知の事実です。大量のデータに関する複雑な問題を低コストで解決できます。唯一の問題は、あなたが Google や Facebook で働いておらず、データが不足しているということです。それではどうすればいいのでしょうか? それでもディープラーニングの力を活用できるのでしょうか、それとも何もできないのでしょうか?

限られたデータに対してディープラーニングを使用する方法をいくつか紹介し、これが将来の研究にとって最も興味深い分野の 1 つになる可能性がある理由を説明します。

1. シンプルなものから始める

限られたデータに対してディープラーニングを使用する方法を検討する前に、ニューラル ネットワークから一歩離れて、簡単なベースラインを確立しましょう。通常、従来のモデル (ランダム フォレストなど) を試してみるのにそれほど時間はかかりません。これにより、ディープラーニングの潜在的な改善点をすべて評価し、問題に対するディープラーニングと他のアプローチのトレードオフについて、より深い視点を得ることができます。

2. より多くのデータを取得する

馬鹿げているように聞こえるかもしれませんが、もっと多くのデータを収集できるかどうかを真剣に考えたことがありますか? 私が企業にもっとデータを集めるよう提案しても、その提案が狂人の戯言として却下されることがよくあることに驚かされます。はい、より多くのデータを収集するために時間とお金を投資することは可能ですし、実際、それが最善の選択肢となることもよくあります。たとえば、希少な鳥類を分類しようとしているのに、データが非常に限られているとします。より多くのデータに注釈を付けるだけで、この問題をほぼ確実に簡単に解決できます。どのくらいの量のデータを収集する必要があるか分からない場合は、データを追加しながら学習曲線をプロットし (このチュートリアルへのリンク)、モデルのパフォーマンスがどのように変化するかを確認して、必要なデータの量を判断してみてください。

3. 微調整

[[285158]]

ここで、すでに単純なベースライン モデルがあり、それ以上のデータを取得するのは不可能か、コストがかかりすぎるとします。この時点で最も信頼性が高く正しいアプローチは、事前トレーニング済みのモデルを活用し、問題に合わせてモデルを微調整することです。

微調整の基本的な考え方は、モデルのドメインに多少似ている非常に大きなデータセットを取得し、ニューラル ネットワークをトレーニングしてから、この事前トレーニング済みのニューラル ネットワークを小さなデータセットで微調整することです。詳細については、「Keras でのディープラーニング モデルの微調整に関する包括的なガイド」をご覧ください。

記事リンク

画像分類の問題では、最も一般的に使用されるデータセットは ImageNet です。このデータセットには、複数のターゲット クラスの何百万もの画像が含まれているため、さまざまな種類の画像の問題に使用できます。動物も含まれているので、珍しい鳥の分類にも役立つかもしれません。

微調整のためにコードを使用する必要がある場合は、Pytorch チュートリアル (チュートリアル リンク) を参照してください。

4. データ拡張

より多くのデータにアクセスできず、大規模なデータセットをうまく微調整できない場合は、通常、データ拡張が次善の選択肢となります。微調整しながらの使用も可能です。

データ拡張の背後にある考え方はシンプルです。ラベル値を変更せずに新しいデータを提供するように入力を変更します。

たとえば、猫の写真がある場合、写真を回転しても猫の写真のままであれば、それは優れたデータ拡張になります。一方、道路の写真があり、適切なハンドルの回転を予測したい場合（自動運転車の場合）、道路の写真を回転させると適切なハンドルの回転が変わってしまい、ハンドルの回転を適切な位置に調整しないとうまく予測することが難しくなります。

データ拡張は画像分類問題において最も一般的な方法であり、関連する技術はこの Web サイトで入手できます。

また、NLP (関連例を参照) などの他の分野にデータ拡張を適用する独創的な方法を考えることもよくあります。また、GAN を使用して新しいデータを生成しようとする人もいます。 GAN 方式に興味がある方は、「Deep Adversarial Data Augmentation」（記事リンク）という記事をお読みください。

5. コサイン損失

最近の論文「コサイン損失を使用した事前トレーニングなしの小規模データセットでのディープラーニング」では、分類問題で損失関数をカテゴリクロスエントロピー損失からコサイン損失に切り替えると、小規模データセットでの精度が 30% 向上することがわかりました。コサイン損失は単純に「1 - コサイン類似度」です。

上の図から、クラスあたりのサンプル数に応じてパフォーマンスがどのように変化するか、また、微調整が一部の小さなデータセット (CUB) では価値があるが、他のデータセット (CIFAR-100) ではそれほど価値がないことがわかります。

6. 詳細な

「現代のニューラルネットワークは小規模データセットで一般化する」と題された NIPS の論文 (論文リンク) では、著者らはディープニューラルネットワークをアンサンブルとして考察しています。具体的には、「各レイヤーが機能のレベルを段階的に提示するのではなく、最後のレイヤーが統合メカニズムを提供します。」

少量のデータでこれから得られる利点は、構築するディープ ネットワークがこのアンサンブル効果を活用できることです。

7. オートエンコーダ

現在では、スタックされたオートエンコーダーが、より最適化された開始重みを採用することでネットワークの事前トレーニングにうまく使用されているケースがあります (この例については、論文「小規模データセットでディープ ニューラル ネットワークを使用して材料の欠陥を予測する」を参照してください)。これにより、ローカル最適化や不適切な初期化によるその他の落とし穴を回避できます。ただし、Andrej Karpathy 氏は、教師なし事前トレーニングにあまり興奮しないようにアドバイスしています (関連記事については、http://karpathy.github.io/2019/04/25/recipe/ を参照してください)。

オートエンコーダーについて復習する必要がある場合は、スタンフォード大学のディープラーニングチュートリアル (http://www.stanford.edu.cn/deeplearning/) を参照してください。オートエンコーダの基本的な考え方は、入力を予測するニューラル ネットワークを構築することです。

8. 事前の知識

[[285159]]

図4: Glen Nobleによる写真、出典: Unsplash (ウェブサイトリンク)

最後のポイントは、学習プロセスを導くためにドメイン固有の知識を取り入れる方法を見つけることです。例えば、論文「確率的プログラム誘導による人間レベルの概念学習」（論文リンク）では、学習プロセス中に事前知識を使用して部分的な概念から全体的な概念を構築できるモデルを構築しました。このようなモデルは、人間レベルのパフォーマンスを実現し、当時のディープラーニング手法を上回ることができます。

また、ドメイン知識を使用してネットワークへの入力を制限し、次元を減らしたり、ネットワーク アーキテクチャを小さくしたりすることもできます。

事前の知識を取り入れることは難しい場合があり、最も時間がかかることが多いため、これを最後の選択肢として残しておきます。

9. 少量データでもディープラーニングを活用

この記事が、限られたデータに対してディープラーニング技術を使用する方法についてのアイデアを与えてくれたことを願っています。個人的には、これは現時点では十分に議論されていない問題ですが、非常に興味深い意味合いを持っていると思います。

希少疾患の検出や教育成果など、より多くのデータを取得するのに非常に費用がかかったり、実現不可能であったりするため、データが非常に限られている問題が多数あります。ディープラーニングのような最良の技術を適用してこれらの問題を解決する方法を見つけることは非常にエキサイティングです。Andrew Ng 氏も次のように述べています。

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。