データが少なすぎる場合はどうすればいいですか?履歴書トレーニングのための新しいツール、自己教師学習を試してみましょう

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

データが少なく、事前トレーニング済みのモデルもありません。どうすればよいでしょうか?

ここにあなたのための秘密兵器があります：自己教師学習。

データサイエンティストのジェレミー・ハワード氏はツイートを投稿しました。

医療画像の分野では、ほんの少しのデータで多くのことを行わなければならないことがよくあります。

この問題には、自己教師学習という、あまり評価されていない方法があり、これは素晴らしいことです。

関連する最新の fast.ai チュートリアルも添付されています。

△アドレス：https://www.fast.ai/2020/01/13/self_supervised/

このツイートはすぐに多くのネットユーザーの注目を集め、絶賛された。

素晴らしい記事ですね、本当に素晴らしいです！

これはシンプルかつ強力なテクニックです。

次に、自己教師あり学習がいかに強力であるかを見てみましょう。

自己教師あり学習入門

ほとんどの場合、ニューラル ネットワークのトレーニングは、事前にトレーニングされたモデルから開始し、その後微調整する必要があります。

事前トレーニング済みのモデルを使用すると、最初からトレーニングする場合に比べて 1,000 倍のデータを節約できます。

では、想像してみてください。あなたの分野に事前トレーニング済みのモデルがなかったら、どうしますか?

たとえば、医療画像の分野では、事前にトレーニングされたモデルはほとんどありません。

最近、この問題を研究した興味深い論文があります。

△論文アドレス: https://arxiv.org/pdf/1902.07208.pdf

研究では、ImageNet モデルの初期レイヤー (事前トレーニング済み) を使用した場合でも、医療用画像モデルのトレーニング速度と最終的な精度を向上できることがわかりました。

そのため、一般的な事前学習済みモデルが研究分野の範囲外であっても、それを使用してみることは可能です。

しかし、この研究は次のような問題点も指摘している。

改善は大きくありません。

大量のデータを必要とせず、より良い結果を達成できるテクノロジーはありますか?

自己教師学習は秘密兵器です。

これは、モデルがラベル付きデータなしでラベルなしデータから直接学習する、機械学習の「理想的な状態」と見ることができます。

例えば、ULMFiT（NLPトレーニング方法）の鍵となるのは自己教師学習であり、これによりNLP分野の技術レベルは大幅に向上しました。

△論文アドレス: https://arxiv.org/abs/1801.06146

自己教師学習ベースの方法では、まず言語モデルを訓練して文中の次の単語を予測します。

この事前トレーニング済みモデルを別のタスク（感情分析など）で使用すると、少量のデータで最新の結果を得ることができます。

コンピュータビジョンにおける自己教師学習

自己教師学習では、事前トレーニングに使用されるタスクはプレテキストタスクと呼ばれます。

微調整に使用されるタスクは、ダウンストリーム タスクと呼ばれます。

自己教師あり学習は現在、NLP の分野では非常に一般的ですが、コンピューター ビジョンの分野ではほとんど使用されていません。

おそらく、ImageNet などの事前トレーニング済みモデルの成功により、医療画像処理などの分野の研究者は自己教師学習の必要性をよく理解していない可能性があります。

以下のコンテンツでは、CV 分野で自己教師学習を適用した論文の例を示します。

ますます多くの人々がこの重要な技術に注目してくれることを願っています。

画像の色付け

カラフルな画像のカラー化

△論文アドレス: https://arxiv.org/abs/1603.08511

自動カラー化のための表現の学習

△論文アドレス: https://arxiv.org/pdf/1603.06668

動画をカラー化することで追跡が明らかになる

△ https://arxiv.org/pdf/1806.09594

エフェクト表示

画像パッチを正しい位置に配置する

ジグソーパズルを解くことによる視覚表現の教師なし学習

△論文アドレス: https://arxiv.org/pdf/1603.09246

文脈予測による教師なし視覚表現学習

△論文アドレス: https://arxiv.org/pdf/1505.05192

エフェクト表示

フレームを正しい順序に並べます

シーケンスのソートによる教師なし表現学習

△論文アドレス: https://arxiv.org/pdf/1708.01246

シャッフルと学習: 時間順序検証を使用した教師なし学習

△論文アドレス: https://arxiv.org/pdf/1603.08561

エフェクト表示

修復

コンテキスト エンコーダー: インペインティングによる特徴学習

△論文アドレス: https://arxiv.org/pdf/1604.07379

エフェクト表示

破損した画像の分類

アーティファクトの発見を学習する自己教師付き特徴学習

△論文アドレス: https://zpascal.net/cvpr2018/Jenni_Self-Supervised_Feature_Learning_CVPR_2018_paper.pdf

エフェクト表示

口実タスクを選択

コンピューター ビジョンで自己教師学習を使用するには、非常に重要な質問に答える必要があります。

どの口実タスクを使用すればよいですか?

多くの人は口実タスクとして「オートエンコーダ」を使用することを選択します。

オートエンコーダは、入力画像を簡略化された形式に変換し、それを可能な限り元の画像に近い形式に変換します。

ただし、元の画像の内容だけでなく、元の画像に含まれるノイズもすべて再生成する必要があります。

したがって、下流のタスクでより高品質の画像を生成することが目的である場合、これは適切な選択ではありません。

さらに、口実タスクが人間が実行できるものであることを確認する必要があります。

たとえば、予測時点が遠すぎる場合、ビデオの次のフレームを予測することは不可能です。

下流タスクの微調整

モデルがプレテキストタスクで事前トレーニングされたら、微調整に進むことができます。

この時点では、この問題を転移学習として考え、事前トレーニング済みモデルの重みをあまり変更しないようにする必要があります。

全体として、Jeremy Howard は、「完璧な」口実モデルの作成に時間をかけすぎるのではなく、できるだけ迅速かつ簡単なモデルを構築することを推奨しています。

次に、この口実モデルが下流のタスクを満たすことができるかどうかを確認する必要があります。

さらに、下流のタスクで良好な結果を得るために、非常に複雑な口実のタスクは通常必要ないことが判明しました。

ヤン・ルカンのより良いアプローチの提案

ジェレミー・ハワードがこのツイートを投稿した後、ディープラーニングの三大巨頭の一人であるヤン・ルカンがそれに反応した。

Yann LeCun はより良い提案をしています:

現在、視覚的特徴を学習するための最良の SSL アプローチは、Siamese ネットワークを使用して埋め込みを学習することです。

関連する研究には以下が含まれます。

口実不変表現の自己教師学習

△論文アドレス: https://arxiv.org/pdf/1912.01991

ジェレミー・ハワードはルカン氏にこう答えた。

あらゆる口実タスクに PiRL を追加するのは素晴らしいアイデアです。

ジェレミー・ハワード

ジェレミー・ハワード

ジェレミー・ハワードはオーストラリアのデータサイエンティストであり起業家です。ディープラーニングをより身近なものにすることを目的とした研究所 fast.ai の創設研究者の 1 人。

それ以前は、サンフランシスコに拠点を置く先進的な機械学習企業であ​​る Enlitic の CEO 兼創設者を務めていました。