海外で最も人気のあるディープラーニング実践コースの新バージョンがリリースされました。100％新しい最先端のコンテンツを備えています。

良いニュースです。お勧めの新しいコースがあります!

理論と実践を組み合わせた完全無料の海外で最も人気のあるAIコース「プログラマーのための実践ディープラーニングコース」が、2019年版として新しく登場しました。

コースプロデューサーであり fast.ai の創設者でもあるジェレミー・ハワード氏は、このコースの内容は 100% 新しいものであり、これまでに紹介されたことのない新しい結果や、その現実世界での応用も含まれていると述べています。

これらの結果のいくつかは非常に新しいため、まだ公表されていません。たとえば、転移学習を使用して GAN をトレーニングすると、トレーニング時間が数日から数時間に短縮されます。

コース全体は 7 つのレッスンで構成されており、コンピューター ビジョン、NLP、推奨システムなど、ディープラーニングを理論から応用まで学習できます。

ジェレミーがTwitterで発表してから半日も経たないうちに、600人以上がリツイートし、トップクラスの機械学習カンファレンスであるICMLの公式Twitterアカウントもリツイートした。

最初の2つのコースの受講生やネットユーザーからはさまざまな形で賞賛の声が上がり、直接「最高のディープラーニングコース」と呼ぶ人も多かった。

ウェブフレームワーク Django の開発者の 1 人である Simon Willison 氏は、かつてブログで、コースを受講して最も強力な画像分類モデルをトレーニングした経験を共有しました。

授業に夢中になって、さらに勉強するために何度も戻ってくる学生もいます。 ScoutOrgo というユーザーがまさにそれを行いました。彼はオタクが集まるHackerNewsコミュニティについて次のようにコメントした。

私は fast.ai コースをあらゆるバージョンで受講してきましたが、常に価値があると感じています。 *** の 2019 年のコースも素晴らしいです。このコースで多くの概念を学びましたが、どのクラスでもまだ多くのことを学ぶことができます。

名前の通り、このコースの核となるのは「実践」です。前半はほぼ実践的なスキルに重点を置き、実践で避けられない理論についてのみ触れており、後半になって理論が徐々に深く探求されるようになっています。

コース住所:

https://course.fast.ai/

より親密なフォーラム、検索可能なビデオ

コースの新しいバージョンに加えて、より国際的なコース コミュニティも存在します。

ジェレミーは、コース フォーラムに新しい機能が追加され、タイム ゾーン、場所、言語ごとにトピックを分類できるようになったため、同じ地域で勉強会グループを作成したり見つけたりして、母国語で議論することが容易になったと紹介しました。

ただし、現時点ではこの機能にはいくつかの小さなバグがあるようで、まだオンラインになっていません。ジェレミー氏も、この問題は修正中だと言っています。成功した方がいらっしゃいましたら、ぜひお知らせください。

コミュニティに参加し、クラスメートと議論することは、一生懸命勉強する上で重要な部分です。今では、「母国語で同胞と議論できる」という配慮のある機能もあります。一生懸命勉強しない理由は何でしょうか?

フォーラムアドレス:

https://forums.fast.ai/c/part1-v3

言語や時間帯を超えたさまざまな国の人々の間での議論に加えて、2 時間のビデオは多くの学生にとって学習の障害になる可能性もあります。

そのため、新バージョンのコースのプレーヤーも更新され、非常に強力になりました。コースの内容を検索し、探しているビデオ部分に直接ジャンプすることができます。

△ 検索可能なタイムライン付きのコースビデオ

画像、テキスト、協調フィルタリングをマスターする

このコースは全部で 7 つのレッスンで構成されています。2 時間のビデオ授業に加えて、各レッスンでは授業後に約 10 時間の宿題も必要になります。

最初から最後までしっかり勉強するには約 84 時間かかります。春節休暇まで取っておいて、1日1コマの授業を取れば、1日12時間を勉強に充てられるので、麻雀をするよりずっと積極的だし、親戚からなぜ独身なのかと聞かれることもなくなる。

クラスに参加する前に知っておく必要のある基礎知識はそれほど多くありません。1 年間のプログラミング経験と高校レベルの数学の知識が必要です (コース中に大学レベルの数学が少し取り上げられる場合もあります)。

PyTorch ライブラリを使用して指導されるため、まず Python でのプログラミング経験が必要です。

84 時間は長いように思えるかもしれませんが、コースの内容を見れば、非常に短い時間です。

このコースでは、コンピューター ビジョン、NLP、表形式データに基づく予測、推奨システムに至るまで、4 つの主要なカテゴリのアプリケーションを取り上げます。詳細は以下の通りです。

• コンピュータービジョン（例：ペットの写真を品種別に分類する）
  画像分類 画像の位置特定（セグメンテーションとアクティベーションマップ）
  画像のポイント

• NLP（例：映画レビューの感情分析）
  言語モデルファイル分類

• 表形式のデータ（例：売上予測）
  カテゴリデータ 連続データ

• 協調フィルタリング（映画の推奨など）

これらのコンテンツでは、パラメータとアクティベーション、ランダム初期化と転移学習、畳み込み、ドロップアウト、重み減衰など、多くの基本的な概念もカバーされています。

△ コースでカバーされる基礎

これら 7 つのレッスンは、純粋に実践的な部分と、より詳細な理論的な部分に分けられます。

最初の 4 つのクラスでは特に実践に重点が置かれます。

最初のレッスンでは、転移学習法を使用して画像分類器をトレーニングします。2 番目のレッスンでは、データのクリーニングを開始し、自分でデータセットを構築します。3 番目のレッスンでは、元の単一ラベルデータセットからマルチラベルデータセットに移行し、画像のセグメンテーションも学習します。4 番目のレッスンでは、NLP と協調フィルタリングを学習し、アルゴリズムを使用して映画レビューを分類する練習をしてから、映画を推奨します。

それに比べて、最後の 3 つのクラスは少し理論的です。

第 5 レッスンでは、独自のニューラル ネットワークをゼロから構築し、その過程でバックプロパゲーションを理解します。第 6 レッスンでは、トレーニングを改善してオーバーフィッティングを防ぐためのさまざまな手法を学び、畳み込みを理解し、データ倫理について説明します。第 7 レッスンでは、より複雑な ResNet と U-Net をゼロから構築し、さまざまな損失関数を学習し、GAN の分野に入ります。

各レッスンの具体的な内容は以下のとおりです。

***レッスン: 画像分類

初心者向けの最初のレッスンは、ペットの品種を高い精度で識別できる画像分類器をトレーニングすることです。その鍵となるのは転移学習の使用であり、これがコースの大部分の基礎となります。

△ ペット品種分類器のトレーニングと分析

モデルを分析してその障害モードを理解する方法を見ていきます。このセクションでは、モデルが間違っている箇所が、専門のペットブリーダーが間違いを犯す可能性のある箇所と同じであることを確認します。

***、このレッスンでは、ニューラル ネットワークをトレーニングするときに最も重要なハイパーパラメータである学習率を設定する方法についても説明しました。重要でありながらあまり議論されていないラベルというトピックを取り上げ、画像にラベルを簡単に追加できるようにする fastai の機能のいくつかについて学習します。

分類器をトレーニングするには、クラウド GPU プロバイダーに接続するか、適切な GPU コンピューターを自分で構築し、Jupyter Notebook 環境の基本を理解しておく必要があることに注意することが重要です。

レッスン 2: データセットの作成とクリーニング、SGD をゼロから構築

この部分では、次のトピックを含め、独自のデータを使用して画像分類モデルを構築する方法をユーザーに学習します。

• 画像ギャラリー

• 並列ダウンロード

• 検証セットの作成

• データクリーニング

ジェレミーは、テディベアとハイイログマを区別できるモデルの作成方法を教えてくれます。

画像分類器

このレッスンの後半では、シンプルなモデルを最初からトレーニングし、独自の勾配降下ループを作成します。

△ 勾配降下法

レッスン 3: データ ブロック、マルチラベル分類、セグメンテーション

レッスン 3 では、まず、興味深いデータセット「Planet の宇宙から見たアマゾンの理解」を調べます。

このデータをモデリングに必要な形式で取得するには、fastai の最大かつ唯一のツールであるデータブロック API を使用します。この API は将来何度も使用される予定です。

このレッスンを完了した後、データ ブロック API についてさらに学習する準備ができたら、Wayde Gilliam による「Finding Data Block Nirvana」という記事をご覧ください。
https://blog.usejournal.com/finding-data-block-nirvana-a-journey-through-the-fastai-data-block-api-c38210537fe4

Planet データセットはマルチラベル データセットです。つまり、各 Planet 画像には複数のラベルを含めることができますが、これまで見てきたデータセットには画像ごとに 1 つのラベルしかありませんでした。マルチラベル データセットにどのような変更を加える必要があるかを確認します。

画像セグメンテーション

次に、画像のセグメンテーションについて見ていきます。以前の画像分類モデルと同様の手法を少し調整して使用します。 fastai を使用すると、画像セグメンテーションのモデリングと解釈が画像分類と同じくらい簡単になるので、あまり調整は必要ありません。

コースのこの部分では、学術論文の他のモデルよりもエラーがはるかに少ないCamVidデータセットを使用します。

レッスン 4: NLP、表形式データ、協調フィルタリング、埋め込み

このレッスンでは、ジェレミーは映画のレビューが肯定的か否定的かを予測するという目標を与えました。これは感情分析と呼ばれます。 IMDb 映画レビュー データセットを使用して、自然言語処理 (NLP) について詳しく説明します。

ジェレミーは、2018 年のコースで最初に開発されたULMFiTアルゴリズムを使用します。彼によると、これは現在利用可能な感情分析アルゴリズムの中で最も正確なものです。

感情分析モデルを作成する基本的な手順は次のとおりです。

1. 大規模なコーパス (Wikipedia など) でトレーニングされた言語モデルを作成します。ここでの「言語モデル」とは、文中の次の単語を予測することを学習するモデルです。

2. ターゲットコーパス（IMDb映画レビュー）を使用してこの言語モデルを微調整する

3. この微調整された言語モデルからエンコーダーを削除し、分類器に置き換えます。この感情分析モデルは、最終的な分類タスクに合わせて微調整されます。

NLP に取り組んだ後、表形式データと協調フィルタリングをカバーして、エンコーダー ディープラーニングの実用的なアプリケーションを完了します。

表形式のデータについては、カテゴリ変数と連続変数を操作する方法と、fastai.tabular モジュールを使用してモデルを設定およびトレーニングする方法について説明します。

次に、表形式のデータと同様の考え方を使用して、協調フィルタリング モデルを構築する方法について説明します。

NLP に取り組んだ後、表形式データと協調フィルタリングをカバーして、エンコーダー ディープラーニングの実用的なアプリケーションを完了します。

表形式のデータについては、カテゴリ変数と連続変数を操作する方法と、fastai.tabular モジュールを使用してモデルを設定およびトレーニングする方法について説明します。

次に、表形式のデータと同様の考え方を使用して、協調フィルタリング モデルを構築する方法について説明します。

コースの途中で、主要なアプリケーション領域のそれぞれでモデルを作成し、解釈する方法を検討しました。コースの後半では、これらのモデルがどのように機能するか、そしてそれらをゼロから作成する方法について学習します。

以下では、以下の概念について説明します。

• アクティベーション

• パラメータ

• レイヤー

• 損失関数

レッスン 5: バックプロパゲーション、高速 SGD、そしてゼロからのニューラル ネットワークの構築

レッスン 5 では、このトレーニングをすべてまとめて、バックプロパゲーション中に何が起こるかを正確に理解し、この知識を使用して、シンプルなニューラル ネットワークをゼロから作成してトレーニングします。

△ ゼロからトレーニングされたニューラルネットワーク

また、埋め込み層の重みを調べて、映画レビュー解釈モデルがカテゴリ変数について何を学習したかを調べ、悪い映画を回避する方法についても説明します。

埋め込みは NLP の単語埋め込みのコンテキストで最も広く知られていますが、表形式データや協調フィルタリングなどのカテゴリ変数全般にとっても同様に重要です。これらは、非ニューラル モデルでも非常に効果的に使用できます。

△ 埋め込みありと埋め込みなしの一般的なモデルのパフォーマンスの比較

レッスン 6: 正則化、畳み込み、データ倫理

この講義では、トレーニングを改善し、過剰適合を回避するための強力なテクニックをいくつか説明します。

• ドロップアウト: トレーニング中にランダムにアクティベーションを削除してモデルを正規化する

• データ拡張: トレーニング中にモデル入力を変更し、データのサイズを効果的に増やす

• バッチ正規化: モデルのパラメータ化を調整して、損失サーフェスをより滑らかにします。

△ 単一画像に対するデータ拡張の例

次に、行列乗算のバリエーションとして考えられ、現代のコンピューター ビジョン モデルの中心となる畳み込みについて学習します。

この知識を使用して、クラス アクティベーション マップを作成します。クラス アクティベーション マップは、予測を行う上で画像のどの部分が最も重要であるかを示すヒート マップです。

畳み込みの仕組み

***では、多くの学生がこのコースで最も興味深く、最も驚いた部分だと語ってくれたトピック、 「データ倫理」について議論します。

モデルが失敗する可能性のあるいくつかの方法について、特にフィードバック ループに焦点を当てて、それが問題を引き起こす理由とそれを回避する方法について説明します。

また、データの偏りがアルゴリズムの偏りにつながる仕組みを検討し、データ サイエンティストが自分の仕事が意図しない否定的な結果につながらないようにするために尋ねることができる質問と尋ねるべき質問についても説明します。

△ 米国司法制度におけるアルゴリズム偏向の例

レッスン 7: ResNet と U-Net をゼロから構築し、(敵対的) ネットワークを生成する

最後の授業で、最初に学ぶのも「現代建築における最重要技術のひとつ」であるスキップコネクションです。

スキップ接続に関して、このレッスンでは ResNet と U-Net のアーキテクチャについて説明します。

ResNet はスキップ接続の最もよく知られた応用であり、画像認識のコース全体では最初から最後まで ResNet が使用されます。

U-Net は別のタイプのスキップ接続を使用します。これは、セグメンテーション結果や、同様の出力と入力の構造を持つその他のタスクを最適化するために使用されます。

△ ResNetスキップ接続が損失面に与える影響

U-Net を学習した後は、それを使用して超解像モデルをトレーニングする必要があります。このモデルは、不良な画像を鮮明にするだけでなく、jpeg 画像のアーティファクトやテキストの透かしも削除できます。

モデルの結果をより良くするために、このクラスでは、特徴損失（または知覚損失）とグラム損失を組み合わせてカスタム損失関数を作成する方法についても指導します。これは、画像の色付けなどの生成タスクで使用される一般的な手法です。

△ 特徴損失とグラム損失を使用して得られた超解像結果

次に、GAN で使用される生成的敵対的損失について学習します。これにより、生成されるモデルの品質を向上させるために、場合によっては速度が犠牲になることがあります。

このクラスで紹介されるテクニックの一部は、未発表の研究から得たものです。

• 転移学習を使用して、GAN をより速く、より確実にトレーニングします。

• アーキテクチャの革新と損失関数を最適な方法で組み合わせます。

ジェレミーはコースの説明の中で、結果は驚くべきものであり、トレーニングは以前のように数日ではなく数時間しかかからないことを保証しています。

リカレントニューラルネットワーク

***、このクラスでは、NLP コース全体で使用される基本モデルであるリカレント ニューラル ネットワークをゼロから構築する方法も学習します。実際、RNN は通常の多層ニューラル ネットワークを単純に再構築したものです。

アンドリュー・ンが時代遅れだと考える代替「慈善団体」

このコースを運営する Fast.ai は、ディープラーニングの分野ではユニークな存在です。

fast.ai は、Kaggle マスターのジェレミー・ハワード、博士号を取得したことを後悔している数学博士のレイチェル・トーマス、パリで 7 年間教鞭をとったシルヴァン・グガーによって共同設立されました。

彼らは真の実践者です。彼らのコースは「実用的なことを教え、問題を効率的に解決する」ことを追求することを中心に据えており、エンジニアリングの実装の詳細を非常に重視しています。

昨年、より基本的な「コードのための機械学習入門」コースをリリースしたとき、彼らは Andrew Ng の入門コースが言葉が豊富であると賞賛し、次のように付け加えました。「しかし、宿題が Matlab で行われなければならないことを考えると、今では時代遅れに思えます。」

fast.ai のコースは、Python プログラミングとインタラクティブな Jupyter Notebook を使用して学習し、プログラマーの実践的なトレンドに密接に従っています。

同時に、学生たちに自分の能力を試すために Kaggle コンテストに参加することを強く奨励しています。

Fast.ai は、コース コンテンツが流行しているだけでなく、「慈善団体」でもあります。

すべてのコースは無料で、「証明書の支払い」の設定すらありません。

ジェレミーはかつてこう言った。「私たちのビジネスモデルは、自分たちのお金を使って何かを行い、人々がディープラーニングを使えるように支援することです。」一部の人々が「ビジネスモデル」は持続不可能だと心配したとき、ジェレミーは反論した。

なぜだめですか？私には十分なお金があります。

「完全に独立しており、寄付も受け付けない」というfast.aiは、大量の「水道水」を蓄積してきた。

学生は、コースでの経験を要約して共有することがよくあります。たとえば、ある学生が「Kaggle で勝つためのディープラーニングのスキルトップ 10」をまとめ、それが広く流布されました。

経験をまとめたメモを書くことは、水道水レベルの最高峰ではありません。古来、「母校に栄光をもたらす」とは、新たな業績を上げることを意味します。

fast.ai の学生 Andrew Shaw はまさにそれを実行しました。彼は、教師のジェレミーと米国国防総省のヤロスラフ・ブラトフと協力して、低コストでわずか 18 分で ImageNet をトレーニングすることができました。

大企業の「ImageNetをX分でトレーニングする」方法とは異なり、彼らの方法はコンピューティングリソースを蓄積せず、使用するクラウドサーバーのコストは300元未満であり、誰でも利用できると言えます。

この代替機関のその他の成果は次のとおりです。

• Fastai は、PyTorch で使用される一般的なディープラーニング アプリケーション用の単一の API を提供するライブラリです。
  参考文献

• NLP 転移学習カーニバルで最初の一撃を放った ULMFiT。
  カテゴリー

もう一つ

このコースの基本要件を満たし、1 年間のプログラミング経験と高校数学の基礎知識を持っている場合、あなたとこのコースの間にある大きな障害は 1 つだけかもしれません。

英語。

この問題は自分自身の努力で簡単に解決できます。まずは、GitHub で 5,000 を超えるスターを獲得している、元 Alibaba 社員の Yu Jiangshuiによるプログラマー向け英語学習ガイドを見てみましょう。