何が足りないのでしょうか?現在の機械学習教育の欠点

[[347910]]

ビッグデータダイジェスト制作

出典: thegradient

編集者: フィッシャー

機械学習の人気が高まるにつれ、オンライン コースがますます増えており、そのすべてが「AI でのキャリアをスタートさせる」ために必要なスキルを教えると主張しています。

ただし、コースに申し込む前に、習得しようとしているスキルが機械学習のスキル向上に直接役立つかどうかを理解する必要があります。これはオンライン コースに限らず、多くの大学で提供されている機械学習コースにも当てはまります。学生が集まって受講するこれらのコースは、本当に彼らの実際の目標達成に役立っているのでしょうか?

機械学習教育の現状

AI のトップ大学で基礎機械学習コースのバックボーンを受講した後、私はほとんどのコースが同じような概要をたどっていることを知りました。つまり、線形分類器から始まり、損失関数と最適化を紹介しながら回帰と分類の概念を紹介し、その後 1 ～ 2 週間かけてバックプロパゲーションの詳細を学習し、最後にニューラル ネットワークに完全に移行するという流れです。

コースが主にディープラーニングに焦点を当てている場合は、残りの時間のほとんどをさまざまなニューラル ネットワーク (RNN、LSTM、CNN など) と最近リリースされた重要なアーキテクチャ (ResNet、BERT など) の説明に費やします。

一方、コースが一般的な機械学習に重点を置いている場合は、教師なし学習や強化学習など、機械学習手法の他の分野も紹介されます。

これらのコースの主要なトピックを抜粋すると、まず教師あり学習の概要、次に教師あり学習とニューラル ネットワークの数学的基礎の簡単な紹介、そしてさまざまなディープラーニング手法または機械学習の他の分野の紹介です。

また、コースワークの内容を確認すると、コースの主な目的を把握するのに役立ちます。

ジョブは通常、次のように構成されます。

• 学生には適切に構造化されたデータセットが提供されます。
• 機械学習のモデルまたはコアコンセプトを紹介し、生徒がそのモデルの基礎を推測します。
• 学生はこのモデルを実装します。
• 指定されたデータセットでモデルを実行し、軽量のハイパーパラメータ調整を実行します。
• 結果をプロットして、モデルのパフォーマンスを確認します。

コースの内容と課題の設計を理解すると、基本的にこれらのコースで学生が何を学ぶことが期待されているかがわかります。彼らは、学生が対応する分野の主要なモデルを習得することを望んでおり、そのアプローチは、単にモデルの理論的基礎をカバーし、その後、学生に宿題でその主要な主要機能を実装することを要求するというものです。

機械学習を使用するために必要なスキル

機械学習業界の人々と話をして、成功するにはいくつかの重要なスキルが必要であることを知りました。最初のスキルは、データを適切にクリーニングして分析する方法を学ぶことです。

私のクラスメートの一人もこれに非常に共感していました。彼は最近のインターンシップで、データセットにモデルを適用し始める前に、8 週間かけてデータを収集して処理しました。機械学習モデルはデータに大きく依存するため、データセットの主要な機能を活用する方法を確実に理解するためにこのスキルを習得することが重要です。

第二に、産業プロジェクトの場合、ほとんどのタスクで大規模なデータセットは利用できません。したがって、多くのディープラーニング技術は使用できず、過剰適合や一般化の問題が発生する可能性があります。したがって、ランダムフォレストやロジスティック回帰など、大量のデータを必要としないより単純なモデルが代替として使用されることがよくあります。

そのため、適切なライブラリ (sci-kit learn など) を使用してこれらのモデルを適切に使用できることは貴重なスキルになります。実際、ある友人は、マイクロソフトで機械学習のインターンをしながら、夏の間ずっとロジスティック回帰のさまざまなバリエーションを研究していたと言っていました。さらに、コンピューター ビジョンや自然言語処理の分野では、事前トレーニング済みの大規模なモデルが登場しており、ディープラーニングは、単にパラメーターを微調整するプロセスになることもあります。これにより、シンプルで基本的なモデルに精通することの重要性がさらに高まります。

ただし、学術研究では、大規模なデータセットがすぐに利用できることが多く、時間的制約も大きな問題ではないため、より大きなディープラーニング モデルをトレーニングできます。たとえば、Open-AI の GPT3 モデルには 1,750 億個のパラメータがあります。このような大規模なアーキテクチャを構築するには、エンジニアリングの観点からこのような大規模なディープラーニング システムをどのように設計および構築するかを知ることが重要です。これには、研究者が理論モデルを迅速かつ効率的に実装できるようにするスキルである、PyTorch または Tensorflow のいずれかの熟練度が必要です。

必要なアーキテクチャを構築することは重要ですが、ほとんどのモデルでは、パフォーマンスを良好にするためにハイパーパラメータの調整が必要です。実用的な機械学習システムを構築する場合、盲目的に調整するのではなく、調整プロセスの設計を直感的に把握することが重要なスキルです。最近 NVIDIA でインターンシップをした私の友人の例を挙げてみましょう。しばらくの間、彼は特定のモデルのパラメータを調整できませんでした。最終的に、選択した初期化間隔に問題があり、モデル内の ReLU 活性化関数のほとんどが抑制状態になり、学習の遅れが生じていることが分かりました。

何が足りないのか

機械学習教育の現状を調査し、実際の機械学習の実践に必要なスキルについて議論した後、教育に何が欠けているかについてコメントすることができます。コースで扱われる内容と実際の要件を比較すると、学生にデータの管理方法が十分に教えられていないことは明らかです。

一方で、このコースで提供されるデータセットは非常にクリーンで、適切に前処理されています。一方、いくつかのデータ ポイントを描画すること以外、このコースではデータ マイニングをあまり推奨していません。データセットのクリーニングとマイニングに関する直接的な経験が不足していることは、学生が実際に現場で作業を開始するときに、実践的な能力に非常に悪影響を及ぼします。

もう 1 つのポイントは、授業では主要な理論的枠組みの数学的背景について直感的な説明が提供されるものの、特定のタスクにおいて特定のモデルが他のモデルよりも優れている理由の背後にある理論が学生に十分に説明されていないことです。その結果、学生は多くのモデルに精通しているにもかかわらず、特定のデータセットとタスクにどのモデルが最適であるかをまだ知りません。主要なモデルと手法の数学的基礎の詳細を完全に理解しなければ、学生は特定の状況で適切なモデルを迅速に選択することができません。

何がうまくいったか、何を改善できるか

教室での知識と実践的なスキルのギャップを分析すると、ほとんどのコースが基礎知識の伝達に優れていることがわかります。このコースで学ぶ概念により、機械学習アルゴリズムがどのように機能し、どのように収束するかを理解できるようになります。このコースでは、学生はさまざまなタスクに最適なさまざまなアルゴリズムに慣れることができ、さらに進むための幅広い学習教材に触れることができます。

しかし、まだ改善の余地は大いにあります。多くのクラスでは、最初の数週間を、線形分類器とバックプロパゲーションという同じトピックに焦点を当てて過ごします。これらは間違いなく重要なトピックですが、授業時間のほぼ 3 分の 1 を準備教材に費やすのは最適ではありません。学部と大学院のコンテンツを区別すると便利です。

大学院のコースでは、学生に前提知識の習得を要求したり、最初に同様の学部コースを受講するように指示したりすることがあります。これにより、クラスでは、特定の授業重点領域でデータを処理する方法を学生に教えたり、その領域内の主要な理論的枠組みの理解をさらに深めたりするための十分な時間が確保されます。

そうすることで、機械学習の授業で教室での知識と実践的なスキルをよりうまく結び付けることができるようになると信じています。当然ながら、一連のコースの一部として 1 つのコースに個別に変更を加えても、これを実現することはできません。コミュニティ全体で調整された改善によってのみ、学生が最新かつ最も有用な知識を確実に受け取れるようになります。

学校はなぜ注意を払うべきなのでしょうか?

この記事で述べたギャップを埋めることは、学生の実践的なスキルの向上に間違いなく役立ちますが、多くのコースでは、業界で必要なスキルを開発することはコースの仕事ではないと依然として述べています。しかし、これらのスキルは単に業界で必要とされるスキルというだけではなく、転用可能なものでもあります。

実際、それらはほとんどあらゆる状況で役立ちます。たとえば、学術研究で新しいモデルを開発する場合、データを適切に処理する方法と、より好ましい結果を生み出すことができる手法についても知っておく必要があります。さらに、これらのスキルは非常に基本的なため、習得することで学生はより優れた機械学習の実践者になることができます。コースでは、学生が知識を構築するのに役立つものはすべて評価され、教えられるべきです。

現在のカリキュラムの状況に基づくと、最先端の研究をしたい場合でも、業界で仕事を見つけたい場合でも、AI コースは出発点にはなりますが、必要なことすべてを教えてくれるわけではありません。欠けている部分を埋めるには、自分自身で多くの課外活動の努力をする必要があります。

関連記事: https://thegradient.pub/the-gap-where-machine-learning-education-falls-short/

[この記事は51CTOコラムBig Data Digest、WeChatパブリックアカウント「Big Data Digest（id: BigDataDigest）」のオリジナル翻訳です]

この著者の他の記事を読むにはここをクリックしてください