今後 3 ～ 5 年で、機械学習のどの分野の人材が最も不足するでしょうか?

[[205598]]

すでにこの業界にいる私としては、今後数年間で業界にどのような機械学習の才能が必要になるかについてお話ししたいと思います。学術について話さない主な理由は、ほとんどの人が研究に従事するのではなく、応用分野で努力することになるからです。それに比べて、業界の人材に対する需要はより保守的であり、これは学界とは異なります。これは、ハードウェアの計算能力、データのセキュリティ、アルゴリズムの安定性、人件費の支出など、多くの客観的な要因によって制限されます。

この回答は、次の 2 種類の人々に適している可能性があります: 1. 学生 2. 仕事が終わったらすぐに機械学習に切り替えたい友人。優れた技術専門家は、自分に合ったルートを探すことを提案していますが、私が話せるのは、ほとんどの人に適したルートについてだけです。しかし、答える前に、単純に「ディープラーニング」「ビッグデータ」「NLP」「マシンビジョン」と答える人たちに対して文句を言わずにはいられません。これらの各分野には、多数のサブ分野があります。自然言語処理 (NLP) を例にとると、サブ分野には、自然言語生成、自然言語理解、さまざまな言語の言語モデルが含まれます。どのような方向性であっても、何十年もかけて調査するのは大したことではありません。ほんの数語で答えを出すことと、宝くじを買うことの違いは何でしょうか...

したがって、機械学習の実践者のほとんどは、現実に即した行動をとるべきです。盲目的にホットスポットを追いかけると罠に陥りやすいですが、基礎を固め、自分の専門分野と機械学習の交差点を見つけることで、将来の就職市場で注目を集め、業界で最も求められる人材になることができます。

0. 背景

今後、業界にはどのような機械学習人材が必要でしょうか。昔から言われているように、専門分野にモデルを適用できる人材、つまり分野を超えて機械学習を実装できる人材が必要です。そういった人材は今必要なのではないのか、と疑問に思う人もいるかもしれません。答えはイエスです。そういった人材は今後もずっと必要になるでしょう。現段階では、機械学習の実装にはまださまざまな困難が残っています。こうした需要は一時的なものではありません。Web 開発が人気から不人気に変わるまで 10 年かかりました。分野の発展には一定のサイクルがあり、機械学習はWeb開発よりも敷居が高く、黎明期にあるため、廃れないように「特定の分野に特化した」機械学習の専門家になろうと皆が努力しています。

特定分野における機械学習の専門家とはどのような人でしょうか。例えば、「人工知能は金融従事者に取って代わるでしょうか」という質問に対して、私はある会社の監査業務の一部を自動化するために機械学習を活用する方法を研究したが、私が遭遇した最大の困難は、私自身の監査に対する理解が限られており、他の監査人が私の仕事にあまり協力的でなかったため、進捗が遅いことだったと述べました。したがって、機械学習に関する十分な知識と特定の分野に対する深い理解があれば、仕事の需要と供給において確実に有利な立場に立つことができます。私の別の回答「アッサム：不正防止（不正検出）で使用される機械学習モデルとは何ですか？」を例に挙げると、特定の分野の知識は、機械学習モデルの結果をうまく説明し、上司や顧客からの認識を得るのに役立ちます。これが、アルゴリズムが実践されるときです。コードを書いてモデルを構築できる人は何千人もいますが、自分が何をしているのかを理解し、ドメイン知識を組み合わせてビジネス価値を提供できる人はほとんどいません。冗談半分で聞きますが、機械学習の人材が最も不足している分野はどれですか? 答え: どの分野でも機械学習の専門的な人材が必要であり、特定の分野に対する理解があなたの武器になります。

もちろん、スプーンなしで赤ちゃんにチキンスープを与えるのはあまり良くないので、具体的な提案もいくつかします。繰り返しますが、私のアドバイスは就職を希望する友人のみに向けたものです。研究の道を進みたい人には別の提案がありますが、この記事ではそれについては触れません。

1. 基本的なスキル

結局のところ、機械学習には一定レベルの専門知識が必要であり、それは学校で学ぶか独学で学ぶことができます。しかし、数学に精通し、最適化が得意である必要があるのでしょうか? 私の意見では、それは必要ありません。前提として、基本的な数学と統計の知識を理解する必要があります。さらに議論するには、私の回答「Assam: 「機械学習には数学は必要なく、多くのアルゴリズムがパッケージ化されており、パッケージを調整するだけでよい」という主張についてどう思いますか?」を参照してください。少なくとも、5 つの小さな領域を習得することをお勧めします。これは、現在および今後数年間の業界にとって十分です。もう一度言いますが、アルゴリズムに関する私の意見は、ほとんどの人は車輪の再発明をすべきではない、車輪の再発明をしてはいけない、車輪の再発明をしてはいけないということです。ただ、自分が何をしているのかを理解し、どのモデルを選択すればよいかを知って、API と既製のツールキットを直接呼び出すだけです。

• 回帰モデル（回帰）。実際、学校の授業では分類の方が多く教えられていますが、実際には回帰が業界で最も一般的なモデルです。たとえば、製品の価格設定や製品の売上予測には回帰モデルが必要です。現在、より普及している回帰法は、数値をモデルとするxgboostです。予測効果が高く、変数の重要度を自動的に並べ替えることができます。従来の線形回帰（単変量および多変量）は、解釈可能性が高く、計算コストが低いため、今後も人気が続くでしょう。回帰モデルをマスターするにはどうすればよいでしょうか? 『Introduction to Statistical Learning』の第 2 章から第 7 章を​​読み、R の xgboost パッケージの紹介を確認することをお勧めします。
• 分類モデル（分類）。これは古いニュースですが、現在人気があり、今後も人気が続くモデルについて深く理解できるはずです。たとえば、ランダム フォレストやサポート ベクター マシン (SVM) は、業界で今でも一般的に使用されているアルゴリズムです。多くの人が気づいていないかもしれないのは、ロジスティック回帰は、街中のあらゆる教科書によく載っている古典的な古いアルゴリズムであり、今でも業界の大部分を占めているということです。この部分については、Li Hang の「Statistical Learning Algorithms」を読んで、該当する章だけを選んで読むことをお勧めします。
• ニューラルネットワーク。ニューラル ネットワークは現在非常に人気があり、学習する必要があるため、分類アルゴリズムとして分類しませんでした。ハードウェアの機能が成長し続け、データセットがより豊富になるにつれて、中小企業でニューラル ネットワークが役割を果たす場所が確実に生まれます。これは3年から5年以内に起こる可能性があります。しかし、ニューラル ネットワークには、構造、正則化、重みの初期化手法、アクティベーション関数の選択など、非常に多くのコンテンツが含まれているため、どの程度まで学習すればよいのかと疑問に思う人もいるかもしれません。私の提案は、古典を理解し、基本的な 3 セットのネットワークを習得することです。a. 通常の ANN、b. 画像処理用の CNN、c. テキストと音声を処理する RNN (LSTM)。各基本ネットワークについては、古典的な処理方法を理解するだけで済みます。詳細については、「Deep Learning」の第 6 章から第 10 章、および Andrew Ng の Deep Learning オンライン コース (NetEase Cloud Classroom ですでに利用可能) を参照してください。
• データ圧縮と視覚化。業界では、まずデータを視覚化するのが一般的です。たとえば、過去 2 年間で非常に人気が高まった多様体学習は、視覚化と大きく関係しています。業界では、視覚化は木を切る前にナイフを研ぐようなものだと考えられています。高次元データを 2 次元または 3 次元に圧縮すると、興味深いことがすぐに明らかになり、多くの時間を節約できる可能性があります。 Qlik Sense や Tableau などの既成ツールを使用して視覚化を学習することも、Python の Sklearn や Matplotlib を使用することもできます。
• 教師なし学習と半教師あり学習。この業界のもう一つの特徴は、大量のデータが欠落しており、ほとんどの場合ラベルがないことです。最も一般的な不正防止を例にとると、ラベル付けされたデータはほとんどありません。したがって、限られたラベルで学習するには、通常、教師なし学習または半教師あり学習を多用する必要があります。ちなみに、ほとんどの企業における強化学習の活用は基本的にゼロであり、今後も長い間広く活用されることはないだろうと予測されています。

基本的なスキルの意味は、特定の問題に直面したときに、その問題に対処するためにどのような武器を使用できるかを正確に知っていることです。さらに、上で紹介したツールの多くは数十年の歴史があり、今でも変わらず有用です。したがって、今後 3 ～ 5 年間、これらのツールは依然として非常に有用であり、CNN や LSTM などのディープラーニング アルゴリズムも引き続き開発され、反復されています。あなたがまだ学生であっても、すでに働いている場合でも、これらの基本的なスキルは独学で数か月から 1、2 年で習得できます。

2. 秘密兵器

基本的なスキルを持っているということは、アウトプットができるということに過ぎません。基本的なスキルをドラゴン退治のテクニックにしないためにはどうすればよいのでしょうか。それはドメイン知識と組み合わせる必要があります。これが、私が多くの友人に、機械学習に盲目的に頼らず、ゼロから始めるようにアドバイスしてきた理由です。学生は自分の興味のある分野にもっと注意を払い、これらの分野で機械学習をどのように応用するかについて考えることができます。例えば、私は歴史や哲学にとても興味があり、機械学習と他のリベラルアーツ分野とのつながりについてよく考えています。また、「機械学習を理解する（I）：機械学習における「哲学」」など、考えさせられる記事もいくつか書いています。

すでに仕事や研究の経験がある友人は、その仕事の経験を活かすようにしてください。たとえば、機械学習の最高の投資家になろうとするのではなく、金融分野における最高の機械学習の専門家になりましょう。それがあなたの価値提案です。最も重要なことは、機械学習の基本的なスキルは誰もが考えるほど達成不可能なものではないということです。埋没コストが高すぎるからといって、専攻を諦めてフルタイムの仕事に切り替える必要はありません。分野を横断することで、状況を完全に救い、不利を有利に変えることができます。機械学習しか知らない人よりも、業界価値が高くなるかもしれません。

私の身の回りの例をいくつか挙げてみましょう。私の友人の一人は、伝統的なソフトウェア エンジニアリングの研究を行っています。2 年前、彼は GitHub のコミット履歴に基づいて機械学習を使用してバグを特定する方法について私と話し合いました。これは、ドメイン知識を組み合わせる良い方法です。金融出身であれば、上記のような基礎スキルを補いながら、得意分野に機械学習をクロスアプライして戦略研究をすることができます。機械学習を使ってトレード戦略を実装すると「主張」するケースは数え切れないほど聞いたことがあります。完全に信頼できるわけではありませんが、特定の分野に対する深い理解は、しばしば窓を突き破る最後の一枚の紙となります。モデルだけを理解し、データとデータの背後にある意味を理解しないと、多くの機械学習モデルは、見た目は良いが実用的ではないという段階にとどまってしまいます。

別の視点から考えると、さまざまな分野の人々が機械学習を理解しており、それがこの技術の実装をより促進し、バブルの噂を打ち破ることができるのです。皆さんも、もう仕事を失うことを心配する必要はなく、この全員のためのディープラーニングの時代に、自分なりの視点で「黄金の飯碗」を見つけることができるのです。したがって、私は、あらゆる分野の実践者が、盲目的にコンピュータサイエンスや機械学習に切り替える必要はなく、専門分野に対する理解を深め、独学で上記の基本的なスキルを補い、自らがこの分野の機械学習の専門家になることを提案します。

3. 弾薬供給

何も変わらないでしょう。この時代におけるテクノロジーは非常に速いスピードで進化しています。ディープラーニングが勢いを増し始めてからまだ10年しか経っていないため、次に何がホットな話題になるかは誰にもわかりません。ディープラーニングを例にとると、過去2年間で非常に人気が高まった敵対的生成ネットワーク（GAN）、マルチターゲット学習、転移学習は、現在も急速に発展を続けています。最新のNIPSには、ディープラーニングがなぜ優れた汎化能力を持つのかという理論的推測記事がいくつか収録されていると聞きました。これは、古いビジネスモデルに依存していては、どの業界も繁栄し続けることはできないことを示しています。私たちは新しいトレンドを追求する必要もあります。しかし、機械学習の範囲と分野は非常に広範囲です。上記で述べたのは、依然として教師ありの深層学習です。教師なしニューラル ネットワークと深層強化学習も注目の研究分野です。したがって、私の提案は、すでに成熟していて事例がある新しいホットスポットに注目して学習し、すべてのホットスポットを追いかけないことです。

これらの基本的なスキルと分野を統合する優れた能力があれば、3〜5 年はキャリアのボトルネック期間にはなりません。10 年でもまだ早すぎます。テクノロジー時代は私たちに大きな変化のプレッシャーを与えてきましたが、同時に無限の可能性ももたらしてきました。テクノロジーは必ず時代遅れになり、ホットな話題も必ず過ぎ去りますが、新しいテクノロジーを追求し、自分自身に挑戦する私たちの情熱は決して消えることはありません。