Zhihu のホットトピック: 今後 3 ～ 5 年で、機械学習の人材が最も不足する分野はどれでしょうか?

[[328766]]

今後 3 ～ 5 年で、機械学習のどの分野の人材が最も不足するでしょうか?今日はそれを整理してみましょう。フルスタックエンジニアはスタートアップで人気があり、ドメイン専門知識を持つアルゴリズムの人材は大企業で高い需要があり、アプリケーション指向の人材はビジネスを迅速に改善することができ、エンジニアリングは実装の重要な部分です。

AI専攻を卒業したら就職は簡単ですか？

以前、知乎で履歴書を専攻する985大学の大学院生が、自分がこの方向を選んだとき、ディープラーニングがとても人気があり、自動運転車や顔認識がとても先進的に聞こえ、誰もがこの方向に進みたがっているようだったと認めた。

しかし、いざ就職活動をしてみると、この男性は雇用状況が想像していたものとは大きく異なっていることに気づきました。

最近、企業は秋の採用の早期バッチを開始しました。コンピュータービジョンのすべてのポジションはアルゴリズムエンジニアを募集しています。論文や主要なコンテストでの賞がなければ、アルゴリズムのポジションを見つけるのは非常に困難です。周りのクラスメイトはJava開発に切り替え始めており、私はパニックになり始めました。

2年間もCVの勉強をしたのに結局就職できなかったことを考えると、しばらくはとてもがっかりしました。Java開発をするなら大学卒業後すぐに就職したほうがいいと思いました。大学院に行く必要はまったくありませんでした。

では、機械学習の大規模な発展は単なる幻想なのでしょうか?今後 3 ～ 5 年で、機械学習のどの分野の人材が最も不足するでしょうか?

これは、この専攻を学んでいるすべての人にとって最も重要な懸念事項かもしれません。

Huawei Cloud Developer Communityは、機械学習の人材がまだ不足していると述べています。

一人当たり毎日少なくとも1Gのデータが生成されますが、まだ活用されていないデータが大量に存在します。垂直にセグメント化されたすべてのアプリケーション シナリオは、機械学習を通じてアプリケーションの価値を生み出すことができます。これは、関連分野における人材の大幅な不足も意味します。

まとめると、以下の分野の人材が最も不足しています。

問題解決に柔軟に対応できるフルスタックエンジニア

フルスタックエンジニアとは、複数のスキルを習得し、フロントエンドとバックエンドの両方に精通し、複数のスキルを使用して製品を独自に完成させることができる人です。

中国科学院大学のコンピュータ応用技術博士である王金東氏は、フルスタック人材が最も不足していると述べた。現在、モデルに取り組んでいる人や、1つの側面に集中している人の多くは、実用的な問題を解決するにはほど遠い。

AIフルスタックエンジニアの役割は、通常の意味でのフルスタックエンジニアよりも複雑で困難です。主な理由は、アルゴリズムの実装が従来のフルスタックとは大きく異なるためです。アプリケーションレベルから、コンピュータービジョン、自然言語処理、音声認識の3つの主要な方向に分かれています。

より具体的な領域に細分化すると、例えばコンピュータービジョンは、ターゲット検出、姿勢推定、顔認識などにさらに細分化できます。したがって、フルスタックの人工知能を行うには、より多くのエネルギーを投入し、さまざまな領域のアルゴリズムを深く理解する必要があります。

[[328768]]

フルスタック人工知能は通常、大企業のクラウドプラットフォームに基づいて開発され、人工知能分野の多くの基本コンポーネントがパッケージ化されています。ビジネスとプロジェクト全体のアーキテクチャを包括的に理解したら、開発を開始できます。それをビジネスの急速な収益化のシナリオと組み合わせる必要があります。一般的な繁栄の時期に大きな成果を達成できる「フルスタック」の需要が高まります。

しかし、フルスタック AI エンジニアの育成は、業界全体の状況に依存します。あらゆる方向がベストを競い始めると、「フルスタック」エンジニアは、アルゴリズムが他人のものになるため、コア競争力を欠くことになります。

一つの分野に特化したアルゴリズム人材

友人は、1つの分野に特化したアルゴリズムの才能の方が人気があると言っていました。

ここでのアルゴリズム人材には、アルゴリズム研究者やアルゴリズムエンジニアが含まれます。

アルゴリズム研究者は、GAN トレーニングの安定性をどう解決するかなど、より一般的で抽象的な問題を解決することに注力していますが、アルゴリズム エンジニアは、問題をどのように解決するかにもっと関心を持っています。たとえば、特定のシナリオで悪いケースが発生した場合、データの前処理であれ、パラメーターの調整であれ、問題を解決する方法を見つけようとします。

[[328769]]

さらに、論文の結果をすぐに再現できるアルゴリズム研究者も大手企業から求められています。学術界における新しい成果の多くは説明文のみでソースコードが提供されていないため、研究成果を応用したい場合には自ら実装する必要があるため、論文を迅速に再現できるアルゴリズム研究者は企業にとっても非常に貴重です。

求人サイトでアルゴリズムの求人を検索すると、一般的に、上級アルゴリズム専門家の給与上限は非常に高いことがわかりますが、求人需要はアルゴリズムエンジニアほど高くありません。結局のところ、企業は依然として利益を上げる必要があるため、アルゴリズムエンジニア（特に推奨方向のエンジニア）も大きな需要があります。

研究者はエンジニアの仕事には技術的な内容がないと考え、エンジニアは問題を解決できずに空論ばかりで空虚なことをしているだけと考えるかもしれません。アルゴリズムは企業の中核的なリソースであるため、どちらも役割を果たす余地があり、企業のビジネスニーズと密接に関連しています。

アルゴリズムの研究でもエンジニアリングでも、正しい方向を選択することが非常に重要です。業界の飽和という観点からだけでも、画像や視覚の分野は確かに過密状態にあり、音声は特に難しく、利用可能な大量のデータが不足しています。自然言語処理は検討できるものです。

まず、各種SOTAモデルは主に英語向けであるため、中国語への移行に問題があります。次に、中国語と英語には文法や意味論の違いがあり、研究の空白領域が多くあります。

Zhihu の回答者 Zishan さんは、ある分野で熟達するとはどういうことかについて例を挙げました。

彼のクラスメイトの一人、イーサンはイリノイ大学アーバナ・シャンペーン校（有名なコンピュータースクール）を卒業し、2年間コンピューターサイエンスを学びました。彼は独学力に優れた非常に優秀な学生です。

その結果、イーサンは面接に不合格となった。イーサンの経歴は、人工知能の分野に参入する多くの人々の経歴と似ています。回答者は次のような会話を共有しました。

最後に、イーサンは彼に、どうすれば 1 週間で自然言語処理を習得できるかと尋ねましたが、答えた相手は、わからないとしか言​​えませんでした。

この例は、学習が速い学生もいるが、あらゆる分野を学びたいという罠に陥りやすいことを示しています。結局、多くのことを学んだと感じますが、実際に問題に遭遇すると、どこから始めればよいのかわからなかったり、問題の根本原因を探すのに多くの時間を無駄にしたりします。

ある分野で熟練するには何が必要ですか?人工知能の分野では、特定の分野に精通していると言うことは不適切であることが多いです。現在、ハードウェアとアルゴリズムはどちらも急速に進化しています。今日の SOTA が明日の収益源になるかもしれません。知識を絶えず進化させることによってのみ、ビジネスとシナリオの発展に遅れずについていくことができます。

ビジネスに精通し、アルゴリズムを理解しているアプリケーション指向のプレーヤー

さらに、アルゴリズムを理解し、特定の業界で豊富な経験を持つことも重要です。機械学習は一般的な技術であり、ほとんどのエンジニアはコンピューターサイエンスのバックグラウンドを持っていますが、その実装には特定の業界のアプリケーションと、それを業界の慣行と組み合わせて実際の問題を解決する方法が必要です。

中国科学院大学の研究者は、短期的に最も不足しているのは間違いなく応用力だと語った。

多くの業界がデータ駆動型や AI 対応型への変革を望んでいますが、業界経験の不足により、アウトソーシング会社やコンサルティング会社の助けを借りて成功することは通常困難です。現時点では、従来の業界から人工知能に変革したアプリケーション指向の人材が不可欠です。彼らの機械学習に関する研究はビジネスニーズに根ざしているため、より現実的で、より迅速に実装できます。

USTC の研究者が非常に鮮明な例を示しました。

多くの大学の財務担当者は、請求書や払い戻しフォームの処理、紙の注文番号を電子システムに手動で入力するなど、毎日大量の反復作業を行っています。このプロセスは非常に面倒です。しかし、実際には、大学や研究機関にはコンピュータービジョン、テキスト認識、ターゲット検出を研究しているチームが無数にあります。なぜ機械学習の手法を使って時間を節約できないのでしょうか?

この例は、問題を明らかにしています。ほとんどの機械学習研究は、モデル自体とそれが業界で最も先進的であるかどうか (SOTA) に焦点を当てていますが、アルゴリズムの適用対象と実際の適用シナリオは無視されています。したがって、最も不足しているのは、アルゴリズムを理解するだけでなく、それを実践できる人材です。

回答者は少し調整して、次のような金言を述べた。「ほとんどの人にとって、コンピューター科学者になるよりも、学際的な分野で熟練した人材になることを目指す方が現実的で有意義です。」

学術モデルエンジニアリングの才能

アルゴリズムを製品として実装するには、モデルを設計する必要があります。この領域を深く理解できる人は、間違いなく稀有な人材です。

たとえば、Tik Tok のようなレコメンデーション システムは、大量のデータ輻輳の解決方法やモバイル端末の最適化など、多くのエンジニアリング上の課題に直面しています。

上記の回答者 Zishan が示した例と組み合わせます。

ニヒルも彼が知っているもう一人の大学院生で、イリノイ大学アーバナ・シャンペーン校を卒業していた。以前は LinkedIn の Scaled Search に携わり、理論的なアルゴリズムを産業シナリオに拡張する役割を担っていました。バックエンドの構築が得意で、エンジニアリングのバックグラウンドも豊富です。スタンフォード大学でコンピューターサイエンスの修士号取得のために2年間勉強した後、彼はSnapchatに採用され、大規模なビデオ検索アルゴリズムの開発に携わった。

前述のイーサンと比べると、彼は会社がより欲しがっている人材です。なぜ？

彼はLinkedInやSnapchatのような大企業で大規模な検索アルゴリズムに取り組んでいたため、それに伴うエンジニアリングの難しさは研究室でのそれとは比べものにならないほどでした。

LSTM は誰でも実行できますが、トレーニング データが非常に膨大である場合、すべてのデータを確認するには LSTM を 3 日間実行する必要があるかもしれません。この場合、分散コンピューティングや、アルゴリズム自体の効率の最適化、より高速なデータ構造の使用など、よりエンジニアリングされた実装が必要です。

このようなシナリオでは、学術的最先端技術を組み合わせて産業上の課題を効果的に解決できる研究のバックグラウンドを持つ人材が必要です。ディープラーニングは 50% が学術的要素で、50% がエンジニアリング要素です。この仕事は主に、Tesla AI の現責任者である Andrej Karpathy 氏が担当しています。

また、パラメータ調整エンジニアについて言及する人が多かったです。

中国科学院大学のコンピュータ応用技術の博士課程の学生は、AutoMLはますます注目を集めており、技術的内容の低いパラメータ調整エンジニアは将来的に置き換えられる可能性が高いと述べた。

最後に、ベンジオ氏やヒントン氏のような神レベルの人物がディープラーニングの分野にいることは言及する価値があります。もちろん、彼らは非常に必要とされていますが、そのような才能は本当に手の届かないものです。