2019 年に人工知能アルゴリズムのポジションをめぐる競争がこれほど激しいのはなぜでしょうか?

AI関連の学位取得者は高給を得るのが難しいとメディアが以前報じていたのとは全く対照的に、多くの応募者が今年の採用シーズンの競争が極めて激しいと主要ソーシャルプラットフォーム上で不満を漏らしている。その中で、最も競争率が高いポジションは「アルゴリズムポジション」です。大手企業ではアルゴリズムポジションの数を減らしており、数ポジションに何千人もの応募者がいるという人もいます。また、アルゴリズムポジションには面接官よりも優秀な応募者がいるという人もいます。応募者がアルゴリズムポジションに応募しないように勧める人もいます。あらゆる企業がデジタル化、インテリジェント化を徹底している今、アルゴリズム職はもっと人気が出るはずである。なぜ突然、就職難の地になってしまったのか。この記事では、激しい説得に加え、アルゴリズム職の現在の求職・就職状況をさまざまな角度から分析する。

市場の周期的規制

学生時代は個人の努力は報われると固く信じていましたが、近年の個人的な経験が増えるにつれて、市場環境の力に気づき始め、個人が社会全体の進歩に抵抗することはほとんど不可能であることに気づきました。

9月初めに、李牧氏の講演を聞きました。ディープラーニングに詳しい友人なら、李牧氏の名前を聞いたことがあるかもしれません。彼は米国カーネギーメロン大学で博士号を取得し、現在はアマゾンの主任科学者を務めています。彼は、大規模ディープラーニングの分野でいくつかの新しい手法を提案しています。 Li Mu 氏はスピーチの中で、ガートナーの技術成熟曲線について言及しました。ガートナーの技術成熟曲線は、技術分野で有名な推論です。この理論によれば、ほとんどの技術には5つの段階があります。技術の初期段階では、ニッチな投資機関やメディアの注目を集めます。技術が世間の注目を集めると、急速に拡大し始め、マスメディアに熱狂的に追い求められます。このとき、多数の投資機関も市場に参入します。しかし、その技術がメディアが宣伝したほど優れていないと世間が気付くと、特に投資機関が技術が十分な利益をもたらさないと気付くと、幻想のバブルがはじけ、人々の期待はピークから底へと落ちます。しかし、技術が成熟し、世間に受け入れられるにつれて、この技術はもはやギミックではなく、一般の人々が使用できる技術製品に変身し、最終的に大量生産の成熟段階に入ります。

上の図は、ガートナーが2019年8月に発表した新しい技術成熟度曲線です。世間でよく知られている5G技術は頂点に達している一方、一部の人工知能関連技術はまだ初期段階にあり、2017年に大流行したブロックチェーンはどこにも見当たりません。ブロックチェーンの事例は、技術の成熟曲線を完璧に表していると言えます。 2008年には早くもビットコイン技術に関する論文が発表されました。 2011年から2013年にかけて、いくつかの専門組織がビットコイン技術に注目し始め、ビットコインはニッチな技術から専門家の視野へと移行し始めました。その後、ビットコインやブロックチェーン技術は大手メディアで報道され、投資機関や起業家が集まり、世界各国の政府もこの技術に注目し始めました。ビットコインの価格は2017年に急騰し始め、2017年末に期待が膨らんだピークに達しました。当時は多くの企業がデジタル通貨への取り組みを発表し始め、ブロックチェーンのスタートアップがいたるところに存在していたことを覚えています。ブロックチェーンの候補者の多くは、わずか1年の職務経験で年間50万から100万の給与を得ることができ、彼らの転職率は非常に高く、2〜3か月ごとにより給与の高い仕事に変わります。その後、ビットコインは急落し、様々な中小機関が破産し、創業者は逃亡し、従業員の賃金は滞納し、ブロックチェーンは大手メディアが追い求める技術ではなくなりました。しかし、ブロックチェーン技術は未だに未熟なわけではありません。Facebook をはじめとする多くの企業が現在もその開発を推進し続けており、世界各国の政府もこの技術を非常に重視しています。この記事が書かれた日、中央指導部はブロックチェーン技術を共同で研究し、ブロックチェーン技術と産業の革新的な発展を促進することを決定しました。ブロックチェーンは最終的には成熟段階に入ると信じています。

ガートナーの技術成熟度曲線は、実際には技術自体の発展を表すものではなく、資本市場による技術の価値の見積もりを表します。これは、市場経済の運営の非常に単純な原則に関係しています。技術が発明されると、資本は将来、ベンチャーキャピタルを通じて数百または数千のレバレッジ収益を得ることを期待します。金融バブルで大金を儲けたい人はたくさんいますが、技術自体は価格に見合うものではないため、急速な拡大とバブル崩壊のプロセスが起こります。同様に、人工知能業界もこの循環的な運命から逃れることはできません。

李牧氏は演説の中で、人工知能アルゴリズムについても同様の曲線を描いた。人工知能アルゴリズムの台頭は、2012 年にコンピューター ビジョンの分野でディープラーニングが飛躍的に進歩したことに端を発しています。数年にわたる開発を経て、コンピューター ビジョン技術は成熟しつつあり、ディープラーニングに基づくコンピューター ビジョンはまもなく底を打つと思われます。これは、現在就職活動中のコンピューター ビジョンの修士号や博士号取得者にとって難しい理由を説明しています。彼らはドラゴンを倒すスキルを持っていますが、希望する仕事を見つけるのは難しいのです。候補者が面接官よりも優れているケースさえあります。潮が引いているため、資本がこの分野から撤退し、以前ほど多くの仕事はなくなってしまいました。

ブロックチェーンの状況と同様に、機械学習アルゴリズムの分野でも同じことが起こっています。 2014年から2016年にかけては、211または985のコンピューター修士号取得者、または名門大学の理工学博士であれば、機械学習について多少の知識があり、データ分析と処理の経験があれば、中小企業で機械学習アルゴリズムのポジションのオファーを得るのは簡単でした。また、少しプログラミングスキルに長けた新卒者であれば、大企業から質の高いオファーを簡単に得ることができました。過去2年間、一方では他分野の学生が必死に機械学習に転向し、他方ではコンピュータ関連分野の学生もアルゴリズム職に向けて積極的に準備を進めています。価格が上昇し、スキルの価値が下がり、新人にとってアルゴリズム職の競争は極めて激しくなっています。多くの面接官にとって、現在の採用基準に基づけば、当時はこの業界に参入することはおそらくできなかったでしょう。

技術成熟曲線を理解すると、アルゴリズムポジションにおける競争がますます激化している現状を理解するのは難しくありません。

AI業界は規模と標準化が特徴

人工知能業界は、コンピューティングパワー、データ、人材という3つの主要な資産に依存しています。そのうち、コンピューティングパワーとデータは大手企業による独占が進み、大手企業への人材の集中につながります。

計算能力は人工知能の研究開発の基礎です。幸いなことに、クラウド コンピューティングの登場により、コンピューティング能力のコストが削減されました。中小企業は独自のサーバーを購入する必要はなく、いくつかの主要プラットフォーム上のクラウド サービスを購入するだけで済みます。しかし、最先端の研究開発は依然としてコンピューティングパワーのサポートに大きく依存しています。たとえば、コンピュータービジョンや自然言語処理などの分野では、最先端のモデルをトレーニングするには数千台のサーバーが必要であり、サーバーの価値だけでも数千万になる場合があります。最先端のモデルを学習し、オンライン環境に展開するにはコストが非常に高く、中小企業がクラウドサービスを借りたとしても、そのコストを負担できない可能性があります。巨大企業は独自のクラウド コンピューティング リソースを所有しており、R&D コストのこの部分を負担できるだけの力を持っています。

計算能力が基礎であるならば、データが人工知能の有効性の上限を決定します。ゴミを入れればゴミしか出てこない! 同じアルゴリズムを大規模で高品質のデータでトレーニングして、より正確なモデルを生成することができます。現在、データ収集は主に、ユーザーによる自発的なアップロード、ユーザーの行動データの収集、センサーなどのさまざまな入力デバイスからのデータの収集、クローラーによるクロールなど、いくつかの側面に依存しています。大企業はユーザー数が多く、データ収集デバイスも多く、データ収集において当然有利です。クラウドサービスプロバイダーからコンピューティングパワーを借りることはできますが、データを入手するのはそれほど簡単ではなく、人工知能分野における中小企業の研究開発に大きな制約を与えることになります。

大企業はコンピューティング能力とデータにおいて圧倒的な優位性を持っているため、優秀な AI 人材は大企業に入社する意欲が高まっています。大企業のコンピューティング能力とデータの追加により、AI 研究開発担当者はより高品質な成果を出すことができ、個人のキャリアの発展に有益です。大企業の基準はますます高くなっています。

私が最近発見したもう一つの興味深い点は、人工知能の分野では一部のビジネスが高度に標準化されており、業界のリソースが大手企業に集中する傾向があるということです。ビジネスの標準化とは、ビジネスが解決する必要のある問題を、標準化された標準を使用して簡単に定義できることを意味します。データ セットが与えられれば、その精度を向上させるだけで済みます。たとえば、顔認識の分野では、問題を簡単に定義でき、標準化されたインターフェースにパッケージ化して外部サービスを提供することができます。多くの企業の製品は顔認識技術に依存しています。このような標準化されたサービスでは、成熟したサードパーティのインターフェースを呼び出すソリューションが一般的に採用されています。ゼロから始めて車輪の再発明をする必要はありません。標準化されたサービスに対応するのは、推奨システムなどのパーソナライズされた非標準サービスです。レコメンデーションシステムは一連の技術体系を形成していますが、企業ごとに事業内容が異なり、レコメンデーションシステムは最終的には自社の事業と高い整合性が求められます。ほぼすべてのインターネット製品には独自の推奨システムがありますが、Douyin、Taobao、Xiaohongshu の内部推奨メカニズムは大きく異なる場合があります。Douyin は高品質のコンテンツのプールに大きく依存しているのに対し、Taobao はユーザーの過去のクリックや検索行動に依存しています。もし私がタオバオモバイルの責任者だったら、タオバオモバイルには推薦システムと顔認識の2つのモジュールが必要です。推薦システムは商品販売から直接利益をもたらすのに対し、顔認識は補助的な強化機能に過ぎないからです。私は間違いなく独自の推薦システムチームを構築し、顔認識についてはサードパーティの標準化されたサービスを直接購入します。

人工知能産業の規模拡大と標準化は、業界の資源が大手企業に集中することを意味します。大手企業が提供できる仕事は限られており、大手企業への応募の競争はより激しくなります。例えば、高速道路の料金徴収員の雇用はすでに危機に瀕しています。以前は、このような職は全国に分散しており、多くの雇用機会を生み出すことができました。しかし、現在では、一部の料金所がETCやナンバープレート認識による支払い技術に切り替えたため、高速道路にはそれほど多くの料金徴収員は必要ありません。必要なのは、数十人の研究開発チームで情報システムを開発し、それを多数の料金所に普及させることだけです。資本家にとって、小規模な情報システム開発チームを維持することは、大規模な料金徴収チームを維持するよりもはるかに高い利益をもたらす可能性があります。

コンピュータビジョン業界のリソースは大手企業に独占されつつあり、バブル崩壊期を迎えており、双方の落とし穴に遭遇しているため、就職状況は非常に悲観的です。

一般人はどう反応すべきか

実際、技術サイクル理論であれ、規模の効果理論であれ、舞台裏で働いているのは本質的には利益追求資本なのです。普通の人にとっては、流れに身を任せることと、内面の強さを磨くことの2つの側面から対処すべきだと思います。

雷軍氏は常に「流れに身を任せる」という原則を堅持しており、彼の投資会社も「順威資本」と名付けられています。私たち一般人はトレンドを追う必要はありませんが、常に大きなトレンドが何であるかを考え、市場サイクルの前に計画を立てなければなりません。

風が正しければ、豚でも飛べる！誰もがこの一文だけを覚えているが、実は雷軍はもっと重要な一文を付け加えた。「翼を少し小さくすれば、もっと高く飛べる。」追い風であろうと向かい風であろうと、私たちは自分の小さな翼を磨くために一生懸命努力すべきです。多くの求職者は、面接が難しすぎる、競争が激しすぎると不満を言いますが、自分の努力レベルの問題を無視しています。どの時代でも、準備ができている人には常にチャンスが訪れます。