卒業生向け: 機械学習とデータサイエンスのどちらを選ぶべきでしょうか?

[[337428]]

データサイエンス業界は 2013 年以降、人気が爆発的に高まり、より幅広い方向への進化を続けてきましたが、徐々により具体的なキャリアの役割へと分化してきました。この記事は、まずデータサイエンス業界の全体的な発展傾向を分析し、次に機械学習の分野におけるさまざまな名前の職種の機能を深く比較します。データサイエンスや機械学習の分野で就職を希望する卒業生にとって非常に参考になります。

みなさんこんにちは。私の名前はジェイソンです。私はシリコンバレーでデータ サイエンティスト (この用語についてはこの記事の後半で定義します) として働いており、新しいことを学ぶのが大好きです。

導入

正直に言うと、この話題は長い間私の頭の中にありました。しかし、日常生活でやるべきことがたくさんあるため、この困難な作業を完了するための時間を捻出することができません。しかし、新型コロナウイルス感染症の流行による自宅隔離命令で狭い部屋に閉じ込められ、暇をつぶすためにできることもほとんどなくなった今、ようやくこのテーマについて書き終えようと決心した。

データサイエンス業界は 2013 年以降、人気が爆発的に高まり、より幅広い方向への進化を続けてきましたが、徐々により具体的なキャリアの役割へと分化してきました。この新興産業の発展により、必然的に、一部の職種の名称や機能に混乱や違いが生じています。たとえば、一見まったく異なる役職に見えても実際には同じ役割を担っているものや、同じ名前の役職でも実際には異なる役割を担っているものなどです。このような役職名には次のようなものがあります。

データ分析科学者、機械学習データサイエンティスト、データサイエンスエンジニア、データアナリスト/サイエンティスト、機械学習エンジニア、応用科学者、機械学習科学者…

このような例は数え切れないほどあります。私の場合も、通常、データ サイエンティスト、機械学習 (ML) エキスパート、データ エンジニアなどのさまざまな求人について、採用担当者から連絡が来ます。明らかに、業界は無数の職種名によって混乱しています。職種名がこれほど多岐にわたる理由の 1 つは、データ サイエンスのニーズと用途が企業ごとに大きく異なるためです。理由が何であれ、データ サイエンスの分野は細分化され、分析、ソフトウェア エンジニアリング、データ エンジニアリング、研究といったいくつかの主要な職種に統合されつつあるようです。 一見似たような役職名であっても、一般的にはこれらのカテゴリに分類できます。こうした仕事の専門化は、資金力のある大手テクノロジー企業で最も顕著に表れています。

この記事では、まずデータサイエンス業界の一般的な傾向を理解し、次に機械学習エンジニアとデータサイエンティストの役割を詳しく見ていきます。この記事では長い歴史について触れるつもりはありませんが、代わりにシリコンバレーに住むデータサイエンティストとして私が見聞きしたことをお伝えしたいと思います。 2017 年に「学位なしでデータ サイエンティストになる方法」という記事を書いたときから、データ サイエンスに対する私の見方は大きく変わりました。

昨年、私は Metis ブートキャンプでデータサイエンスを学んでいる学生たちに短い講演をするよう招待され、このトピックについて話しました。今日はこの記事を使って、これらの職種の違いを説明し、自分に最も適した職務を見つけるお手伝いをしたいと思います。この業界の発展がまだ活発なのか、それともすでに衰退しているのかについても見てみましょう。発展の傾向を予測するのはデータサイエンティストの仕事ですよね？ （そうではないかもしれない）。いずれにせよ、この記事があなたにとって有益で役立つものであることを心から願っています。

データサイエンス業界のトレンド

詳しく調べる前に、LinkedIn で見つけた 2 つの求人情報を見てみましょう。職種名は編集してありますので、以下をお読みになり、これらの求人広告の元の職名が何であったかを推測してみてください。いくつかの重要なポイントを赤で強調しました。

昨年、LinkedIn でこの 2 つの求人情報を見つけました。少し古くなっていますが、内容はまだ関連性があります (出典: LinkedIn および Facebook)。

これら 2 つの職務内容はかなり離れていますね。しかし、驚かれるかもしれませんが、これらの職務記述書は両方ともデータ サイエンティストの職種に関するものです。左は Facebook の求人広告、右は Etsy の求人広告です。しかし、ここではどちらの会社の求人内容が優れているかを比較しようとしているわけではありません。重要なのは、内容がどの程度異なるかを確認することです。

上記の職務説明の職名。 Facebook（左）とEtsy（右）（出典：LinkedInおよびFacebook）。

職場でも、データ サイエンティストをどのように定義するかについて白熱した議論が行われることがよくあります。データ サイエンティストを、コンピューター サイエンスの博士号を持つ人、または新人データ アナリストと定義する人に出会ったことがあります。これは、さまざまな企業がさまざまな職種に同じ「データ サイエンティスト」という用語を使用しているためです。しかし、長年の発展を経て、データサイエンスの広範な範囲にすべてを詰め込むのではなく、業界ではより細かな分業とより具体的な職務定義が行われるべきだと私は考えています。

では、データ サイエンティストという使い古された肩書きの下に実際に暗示される可能性のあるさまざまな具体的な役割とは何でしょうか?この職種は、主にソフトウェア エンジニア、データ アナリスト、データ エンジニア、応用科学者/研究科学者を指すと思います。私には、同じデータ サイエンティストの肩書きを持つ友人が何人かいますが、実際の仕事では、彼らの役割は上記の 4 つのいずれかです。以下に作成した図をご覧ください。データ サイエンスの初期の頃は、データ サイエンティストの職務記述書には 4 つの役割すべての機能が含まれていた可能性があります。しかし、下の図が示すように、今日の職種名はより具体的かつ細分化されています。

データサイエンティストの職務内容の発展傾向（出典：この記事の著者）。

ハーバード・ビジネス・レビューはこの展開を予見していたのでしょうか?

この展開は驚くべきものなのでしょうか? 2012 年のハーバード ビジネス レビューの有名な記事「データ サイエンティスト: 21 世紀で最も人気のある仕事」によると、この傾向は驚くべきものではありません。

データ サイエンティストにとって最も基本的かつ汎用的なスキルは、コードを書く能力です。しかし、5年後には状況が変わるかもしれません。名刺に「データ サイエンティスト」という肩書きを載せる人が増えるからです。

この記事で説明されているように、今日ではデータ サイエンティストになるのに必ずしも優れたプログラマーである必要はありません。それは、ビッグデータを分析するために使用されるツールと方法が、以前はそれほど広く利用可能でなく、ユーザーフレンドリーではなかったためです。これには、元データ サイエンティストが他のスキルに加えて強力なエンジニアリング スキルを持っていることが求められます。しかし、機械学習やデータサイエンスのツールは急速に進化しており、これまで以上にアクセスしやすくなっているため、わずか数行のコードで最先端の (SOTA) モデルを使用するモデルにアクセスできます。これにより、以前のデータ サイエンティストの役割をアナリストやエンジニアに転換することが容易になります。今では、データ サイエンティストになるために、昔のように分析、エンジニアリング、統計の知識をすべて包括的に理解する必要はありません。

たとえば、Facebook はデータアナリストの職務をデータサイエンティストに変革することでトレンドの変化をリードしてきました。これは自然な進化です。データ量が増加し、データの問題がより困難になるにつれて、適切なデータ分析を実行するには、より専門的なスキルとトレーニングが必要になるからです。 Facebookだけではありません。AppleやAirbnbなどの企業も、データアナリスト/プロダクトデータサイエンティストと機械学習データサイエンティストなどの役割を明確に区別し始めています。

企業規模は仕事の差別化にどのように影響しますか?

このような役割の細分化は、大規模なテクノロジー企業でより頻繁に行われることは言及する価値があります。データ サイエンティストの役割は、ソフトウェア エンジニアの役割とは大きく異なります。あらゆる規模のテクノロジー企業がソフトウェア エンジニアを必要としていますが、すべての企業がプロの研究科学者や機械学習エンジニアを必要としているわけではありません。多くの企業にとって、数人のデータ サイエンティストがいれば、ビジネスを運営するのに十分かもしれません。したがって、小規模な企業では、上記の 4 つの役割をすべて担うデータ サイエンティストがまだ存在する可能性があります。

一般的な経験則として、大企業 (FANG 大手: Facebook、Amazon、Netflix、Alphabet) のデータ サイエンティストは通常​​、上級アナリストのような役割を果たしますが、小規模企業のデータ サイエンティストは機械学習エンジニアのような役割を果たします。もちろん、どちらの機能も会社にとって重要かつ必要なものです。ここでは新しい定義を引き続き使用します。つまり、データ サイエンティストについて言及するときは常に、アナリストの役割を意味します。

データサイエンティストのさまざまな役割とその選び方

下の図では、上の図と同様の図を示しましたが、4 つの機能についてより詳しく説明しています。これらの説明は完璧ではないかもしれませんが、ガイドとして使用できます。

データ サイエンティストの役割の 4 つの柱 (出典: この記事の著者)。

就職活動 – どの職種を選ぶべきでしょうか、また面接にはどのように準備すればよいでしょうか?

機械学習エンジニアまたはデータサイエンティストとしてこの分野に参入しようとしている場合、まず知りたいのは、どの役割を選択すべきかということです。これらの職種が実際に何をするかを理解していただくために、機械学習に関連する 4 つの主な職種について簡略化した（ただし慣例的な）説明をさせていただきます。私自身は仕事でこれらすべての職種を経験したわけではありませんが、さまざまな分野で働く友人から多くの有益な知識を学びました。以下の説明では、括弧内にインタビュー内容の可能性も示しています（典型的な 4 回のインタビューを想定）。

1. データ サイエンティスト: ビッグ データを分析し、実験や A/B テストを設計し、シンプルな機械学習や統計モデル (sklearn などを使用) を構築してビジネス戦略を推進したいとお考えですか?この役割の業務は特に構造化されておらず、不確実性が増します。プロジェクトのプレゼンテーションを自分で主導できる必要があります。 (面接: 確率/統計 1 回、Leetcode プログラミング 1 回、SQL 1 回、機械学習 1 回。)

2. 機械学習エンジニア: 最新の機械学習モデル (Tensorflow、PyTorch など) を構築し、実際のビジネスに導入したいですか?あなたの仕事は、モデルの構築だけでなく、モデルを実行およびサポートするためのソフトウェアの作成にも重点が置かれます。この役割では、ソフトウェア エンジニアのような役割になります。 (面接：Leetcodeプログラミング3回、機械学習1回)

3. 研究科学者: コンピュータサイエンスの博士号を取得しており、ICLR 国際会議で機械学習関連の論文をいくつか発表したことがありますか?あなたは機械学習研究の限界を押し広げるために取り組んでいますか? また、自分の論文が他の人に引用されたときに興奮しますか?これら全てができる人というのは本当に稀です。これらができる人は、自分がどんな仕事をしたいのかをすでによくわかっていると思います。こうした才能ある人材のほとんどは、Google や Facebook に就職します。また、博士号がなくてもこの業界に入ることは可能ですが、そのようなケースは稀です。 (面接：Leetcode プログラミング 1 回、機械学習/リサーチ 3 回)

4. 応用科学者: 機械学習エンジニアと研究科学者の両方の資質を備えた人です。したがって、この役割ではプログラミングに重点を置くだけでなく、最先端の (SOTA) 機械学習モデルの使用と進化も求められます。 (面接: Leetcode プログラミング 2 回、機械学習 2 回)

明らかに、上記の説明は網羅的なものではありません。しかし、関連する職種について友人と話し、多くの職務内容を読んだ後、上記の点は依然として一般的に当てはまることがわかりました。応募する職種についてまだよくわからない場合は、仕事についてさらに詳しく知るためのヒントをいくつかご紹介します。

• 仕事内容を読んでください。正直に言うと、仕事のタイトルはあまり重要ではありません。これらの職種はすべて「データ サイエンティスト」という同じタイトルが付けられている場合もありますが、職務内容の説明は大きく異なる場合があります。
• LinkedIn を詳しく調べる: Apple がどのようなデータ サイエンティストの職種を募集しているのかわからない場合は、LinkedIn で Apple のデータ サイエンティストがどのような職歴を持っているかを調べてください。彼らのほとんどはコンピューターサイエンスの博士号を取得しているのですか?それとも学士号ですか?彼らはどのような専門的なトレーニングを受けたのでしょうか?この情報は、理解を深めるのに役立ちます。
• 面接: 技術職に応募しているつもりでも、面接プロセス中にコーディングに関する技術面接が行われない場合は、おそらくここで技術職に就くことはできないでしょう。通常、面接の内容は仕事の性質を反映します。

機械学習エンジニアとデータサイエンティスト

はい、もう十分です。さて、本題に戻りましょう。近年、データサイエンスの仕事についての否定的なコメントを耳にすることが増えてきました。これにはいくつかの理由があり、「データ サイエンティスト」という職種には以前ほど高度な機械学習コンポーネントが含まれなくなってきており、そのような職に就くのが以前よりも容易になっているように思われます。おそらく 5 年前であれば、データ サイエンティストの職に応募するには、ほとんどの求人要件で少なくとも修士号が必要でしたが、今では状況は異なります。データ サイエンスが（少なくとも過去には）過大評価されてきた理由が何であれ、実際のデータを見てみましょう。

以下のデータとグラフは、世界的に有名な給与データベース検索エンジンである Salary Ninja から取得したものです。米国全土の外国人労働者をH1-Bデータベースで検索します。 2014 年から 2019 年にかけての「データ サイエンティスト」または「機械学習エンジニア」というタイトルの職種の数と平均給与が表示されます。

データ サイエンティストと機械学習エンジニアの求人動向の比較 (出典: 著者)。

この結果に驚きましたか?両方の職種の平均給与はほぼ同じですが、データ サイエンティストの平均給与は 2015 年と 2016 年に減少していることがわかります。おそらく、データ サイエンティストの好調な時代は終わったと言われるのは、このことを意味しているのでしょう。しかし、純粋な求人数で見ると、データサイエンスは依然として機械学習エンジニアリングよりもはるかに多く、機械学習エンジニアの求人数の増加が速く、平均給与も高くなっていることがわかります。

便宜上、この記事で取り上げたいくつかのキャラクターの統計を、Salary Ninja から収集して以下にまとめました。最初の表には過去 6 年間の統計が表示され、2 番目の表ではそのサブセットが抽出され、2019 年の最新データ統計のみが表示されます。最後に、過去 6 年間の Microsoft の統計をリストしました。

機械学習関連の求人の簡単な内訳（出典：著者）。

上記のデータから、いくつかの興味深い洞察が得られます。

• 全体的には、データ アナリストの数はデータ サイエンティストの数を上回っていましたが、2019 年にはそれが逆転しました。これは、多くの企業でデータアナリストの職名がデータサイエンティストに改名されていることを意味するのでしょうか?
• 機械学習エンジニアの給与はデータサイエンティストよりわずかに高いですが、機械学習エンジニアの求人ははるかに少ないです。これは、機械学習エンジニアの正式な肩書きが通常ソフトウェアエンジニアであるためです。
• 研究科学者の平均給与は驚くほど低いです。私がこれを発見したのは、データベースには機械学習技術の分野で研究を行っている研究者だけでなく、他の多くの種類の研究者も含まれている可能性が高いからです。そのため、このような混乱を減らすために、3 番目の表には意図的にテクノロジー企業を 1 社だけ含めました。予想通り、マイクロソフトでは研究者の給与が最も高い職に就いています。
• しかし、データエンジニアの最高年収が 130 万ドルだったことには、やはり衝撃を受けました。これはクレイジーだ！おそらくこのポジションを検討すべきでしょう。
• このデータセットには基本給のみが含まれており、最近のテクノロジー業界では株式も大きな役割を果たすことが多いことに留意してください。さらに、これは雇用市場の全体像からは程遠いものです。しかし、米国のテクノロジー業界における外国人従業員の数を考慮すると、依然として良い参考指標となります。

これらのデータから判断すると、データサイエンス業界が不況に陥っていると一概に言うことはできないと思います。この業界はまだ成長中ですが、将来的にはより分析に重点が置かれるようになるかもしれません。私が見た限りでは、最近は参入障壁が低いデータサイエンスの仕事が増えているようですが、それは必ずしも悪いことではありません。

結論は

これまで多くのことを説明してきましたが、この最後の部分も読んでいただければ幸いです。この記事を書いたのは、私自身、この業界で起こっているあらゆる変化に戸惑うことが多いからです。また、データサイエンスとは何かについても、さまざまな意見があるようです。誰が正しいか間違っているかに関係なく、傾向を見て自分で判断していただければと思います。

最後に、単に平均給与が高いとか人気があるという理由で仕事や業界を選ばないでください。あなたの肩書きがデータサイエンティスト、機械学習エンジニア、データアナリストのいずれであっても問題ありません。データ サイエンティストは単なるエンジニアまたはアナリストであると言う人がいるかどうかは問題ではありません。なぜなら、どちらの発言も正しい可能性があるからです。

給与に基づいて職種を比較するのは簡単ですが、本当に重要なのは、自分が楽しんで、得意とできる職種を選ぶことです。実際に行う仕事に焦点を当て、それが自分に適しているかどうかを確認してください。平均給与が低いように見えるからといって、誤解しないでください。必ずしも実際の給与が他の職業よりも低くなるわけではありません。前の表からわかるように、この記事で取り上げた職種はすべて、最高年俸がかなり高額です。

最後に、追加のリソースと詳細情報をいくつか紹介します。

• Airbnb はかつて「データ サイエンス、1 つのタイトルで複数の仕事」という記事を公開しました。Airbnb はデータ サイエンスに関連するさまざまな種類の仕事を整理する素晴らしい仕事をしたと思います。この記事ではそれが詳しく説明されています。全員にデータ サイエンティストという統一された漠然とした肩書きを与えるのではなく、分析、アルゴリズム、推論という 3 つの異なる方向に分割します。

記事アドレス: https://www.linkedin.com/pulse/one-data-science-job-doesnt-fit-all-elena-grewal/

• Joma の YouTube 動画「データ サイエンスとは何か、データ サイエンティストのガイド」では、企業の規模に応じて異なるタイプのデータ サイエンティストについてわかりやすく説明しています。このビデオでは、大手テクノロジー企業で働く分析データ サイエンティストの役割についても詳しく学ぶことができます。

動画リンク: https://www.youtube.com/watch?v=xC-c7E5PK0Y&feature=youtu.be&t=372

読んでいただきありがとうございました。この投稿が、データ サイエンスと機械学習を勉強するときに迷うことがないよう、何らかの洞察を与えてくれることを願っています。この困難な時期に皆様のご多幸を心よりお祈り申し上げますとともに、この記事が皆様のお役に立てれば幸いです。