多くのビッグデータサイエンティストが仕事を辞めた？理由を説明しましょう。

はい、私はデータ サイエンティストです。はい、あなたはそれを正しく読みました。しかし、誰かがそれを言わなければなりません。データサイエンスが 21 世紀で最も魅力的な職業であり、データサイエンティストとして魅力的な収入を得られるという話はよく聞きますが、まさに夢のような仕事のように思えます。その理由は、この分野には、複雑な問題を解決することに熱心で（そう、「したい」というのは非常にポジティブなことです）、この仕事のためなら何でもする意欲のある、高度なスキルを持つ人材が大勢いるからです。

[[287283]]

しかし、フィナンシャル タイムズがこの記事で述べているように、現実には、データ サイエンティストは通常​​「新しい仕事を探すのに週に 1 ～ 2 時間を費やしています」。さらに、記事には次のように書かれています。「新しい仕事を探している開発者の中で、機械学習の専門家は14.3%で第1位でした。データサイエンティストは13.2%で僅差の2位でした。」このデータは、Stack Overflowが64,000人の開発者を対象に行った調査で収集されたものです。

私もかつてその役割を担っていましたが、最近自分自身もデータサイエンスに転向しました。

では、なぜこれほど多くのデータ サイエンティストが新しい仕事を探しているのでしょうか?

この質問に答える前に、私はまだデータ サイエンティストであることを明確にする必要があります。全体的に、私はこの仕事を楽しんでいます。データ サイエンティストになることを目指す他の人を落胆させたくはありません。なぜなら、この仕事は楽しく、やる気を起こさせ、やりがいのあるものだからです。この記事の目的は、あえて反対意見を述べ、この仕事のいくつかの否定的な側面を明らかにすることです。

私の観点からすると、多くのデータ サイエンティストが自分の仕事に不満を抱いている理由は 4 つあると思います。

期待と現実が一致しない

理想と現実

ビッグデータは10代のセックスのようなものです。誰もがそれについて話しますが、誰もそれを実際に行う方法を知りません。誰もが他の人もやっていると思い込んでいるので、誰もがそれをやっていると主張します... – ダン・アリエリー

この文章は非常に適切です。私が知っている多くのジュニア データ サイエンティスト (私を含む) は、データ サイエンス分野に進みたいと考えています。それは、ビジネスに大きな影響を与える可能性のある、新しくてクールな機械学習アルゴリズムを使用して複雑な問題を解決することがすべてだからです。これは、私たちが行っている仕事がこれまで以上に重要であることを実感できる機会です。しかし、通常はそうではありません。

私の意見では、期待が現実と一致しないという事実が、多くのデータ サイエンティストが辞める最終的な理由です。これには多くの理由があり、すべてを網羅することは不可能ですが、この投稿は基本的に私が遭遇したいくつかの理由のリストです。

企業はそれぞれ異なるため、一社だけを挙げることはできませんが、多くの企業は AI から価値を引き出すための適切なインフラストラクチャを整備せずにデータ サイエンティストを雇用しています。これにより、AI のコールド スタート問題が発生します。それに加えて、これらの企業は、若手を採用する前に上級/経験豊富なデータ実務者を採用しなかったため、双方に幻滅感と不幸な関係が生じることになりました。データ サイエンティストは、洞察を導き出すためにスマートな機械学習アルゴリズムを作成するかもしれませんが、彼らの主な仕事はデータ インフラストラクチャを整理し、分析レポートを作成することであるため、そうすることはできません。対照的に、会社が求めていたのは、毎日の取締役会で提示できるグラフだけでした。すると、企業は価値が十分に早く生み出されないことに不満を抱き、その結果、データ サイエンティストは自分の役割に不満を抱くことになります。

Robert Chang 氏はブログ記事で非常に洞察力に富んだ引用文を投稿し、若手データ サイエンティストにアドバイスを提供しています。

私たちの理想が私たちの環境のクリティカルパスとどの程度一致しているかを評価することが重要です。クリティカル パスが自分のものに最も一致するプロジェクト、チーム、企業を見つけます。

これは、雇用主とデータ サイエンティストの双方向の関係を浮き彫りにします。企業が適切な場所にいなかったり、データ サイエンティストの目標と一致しない目標を持っている場合、データ サイエンティストが別のものを見つけるのは時間の問題です。

興味のある方のために、Samson Hu が Wish の分析チームがどのように構築されたかについての素晴らしいシリーズを書いています。私も非常に参考になりました。

データ サイエンティストとして幻滅したもう 1 つの理由は、学問の世界に幻滅した理由と似ています。私は、自分の会社内だけでなく、世界中の人々に大きな影響を与えることができると信じていました。実際、会社の中核事業が機械学習でない場合（私の以前の勤務先はメディア出版会社でした）、あなたが行うデータサイエンスは、おそらくわずかな増分利益しかもたらさないでしょう。これらが積み重なって何か大きな成果につながるかもしれませんし、幸運にも金鉱プロジェクトに偶然出くわすこともあるかもしれませんが、これはまれです。

政治的正しさの追求

政治問題については、すでに「データ サイエンスで最も難しいこと: 政治」という素晴らしい記事が掲載されていますので、ぜひ読んでみてください。この記事の最初の数文が、私が言いたいことをほぼ要約しています。

サポートベクターマシンを勉強するために朝 6 時に起きたとき、私はこう思いました。「これは本当に難しい！でも、少なくとも将来の雇用主にとっては非常に価値のある人材になれるだろう！」もしデロリアンが手に入ったら、過去に戻って自分を「でたらめだ！」と言うだろう。

機械学習アルゴリズムをたくさん知っていれば最も価値のあるデータ サイエンティストになれると本気で思っているなら、上記の最初のポイントに戻りましょう。期待は現実と一致しません。

実際のところ、あなたのビジネスで最も影響力のある人々は、あなたをよく知る必要があります。これは、データベースから数字を取得して適切な人に適切なタイミングで提供したり、適切な人があなたに対して適切な認識を持つように簡単なプロジェクトを実行したりするなど、アドホックな作業を継続的に実行する必要があることを意味する場合があります。以前の職場では、たくさんのことをしなければなりませんでした。イライラするかもしれませんが、それは仕事に必要な部分です。

あらゆるデータを自分で処理できる

適切な人々を喜ばせるためにあらゆることを行う影響力を持つ人々は、「データ サイエンティスト」の意味を理解していないことがよくあります。つまり、分析とレポートの両方の専門家になるだけでなく、データベースの専門家にもなることを忘れないでください。

あなたのスキルについて過度な思い込みをするのは、技術系ではない幹部だけではありません。他の技術系の同僚は、あなたがデータについてすべて知っているものと想定しています。 Spark、Hadoop、Hive、Pig、SQL、Neo4J、MySQL、Python、R、Scala、Tensorflow、A/B テスト、NLP、あらゆる機械学習 (および考えられるその他のデータ関連のすべて) に精通している — ちなみに、これらすべてが書かれた求人情報を見かけたら、明確にしておいてください。これは、自社のデータ戦略が何なのか全く分かっていない企業の求人情報です。彼らは、データ担当者を雇えばすべてのデータ問題が解決すると考えているため、誰でも雇うつもりです。

しかし、それだけではありません。あなたはこのすべての情報を知っており、明らかにすべてのデータにアクセスできるため、おそらくすべての質問に事前に答えられるでしょう...まあ、5分前には関係者の受信トレイに届いているはずです。

自分が実際に知っていることやコントロールしていることをみんなに伝えるのは難しい場合があります。それは、実際に誰かがあなたについてあまり考えていないからではなく、業界経験の少ないジュニア データ サイエンティストとして、人々があなたについてあまり考えていないのではないかと心配するからです。これは非常に困難な状況になる可能性があります。

孤立したチームで働く

成功したデータ製品を見ると、多くの場合、インテリジェントな機能と、最も重要な点として、関連する問題を解決するためにユーザーが少なくとも認識できる有用な出力を備えた、専門的に設計されたユーザー インターフェイスが見られます。現在、データ サイエンティストが機械学習アルゴリズムの作成方法と実行方法の学習にのみ時間を費やすと、価値ある製品を生み出すプロジェクトの成功につながるチームのごく一部 (ただし必要不可欠な部分) にしかなれません。つまり、孤立して作業するデータ サイエンス チームは、価値を提供するのに苦労することになります。

それでも、多くの企業には、独自のプロジェクトを考案し、問題を解決するためのコードを書くデータ サイエンス チームがあります。場合によってはこれで十分です。たとえば、静的なスプレッドシートが四半期に 1 回だけ必要な場合は、ある程度の価値を提供できます。一方、カスタム Web サイト構築製品内でインテリジェントな推奨事項を提供するための最適化が目標である場合、これには大多数のデータ サイエンティストの手の届かないさまざまなスキルが必要になります (真のデータ サイエンス ユニコーンだけがこれに取り組むことができます)。したがって、プロジェクトが孤立したデータ サイエンス チームによって実行されると、失敗する可能性が高くなります (または、大規模な企業で共同プロジェクトに取り組むために孤立したチームを編成するのは簡単ではないため、長い時間がかかります)。

したがって、効果的な産業データ サイエンティストになるには、Kaggle コンテストで優秀な成績を収めたり、いくつかのオンライン コースを修了したりするだけでは十分ではありません。残念ながら、これは（見方によって異なりますが）ビジネスにおける階層と政治の仕組みを理解することにかかっています。自分のニーズを満たすデータ サイエンスの仕事を探すときは、自分のクリティカル パスに合致する企業を見つけることが主な目標になるはずです。ただし、データ サイエンスの役割に対する期待を再調整する必要があるかもしれません。

追加のコメント、質問、異論がある場合は、遠慮なくコメントしてください。データ サイエンティストを目指す人々がキャリア パスについて十分な情報に基づいた決定を下すためには、建設的な議論が必要です。

失業させなかったことを願います。