2021 年に AI と ML に参入する前に知っておくべき 10 のこと

高度な新しい AI アルゴリズムを使用して複雑な問題を解決し、高い給料を得られるというのは魅力的に思えます。多くの企業がこの流行に乗って、1年未満でデータサイエンス/AI/MLを学習できるブートキャンプを提供しています。このようなブートキャンプに参加したり、機械学習に目を向けたりする前に、次の 10 のことを考慮してください。

2021年になりましたが、職種はまだ明確に定義されておらず、求められるスキルも多岐にわたります。

スタートアップ企業は、AI が今や強力な流行語になっていることに気づき、既存の求人情報をデータ アナリスト/統計学者からデータ サイエンティストなどに改名し始めました。 仕事のタイトルがより魅力的に聞こえるため、より多くの求人応募が来ます。

しかし、求人広告を読んでみると、いくつかの役割はまったく異なることに気づくでしょう。一部のケースでは、ビジネスアナリストが SAS または SPSS を使用して質問に答える必要があります。ビッグデータ Hadoop システムを構築するデータ エンジニアを求める人もいれば、TensorFlow やニューラル ネットワークを使用するディープラーニング研究者を求める人もいますが、彼らは皆、データ サイエンティストと呼ぶかもしれません。これらのタイプはすべて非常に異なり、異なるスキルが必要です。近年、データ サイエンティスト (高度な分析)、機械学習エンジニア、データ エンジニア、応用科学者/研究者といったタイプが登場しています。

卒業生は不足していない

前述したように、多くの人がデータの魔術師になりたいと思っています。コンピューター科学者、物理学者、数学者だけでなく、経済学者、心理学者、定量的な背景を持つその他の自然科学者も含まれます。問題は、ほとんどの企業が新卒者を求めておらず、何を求めているのかさえ分かっていない企業もあることです。すべての問題を解決するためにデータ サイエンティストを雇いたいと思う人もいるかもしれません。彼らは要件を本当に理解していないため、履歴書に流行語を詰め込んだ大学新卒者やブートキャンプ卒業生を雇用します。仕事のプロジェクトの 85% が失敗する理由の 1 つは、これにあるのかもしれません。さらに、TechRepublic によると、データ サイエンティストの需要は 2019 年にすでに減少し始めています。最近の若いデータサイエンティストからは、失望、問題、就職難などについて多くの声が聞かれます（COVID-19もその理由の1つです）

スキル不足はあるかもしれないが、候補者不足ではない。データサイエンス分野のエントリーレベルまたはインターンシップのポジションに何百人もの応募者が来ることは珍しくありません。雇用主が人材不足について話すとき、通常は経験豊富な専門家の不足について言及しています。

学位がないと難しい

学歴がなくてもデータ関連の仕事に就くという考えは大胆です。天才や運のいい人であれば可能ですが、一般的には面接の電話がかかってくることはほとんどありません。人工知能には統計学と数学が含まれており、これらは通常、研究の中で最も難しい部分です。これらすべてが必要というわけではないかもしれませんが、通常はあなたが唯一の応募者ではなく、博士号を持つ人々と競争することになります。これらすべての mooc やブートキャンプでは、数か月で基礎を教えることはできません。もっと時間が必要です。求人広告を読むと、職種によっては修士号、さらには博士号を持っていることがプラスになることに気づくでしょう。それを念頭に置くと、それは難しいですが、不可能ではありません。

88% が少なくとも修士号を取得しており、46% が博士号を取得しています。

機械学習を適用してデータセットを構築する

Kaggle チャレンジと大学のコースには、業界ではほとんど見られない共通点が 1 つあります。それは、データセットが利用可能で準備されていることです。探索、データの前処理、モデリングを学ぶことは非常に価値があり、実際の仕事の大部分はこれらの作業に関係しています。機械学習は価値をもたらすのであれば価値がありますが、良い結果が得られるまでには多くの観察と実験が必要となり、クリーンなデータが得られるまでにはさらに長い時間がかかります。あなたが完璧主義者で、フラストレーション耐性が低い場合は、機械学習を適用しないでください。それはあなたを狂わせるでしょう。

ディープラーニングは広く採用されていない

ニューラルネットワークはここ数年で AI の人気を高めましたが、いくつかの欠点もあります。トレーニングと構築が難しく、調整に時間がかかり、過剰適合になりやすく、計算負荷が非常に高くなります。インフラは改善されつつありますが、まだ望ましい状態には達していません。ニューラル ネットワークを扱いたいのであれば、その業界のデータ サイエンティストにならないでください。ニューラル ネットワークは非常に優れているため、それを使用する企業はほとんどなく、多くの場合、従来の方法で十分です。ディープラーニングを活用したい場合は、学術や研究に注力するか、ANN に注力するスタートアップを拡大してください。

人工知能に関する誤った見方

人工ニューラル ネットワークは脳にヒントを得ていますが、脳からは程遠いものです。 AIが人間と競争できるとは思えません。一般の人々と科学界は人工知能に関して非常に異なる見解を持っています。問題は、AI が Dota 2 をプレイしたり、ディープフェイクを作成したり、音楽を作曲したりしても、なぜ「知的」ではないのかを説明するのが難しいことです。忘れられがちなのは、AI は依然としてパターン認識であり、特定のパターンが変化するとすぐに失敗するということです。理解せず、考えず、夢も持たない。 AI システムが XYZ を実行できない理由を尋ねられ、それを修正できない可能性があります。ここで、AI が囲碁の世界チャンピオンに勝てるのにもかかわらず、いくつかの「単純な」ビジネス上の問題を予測する方法を学習できない理由を説明しましょう。

多くのAIは実際には人工知能ではない

2019年にヨーロッパのAIスタートアップに関する調査が行われました。基本的に、AI スタートアップの 40% が AI をまったく使用していないことがわかりました。 AIを偽造するために人間を雇う人もいます。理由は簡単です。 AI システムの構築にはデータ、時間、人材が必要であり、非常にコストがかかります。誰かにやってもらうほうが簡単で安い場合もあります。 「物事にラベルを付ける」ような人にならないでください。スタートアップが AI の専門知識を持っていることをどのように証明しますか? データ サイエンスの求人広告には疑いを持ち、参加する前にデータについて質問してください。

生涯学習の必要性

Spark、TensorFlow、PyTorch、keras、scikit-learn、pandas はすべて、あなたの生活を楽にするツールです。これらのツールは変化し、より優れたツールに置き換えられるでしょう。あるいは、永久に残り続けるかもしれません。誰にもわかりません。しかし、それらは単なるツールです。ツールに重点を置くのではなく、テクニックと問題解決に重点を置く必要があります。 Keras は気に入っているが、PyTorch の方がいくつかの問題をよりうまく解決できる場合は、PyTorch を学習してください。これらのツールとフレームワークの背後にある考え方は通常非常に似ており、同じように機能することに気づくでしょう。プログラミング言語でも同じことが言えます。 Python を学ぶのが億劫で、C++ で ML モデルのプロトタイプを作成するような人にならないでください。

ドメイン知識の学習

機械学習はデータに関するものです。データはドメインに関するものです。データを理解するには、ドメインを理解する必要があります。データ チームがドメインの専門知識なしでデータに関するあらゆる問題を解決できるという考えは危険であり、うまくいきません。データには、ドメインがどのように機能し、プロセスがどのように機能するかを知っていれば理解できる手がかりが数多くあります。ビジネス的な観点だけでなく、技術的な観点も同様です。テクノロジーをいじるだけでは十分ではありません。これらの領域を理解するには、少なくとも高度な分析を行うデータ サイエンティストとして、優れたコミュニケーション スキルが必要です。

批判的思考

批判的思考は最も重要なスキルの一つです。多くのプロジェクトが成功したのは、単に誰かが現在のアプローチや目標に疑問を呈したからです。ターゲット変数は本当に予測したいものなのでしょうか? 機械学習は本当に必要なのでしょうか? 1% の利益を得るためにさらに 1 週​​間を費やすでしょうか? このデータは本当に信頼できるのでしょうか? これは自己達成的予言なのでしょうか? これらの質問をするのは、答えが気に入らないことが多いため、かなり難しいのですが、必要なことです。

機械学習とデータサイエンスに本当に興味があるなら、ブートキャンプを提供するコンサルティング会社やトレーニング会社の約束を信じないでください。ただ誇大宣伝されているからといってそれをしないでください。すべての誇大宣伝には終わりがあることを忘れないでください。