Google のような大企業を辞めた後、彼らはどうやって次の仕事を見つけるのでしょうか?

今年上半期、中国と米国のインターネット・テクノロジー企業は、程度の差はあれ、レイオフや人員削減を経験した。しかし同時に、この時期に転職を選択し、羨ましい「大企業」から興味のあるスタートアップ企業へと移った人も多かった。以下は、Mila 研究者の Ethan Caballero 氏がまとめた「最近 Google を去った AI 研究者」のリストです。

リストアドレス: https://docs.google.com/spreadsheets/d/14M-K2JHTOqWVsV4x95psAb94CblRIrhBimk8HVgwmRY/edit#gid=0

このリストには、Transformer の重要な著者である Ashish Vaswani 氏や Niki Parmar 氏など、私たちがよく知っている多くの研究者が含まれています。彼らは、同じくリストに載っている Anmol Gulati 氏、Augustus Odena 氏などとともに、Adept という新しい会社を設立しました。この会社は、人間とコンピューターが創造的な方法で協力して汎用知能を実現できるようにすることを目指しています。

もちろん、Google のロボット工学の上級研究科学者であるエリック・ジャン氏のように、Google を辞めた後に自分の会社を立ち上げる人は皆ではない。同氏は今年3月末にグーグルを退職（6年間勤めた後）、4月25日にノルウェーのロボット企業「Halodi Robotics」にAI担当副社長として入社したことを発表した。

この選択に関して、なぜそのような会社を選ぶのかと疑問に思う人も多いかもしれません。大企業の研究者は転職する際にどのような要素を考慮するのでしょうか？以前公開されたブログ記事（「すべての道はローマに通じる：2022 年の機械学習求人市場」）で、Eric Jang 氏は自身の意思決定プロセス、現在の米国における機械学習求人市場に関する理解、AGI（汎用人工知能）の実現への道筋に関する見解を詳しく説明しました。

以下は元のブログ投稿です:

次の会社を選ぶ際に考慮すべき要素

私にとって、次の仕事における唯一の制限要因は、機械学習のスキルを引き続き活用したいということです。次の表に私が検討したオプションを示します。私はこれらの会社の取締役や創設者と話をしましたが、そのほとんどは人事部との正式な面接に至りませんでした。これらのオプションの長所と短所は、2022 年 4 月時点の私の観察に基づいた主観的な意見にすぎないことに注意してください。誇大宣伝に満ちたシリコンバレーでは、企業はわずか数年で浮き沈みのジェットコースターを経験することがあり、このグラフはすぐに時代遅れになる可能性があります。

注: 写真のテスラの欄にある「コーヒーを買うために列に並ぶ必要はありません」とは、マスク氏がかつてスペースXでコーヒーを買うために長い列に並んだインターン全員を解雇すると脅し、二度とこのようなことが起こらないようにカメラを設置したことを指しています。 （出典：https://twitter.com/rabois/status/1514601392178040836）

テクノロジーの先導時間

私にとって、次の会社を選ぶ上で最も重要な決定要因は、その会社が競合他社より何年も先を行く技術的優位性を持っているかどうかです。 Google の伐採チームにいた友人は、中小企業には興味がない、なぜなら中小企業は技術的に Google の地球規模のインフラから大きく遅れており、Google が 10 年前に取り組み始めた問題を解決するどころか、現在 Google が解決している問題を理解することすらできないからだ、と私に話しました。

上の表には、独自の技術的優位性を持っていると思われる企業をリストアップしました。たとえば、OpenAI は現在、採用の面で圧倒的な存在感を示しています。これは、大規模な言語モデル アルゴリズムをリードしており、モデル手術やハイパーパラメータ調整などの企業秘密を使ってスケーリング法則を操作できるためです。 FAANG は計算能力の面で優位に立っていますが、OpenAI は明らかに技術的なリードタイムを生み出すことに成功しています。

同時に、FAANG の平均的な機械学習研究者と博士課程の学生を比較すると、前者は生の計算能力において 15 年のリードを持っています。 Google と DeepMind の言語モデルは、ほとんどの指標において GPT-3 よりも強力であると考えられます。しかし、場合によっては、コンピューティングにおける技術的リーダーシップだけでは不十分です。その結果、大規模な言語モデルに基づく製品を立ち上げる際に実行しなければならなかった煩雑な手順に非常に不満を抱いた研究者が Google を去ってしまいました。

私は、1. ロボット工学は難しいこと、2. ML の一般化の最も印象的な例は常に生成モデリングにあるように思われることから、自分のキャリアを生成モデルにシフトすることを真剣に検討しました。しかし、純粋に生成的なモデリングの分野では、誰もが同じ製品や研究のアイデアを得るために争っており、少し競争が激しいように感じられます。おそらく、私がいてもいなくても、この分野は同じように発展したでしょう。

エンジニアを雇うときには、将来の技術を持っていることが非常に重要です。なぜなら、エンジニアの多くは、他の人がすでに持っている能力を構築することに人生を無駄にしたくないからです。たとえば、神経科学研究室がパッチクランプ実験でサルの脳を研究するために博士課程の学生を募集しようとしている一方で、隣の研究室ではオプトジェネティクスと Neurallink ロボットを使用しているようなものです。才能があれば、これらを自分で再発明することもできますが、貴重な時間をかける価値は本当にあるのでしょうか?

もちろん、企業と研究室は同じものではありません。長期的には、製品と市場の適合性と、将来の技術的優位性を構築するチームの能力がより重要になります。既存企業は肥大化し、軌道から外れる可能性がある一方で、新興企業は異なる強みを生かしたり、デザインを独自の方向に進めたりする可能性があります。多くのユニコーンは先駆者ではありませんでした。

あなた自身のビジネスを始めてみませんか?

私はベイエリア出身なので、もともと MLOps を中心とした自分の会社を立ち上げるつもりでした。 AGI + アクティブラーニングのための最先端のデータ管理および注釈システムを構築したいと考えています。しかし、次の 3 つのことが私の考えを変えました。

まず、何人かの顧客と話をして、彼らの ML とデータ管理のニーズを理解し、自分にとって適切な製品市場があるかどうかを確認しました。彼らの問題の多くは最先端の技術を必要とせずに解決できますが、マーケティング キャンペーン用のシミュレーターの構築、工場でのロボットのピックアンドプレース用の姿勢推定器の改善、ユーザー フィード内のコンテンツのランク付けなど、最先端の技術以外の多くの問題には興味がありません。大半の企業は、退屈だが重要な問題を解決しています。しかし、私の人生の仕事は、人類のさらなる技術的飛躍を可能にすることであると願っています。

第二に、会社の評価額が1億ドルを超えた後にCEOが印象的な技術的貢献をすることは稀だと思います。仕事をうまくこなすには、調整、製品、会社レベルの問題に対処することにほとんどの時間を費やす必要があります。彼らは信じられないほどのソーシャル チャネルと影響力を蓄積し、ときどきコードをコミットすることもあります。しかし、彼らの毎日のスケジュールはあまりにもくだらないことでいっぱいなので、もはや生産的にコードをいじることはしません。同様の状況は上級研究者にも起こります。これはとても怖いです。

有名なコンピューター科学者でチューリング賞受賞者のリチャード・ハミング氏は、「あなたとあなたの研究」という演説の中で、「何か傑出した成果を出せば、さまざまな委員会に引きずり込まれ、新しい成果を生み出すことができなくなる」と述べています。

噂によると、ケン・トンプソンは妻が 1 か月間休暇を取っている間に UNIX オペレーティング システムを作成したため、より深い仕事に集中する時間ができたそうです。 「ウィルバー・ライトの殺人」では、もしこれが本当なら、どれほどひどいことだろうかと書かれている。トンプソンは生涯ずっと重い荷を背負い、そして自由になった短い瞬間に、史上最も重要な仕事のいくつかを成し遂げた可能性があるのだろうか？

最終的に、私は素晴らしいテクノロジーを構築し、5年以上時代を先取りした未来の生活体験という貴重な機会を与えてくれたHalodiを選びました。私は、ベルント（CEO）の人体構造に対する敬意に感銘を受けました。精密な計画がなくてもグリップを可能にするオーバーダンピングシステムの固有の受動的なインテリジェンスから、ほとんどエネルギーを消費せずにさまざまな地形を横断できるフットスプリングシステムまで、あらゆる点が評価されました。機械ではなく人間を中心に世界を設計したい場合、ヒューマノイドロボットはほとんどのタスクにとって「過剰」ではなく、唯一実行可能な形態であると私たちは皆信じています。

すべての道はローマに通じる

数か月前、私は Ilya Sutskever (OpenAI の主任科学者) に、純粋な AGI 研究ラボ (OpenAI、DeepMind など) を立ち上げる方が理にかなっているのか、それとも AGI の構築に必要なデータの防御壁を生成できる収益性の高いテクノロジー企業を立ち上げる方が理にかなっているのかを尋ねました。

イリヤはこう語った。「すべての道はローマに通じ、成功するテクノロジー企業はすべて AGI 企業になるだろう。」

少し意外に聞こえるかもしれませんが、製品を繰り返し改良するには、指数関数的に難易度が増すより高度な技術が必要であることを覚えておく必要があります。

• 半導体製造において、32nmプロセスノードから14nmに縮小するのは非常に困難ですが、14nmから7nmに移行するのはさらに困難であり、超純水などの中間の問題を解決する必要があります。
• 1980 年代には、ALS 患者向けのシンプルなテキスト読み上げシステムを作成することは可能でしたが、特殊なケースでの発音の改善やイントネーションの変化への対応には、当然ながらディープラーニングのブレークスルーが必要でした。
• 適切な文字レベルの言語モデルを 1 台のコンピューターでトレーニングできますが、条件付き文字モデリングからエントロピーの一部を除去するにはデータセンターが必要です。
• 高速道路での自動運転はそれほど難しくありませんが、住宅街の道路で L5 レベルの自動運転を実現すると完全な AGI と見なされます。

今後数十年にわたって顧客に限界価値を付加し続けるためには、企業はいくつかの非常に困難な問題を解決することに慣れなければなりません。おそらく最終的には、誰もが AGI という同じ難しい問題を解決するために集まり、競争力のある短いビデオ アプリ、ToDo リスト、文法チェッカーを作成できるようになるでしょう。 「AGI」が何を意味するのか、すべての企業がそれを実現するのにどれくらいの時間がかかるのかについては懐疑的かもしれませんが、基本モデルはすぐに多くのソフトウェア製品にとっての賭けになるだろうと感じています。

また、数年後には、インターネット規模の大量のデータをロスレスで圧縮する専門知識が、テクノロジーリーダー（FAANG）の間で防御できる防御壁ではなくなるのではないかと考えています。したがって、大規模な ML 専門知識に重ね合わせるための補助データとビジネス上の防御壁を探すことは理にかなっています。 AGI への道は数多くありますが、以下に主要なプレーヤーのいくつかについて概説します。

たとえば、Alphabet には、人間の思考や好奇心を捉えた貴重な検索エンジン データが多数あります。 Meta は大量の社会的知能データと性格特性を記録します。希望すれば、Oculus コントローラーの操作を収集して人間の行動の軌跡を作成し、その知識を将来のロボット工学に活用することもできます。 TikTok の推奨アルゴリズムは、私たち自身よりも私たちの潜在意識を理解しているのかもしれません。 Grammarly、Slack、Riot Games などの企業でさえ、人間の知能のための独自のデータ堀を持っています。

これらの各企業は、自社のビジネスデータを楔形にして、人間の思考や欲求そのものを行動的に複製する汎用知能を作り出すことができる可能性がある。

私が個人的に賭けている堀（Halodi に参加することで）は、「他の誰よりも 5 年先を行くヒューマノイド ロボット」です。 Halodi はすでにこれを所有しており、Tesla も同等のものを開発中です。 Halodi での私の主な仕事は、当初はモバイル操作における特定の顧客の問題を解決するためのモデルのトレーニングでしたが、AGI のロードマップの開発も行いました。つまり、ヒューマノイド フォームから具現化された大量の一人称データを圧縮して、汎用知能、心の理論、自己認識を生み出す方法です。

近年、具現化された AI とロボット工学の研究は輝きを失っています。大規模な言語モデルがジョークを解釈できるようになった一方で、ロボットは依然としてピックアンドプレースを実行していますが、成功率は低いからです。しかし、ビットの世界でモデルを単純にトレーニングするだけでは不十分であり、モラベックのパラドックスはまったくパラドックスではなく、「ほとんどの知能」に対処できなかった結果であるという逆説的な賭けをすることは価値があるかもしれません。

モラベックのパラドックスは、人工知能とロボット工学の学者によって発見された常識に反する現象です。従来の想定に反して、推論などの人間特有の高レベルの知能能力には、ほとんど計算能力は必要ありませんが、無意識のスキルや直感には膨大な計算能力が必要です。モラベック氏は、「コンピューターにチェスの遊び方を大人と同じように教えるのは比較的簡単だが、1 歳児のように認識して行動するように教えるのは非常に困難、あるいは不可能だ」と書いている。

選択後の懸念

私は Halodi (そして AGI スタートアップ全般) について、いくつかの重大な懸念を抱いています。歴史を振り返ると、ロボット企業の死亡率は高く、汎用ロボット企業で成功した例を私は知りません。

ロボット企業は、汎用ロボットのミッションから始めて、すぐに退屈な分野に特化する傾向があります。 Boston Dynamics、Kindred、Teleexistence など、リストは続きます。ビジネスや人生と同様に、資本と進化の力は共謀して、知性の一般化よりもハードウェアの専門化を優先します。私たちにはこんなことが起こらないように祈ります。

グウェルンの「タイミング」に関する記事を思い出します。早すぎる立ち上げは失敗を意味しますが、保守的になりすぎて遅すぎる立ち上げも同様に悪いです。なぜなら、予測に関係なく、良いアイデアは過度に楽観的な研究者や起業家を火に集まる蛾のように引き寄せるからです。最高の時期が過ぎたことが誰の目にもわかる中、完璧なタイミングで炎にキスをした幸運な 1 人を除いて、全員が犠牲になります。

しかし、私はリチャード・ヘミングがクロード・シャノンについて言ったことも思い出します。

「彼はコーディング方法を作りたかったのですが、やり方がわからなかったのでランダムなコードを作り、行き詰まってしまいました。そこで彼は不可能な質問をしました。これらの平均ランダムコードで何ができるのか？そして、これらの平均コードはランダムに良いことを証明しました。つまり、少なくとも 1 つのコードは良いということです。恐れを知らない人以外に、誰がそんなことを思いつくでしょうか？」

人生は短く、何をするにも限りない勇気が必要です。