トランスフォーマーのメンバー8人全員がGoogleに亡命！最後の共著者は今月末に自身のビジネスを始めるために退社する。

トランスフォーマーのメンバー8人全員がGoogleから離脱した。

Googleの画期的なTransformerの最後の共著者であるリオン・ジョーンズ氏が、今月末にGoogleを退社し、自身のビジネスを立ち上げることが明らかになった。

写真

元Google BrainおよびStability AIの幹部であるDavid Ha氏もこのメッセージをリツイートした。

2017 年 6 月、「アテンション・イズ・オール・ユー・ニード」が大きな反響を呼び、有名なトランスフォーマーが誕生しました。

しかし、それから6年が経ち、かつて最強のアーキテクチャを作り上げるために共に働いていた「トランスフォーマー」たちが次々とGoogleを去っていった。OpenAIなどのスタートアップ企業に加わった者もいれば、ゼロから独自のビジネスを立ち上げた者もいる。

現在、Google に残ったリオン・ジョーンズを除いて、7 人のトランスフォーマー メンバーがどの会社に所属するかが決定しました。

写真

そして今、リオン・ジョーンズの脱退により『トランスフォーマー』は終焉を迎えます。

就任から8年、トランスフォーマーは最も引用されている

トランスフォーマーアーキテクチャの共同著者の一人であるリオン・ジョーンズ氏は、ブルームバーグに対し、今月下旬にグーグルジャパンを退社し、長期休暇後に会社を設立する予定であることを認めた。

写真

ジョーンズ氏はブルームバーグへのメッセージでこう書いている。

Google を辞めることは簡単な決断ではありませんでした。私は Google で素晴らしい 10 年を過ごしましたが、何か違うことに挑戦する時期が来ていました。 AI 分野の勢いと進歩を考えると、今は何か新しいものを構築する絶好の機会です。

グーグルの広報担当者はコメントの要請にすぐには応じなかった。

個人のLinkedInページによると、リオン・ジョーンズ氏は2015年6月にGoogleに入社し、8年間勤務している。彼は以前、YouTube と Delcam で働いていました。

写真

彼はバーミンガム大学でコンピューターサイエンスの学士号と修士号を取得しています。

これまでのところ、ジョーンズの Google Scholar ホームページで最も引用されている論文は、2017 年に発表された「Attention Is All You Need」で、81,266 回引用されています。

写真

トランスフォーマーは現在、大規模言語モデルの重要なコンポーネントであり、その技術は OpenAI の ChatGPT などの人気の AI 製品の基盤となっています。

過去数年間で、この論文の著者らは、企業顧客に法学修士号を提供するCohereや、有名人や歴史上の人物を模倣したチャットボットをユーザーが作成できるCharacter.AIなど、注目を集めるスタートアップ企業を数多く設立してきた。

ジョーンズ氏の退社により、8人の著者全員がGoogleを去ったことになる。

新しいシリコンバレーの「8人の裏切り者」

それで、残りの 7 人は今どこにいますか?

Jakob Uszkoreit は、Transformer アーキテクチャの主な貢献者として認められています。

彼は2021年半ばにGoogleを退社し、ニューラルネットワークを使ったmRNAの設計に取り組むInceptive Labsを共同設立した。

これまでに、彼らは2,000万ドルを調達し、20人以上のチームを擁しています。

写真

アシシュ・ヴァスワニは2021年末にGoogleを退社し、AdeptAILabsを設立した。

AdeptAILabsは急速な発展段階にあると言えます。

現在、同社は4億1500万ドルを調達しただけでなく、評価額も10億ドルを超えています。

また、チームの規模も40名を超えました。

しかし、アシシュは数か月前にアデプトを去った。

ニキ・パーマーはトランスフォーマーズ紙の唯一の女性著者である。

彼女は2021年末にGoogleを退社し、前述のAshish VaswaniとともにAdeptAILabsを設立した。

しかし、ニキも数か月前にアデプトを去りました。

ノアム・シャジールは20年間勤務したグーグルを2021年末に退社した。

その後、彼はすぐに友人のダン・アビトボルとともに Character AI を設立しました。

同社の従業員数はわずか20名程度ですが、効率性は非常に高いです。

彼らは現在、約2億ドルを調達しており、ユニコーン企業になる寸前です。

エイダン・ゴメスは2019年9月にGoogle Brainを退社し、CohereAIを設立した。

3年間の着実な成長を経て、同社は現在も拡大を続けており、Cohereの従業員数は最近180人を超えました。

同時に、同社の調達資金は4億ドルの大台を突破しようとしている。

TensorFlowの共著者の一人であるLukasz Kaiser氏は、2021年半ばにGoogleを退社し、OpenAIに加わった。

イリア・ポロスキンは2017年2月にGoogleを退社し、2017年6月にNEAR Protocolを設立した。

現在、NEARの評価額は約20億ドルです。

一方、同社は約3億7500万ドルを調達し、大規模な二次資金調達を実施している。

あなたにはただ注目が必要なのです！

Transformer が誕生する前、AI 界隈では自然言語処理におけるシーケンス翻訳を完了するために、RNN (リカレント ニューラル ネットワーク) に基づくエンコーダー/デコーダー構造が主に使用されていました。

しかし、RNN とその派生ネットワークの最も致命的な欠点は、その遅さです。主な問題は、前の隠れ状態と次の隠れ状態の間の依存関係にあり、これにより並列処理が不可能になります。

トランスフォーマーの登場は非常に人気があり、多くの研究者が星を追いかける旅に乗り出すことになりました。

2017年、8人のGoogle研究者が「Attention is All You Need」を発表しました。この論文はNLP分野における破壊的革新であると言える。

論文アドレス: https://arxiv.org/pdf/1706.03762.pdf

再帰構造を完全に放棄し、アテンションメカニズムに依存し、入力と出力の関係を探索することで並列コンピューティングを実現します。

「Transformer フレームワークを使用すれば、RNN を完全に廃止できるのか?」と尋ねる人もいました。

写真

JimFan が、Transformer はもともと翻訳の問題を解決するために設計されたと言ったことは間違いありません。

その年に Google が公開したブログでは、Transformer は言語理解のための新しいニューラル ネットワーク アーキテクチャであると説明されていました。

写真

https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html

具体的には、Transformer は入力、エンコーダー、デコーダー、出力の 4 つの部分で構成されます。

入力文字はまず埋め込みによってベクトルに変換され、位置エンコーディングによって位置情報が追加されます。

次に、マルチヘッドセルフアテンションとフィードフォワードニューラルネットワークのエンコーダーとデコーダーを使用して特徴を抽出し、最終的に結果を出力します。

下の図に示すように、Google は機械翻訳で Transformer がどのように使用されるかの例を示しています。

機械翻訳用のニューラル ネットワークは通常、文を読み取って表現を生成するエンコーダーで構成されます。白抜きの円は、Transformer によって各単語に対して生成された初期表現を表します。

次に、自己注意を使用して、他のすべての単語からの情報を集約し、コンテキスト全体の各単語の新しい表現を生成します。これは、実線の円で表されます。

次に、このステップはすべての単語に対して並行して複数回繰り返され、新しい表現が 1 つずつ生成されます。

写真

同様に、デコーダーのプロセスも似ていますが、左から右に一度に 1 つの単語を生成します。以前に生成された他の単語だけでなく、エンコーダーによって生成された最終的な表現にも注目します。

2019年にGoogleもこれに関する特許を申請した。

写真

それ以来、Transformer は自然言語処理の分野で復活を遂げてきました。

起源を遡ると、現在登場しているさまざまな GPT (Generative Pre-trained Transformer) はすべて、この 2017 年の論文から生まれました。

しかし、Transformer は NLP の学術コミュニティだけに衝撃を与えたわけではありません。

ユニバーサルトランスフォーマー: NLP から CV へ

2017 年の Google ブログで、研究者たちは Transformer の将来の応用の可能性について次のように語っています。

自然言語だけでなく、画像やビデオなどの非常に異なる入力と出力も関係します。

写真

そうです、NLP の分野で大きな波を起こした後、Transformer はコンピューター ビジョンの分野に「挑戦」するようになりました。実際、当時はトランスフォーマーがまたひとつ街を征服したと歓喜する人も多かった。

2012 年以降、CNN は視覚タスクに最適なアーキテクチャになりました。

より効率的な構造の出現により、Transformer を使用して CV タスクを完了することが新しい研究方向となり、構造の複雑さを軽減し、スケーラビリティとトレーニング効率を探求できるようになりました。

Googleは2020年10月に、畳み込みニューラルネットワーク（CNN）を使用せずにTransformerを直接使用して画像を分類できるVision Transformer（ViT）を提案しました。

写真

ViT のパフォーマンスは優れており、計算リソースが 4 分の 1 しかないにもかかわらず、最先端の CNN よりも優れていることは特筆に値します。

その直後の2021年、OpenAIはTransformerをベースに構築されたDALL-EとCLIPをリリースし、立て続けに2つの爆弾を投下した。

写真

これら 2 つのモデルは、Transformer の助けを借りて良好な結果を達成します。 DALL-Eはテキストをベースに安定した画像を出力できます。 CLIPは画像とテキストの分類を実現します。

その後、DALL-E の進化版である DALL-E 2 と Stable Diffusion も Transformer アーキテクチャに基づいて登場し、再び AI ペインティングを覆しました。

以下は、Transformer ベースのモデルのタイムライン全体です。

写真

これはトランスフォーマーがいかに強力であるかを示しています。