トランスフォーマーを完全に放棄し、八金剛の一人が新たなビジネスを始める！元Google Brainの責任者と協力し、自然にヒントを得た知能モデルを開発

本日、Transformer の 8 人の著者の 1 人である Llion Jones 氏は、元 Google Brain 科学者で Stability AI 研究のディレクターである David Ha 氏と協力し、新会社 Sakana AI の設立を正式に発表しました。

東京を拠点とするスタートアップ企業は、自然にヒントを得た知能に基づいた新たな基礎モデルを模索する。

公式サイトアドレス：https://sakana.ai/

Sakanaという名前は、「魚」を意味する日本語の「さかな」に由来しています。

彼らのアイデアは、「単純なルールから魚の群れを集めて一貫した存在を形成する」というものです。

さらに一歩進むと、進化と集合知があります。

現時点では、サカナAIはまだ非常に初期段階にあり、AIモデルを構築しておらず、オフィスもなく、資金調達状況も公開されていません。

しかし、企業理念にせよ、起業の拠点の選択にせよ、このスタートアップ企業は異なるアプローチを取ろうとする兆しを見せている。

Transformerを放棄し、新しいモデルに焦点を当てる

さまざまな大手企業の大規模言語モデルが極めて強力に進化した現在、なぜ 2 人の創設者は依然として独自の大規模モデルを作りたいと考えているのでしょうか。明らかに、彼らは独自のユニークなアイデアを持っています。

ジョンズ氏とハ氏の見解では、現在の大規模言語モデルの限界は、橋や建物のように脆弱で不変の構造として設計されていることにある。

対照的に、自然システムでは集合知が働いています。このシステムは周囲の世界の変化に非常に敏感であり、環境に適応してその一部となります。

彼らは、これらの進化的コンピューティングの原理を使用して AI モデルを構築し、システムコストとセキュリティの問題を解決したいと考えています。

デビッド・ハ氏は、機械学習エンジニアのメンテナンスと監視の作業時間を大幅に短縮できる新しいタイプの人工知能モデルを開発していると語った。

サカナAIラボは、ジョーンズ氏のトランスフォーマーに関する画期的な研究に依存していませんでした。

ご存知のとおり、Transformer は OpenAI などのテクノロジー企業が使用する機械学習モデルであり、生成 AI で大きな成果を上げています。

Sakana AIでは、その名前が示すように、共同創設者は「自然にヒントを得た知性」に基づいた新しい基礎モデルを作成したいと考えています。

「自然にヒントを得た知能」というと、60 年代のマリファナ映画から出てきたような話のように聞こえるかもしれないが、この概念は人工知能研究において長い歴史を持っている。

ジョーンズ氏によると、このアイデアは、段階的に設計しなければならないソフトウェアではなく、学習して解決策を探すソフトウェアを作成することだという。

ChatGPT のような AI モデルは、ジェイルブレイクされる傾向があります。この影響を防ぐには、開発者はモデルを手動で更新する必要があります。

リオン・ジョーンズ氏とデビッド・ハ氏は、自分たちのモデルを環境に適応させることを構想しました。

例えば、ハ氏は以前、困難な状況でもタスクを実行できる人工知能モデルである「順列不変ニューラルネットワーク」を研究していた。視覚的な入力の一部が失われたり、乱れたりした場合でも、シミュレーションで車を運転することは可能です。

自己紹介によると、自然に触発された知性はハ氏のキャリアにおけるテーマとなっている。

彼は、順列不変ニューラル ネットワークに関する研究に加えて、周囲の環境からデータを収集し、人間に似た環境心理モデルを構築することで、世界モデルの研究にも取り組みました。

競争の激しい戦場に参入

その結果、Sakana AI は独自の生成 AI モデルを構築し、テキスト、画像、コード、その他のソフトウェアを生成します。

GoogleやMicrosoftなどの大手企業だけでなく、OpenAI、Cohere、Character.ai、Anthropicなどのスタートアップ企業も参入しており、この分野での競争が熾烈であることは間違いありません。

しかし、この分野にも十分な資金が投入されています。

マイクロソフトは今年OpenAIに100億ドルを投資しており、CohereとCharacter.aiも過去数か月間にそれぞれ20億ドルと10億ドルの評価額で資金調達に成功している。

なぜ日本なのか

しかし、サカナアイの本社は日本にあり、スタートアップの所在地としては少々珍しい選択です。

創業者は、長年日本で働いてきたが、特に北米では生成AIソフトウェア構築の市場が競争が激しすぎるため、東京を本社に選んだと説明した。

東京には高品質の技術インフラとよく教育された労働力があり、AI企業の発展に独特の条件が整っています。

「結局のところ、非西洋文化でうまく機能するモデルを構築し、それに基づいてデータをトレーニングすることが、次の技術的ブレークスルーのきっかけとなるでしょう。」

さらに、Google などの企業の AI 研究者は最近、既存の技術の商業化に注力しており、より最先端の研究を行う余地が少なくなっています。

しかし、研究のための研究こそが、Sakanaの共同創業者たちが貫いている信念であり、それが会社の本社を東京に置くことにした理由の一つでもある。

二人の創設者

デビッド・ハ

デビッド・ハ氏がサカナAIのCEOに就任します。

2016 年、David Ha は Google Brain に入社し、機械学習分野の業務を担当しています。

6年4ヶ月という長い期間を経て、2022年10月にStability AIの研究責任者として入社しました。

彼は以前、東京大学で博士号を取得し、トロント大学で学士号を取得しました。

興味深いことに、今年6月にStability AIを退職した後、David Ha氏自身が「ようやくぐっすり眠れる時間ができた」とツイートした。

リオン・ジョーンズ

リオン・ジョーンズがCTOを務めます。

彼の最も有名な作品は、2017 年に Google チームと共同で出版された「Attention Is All You Need」です。

リオン・ジョーンズは、Google を去った 8 人の著者の中で最後の人物でした。彼の退任により『トランスフォーマー』は終焉を迎える。

先月、ブルームバーグは、トランスフォーマーの唯一の著者であるリオン・ジョーンズ氏が7月末にグーグルを退社し、自身のビジネスを立ち上げると発表したというニュースを初めて報じた。

当時、具体的な起業情報は明らかにされていませんでした。しかし、David Ha もこのメッセージを転送しました。

ジョーンズ氏はこう語った。

Google を辞めることは簡単な決断ではありませんでした。私は Google で素晴らしい 10 年を過ごしましたが、何か違うことに挑戦する時期が来ていました。 AI 分野の勢いと進歩を考えると、今は何か新しいものを構築する絶好の機会です。

リオン・ジョーンズは 2015 年 6 月に Google に入社し、8 年間勤務しています。彼は以前、YouTube と Delcam で働いていました。

彼はバーミンガム大学でコンピューターサイエンスの学士号と修士号を取得しています。

これまでのところ、ジョーンズの Google Scholar ホームページで最も引用されている論文は、2017 年に発表された「Attention Is All You Need」で、81,266 回引用されています。