ベンジオのチームはネイチャー誌に「科学のためのAIの4つの側面」という記事を発表し、国境を越えたAIの核心的な課題についても議論した。

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

最近、ヨシュア・ベンジオ氏がチームを率いて、10年にわたる国境を越えた人工知能ショーを発表しました。

データ収集からモデル構築、実験設計からプロセス制御まで、国境を越えた AI は科学研究のやり方を変え、科学的発見の原動力になりつつあります。

科学的実践は科学研究の段階によって異なりますが、AI の開発は従来は孤立していた分野にまたがっています。

たとえば、素粒子物理学の実験では、毎秒生成される膨大な量のデータを処理して保存するのは困難です。AI モデルは異常検出アルゴリズムを使用して、リアルタイム ストリームでまれなイベントを見つけ、ストレージの負荷を大幅に軽減できます。

バイオインフォマティクスの分野では、AI は大量のラベルのない遺伝子配列に機能的な注釈を割り当て、後続のモデルのトレーニングを支援することができます。

AI は、仮説形成、実験設計、データ収集、分析など、科学的発見のあらゆる段階に統合され、多くの科学分野での研究発見を可能にしています。

ヨシュア・ベンジオ氏が主導した論文「人工知能時代の科学的発見」では、研究者らが自己教師学習、幾何学的深層学習、生成型人工知能などの技術の科学研究への応用を詳しく説明し、国境を越えたAIに依然として存在する核心的な問題を提起した。この論文はネイチャー誌のレビュー記事に掲載されている。

専門家が AI を科学のためにどのように要約しているかを見てみましょう。

過去10年間の科学的発見におけるAI

この論文では、研究者らは、AI 支援による科学研究データの収集と整理、意味のある科学データ表現の学習、AI を使用した科学的仮説の生成、AI 駆動型の実験とシミュレーションなど、いくつかの側面から近年の科学研究における AI の応用について説明しています。

AI支援による科学研究データの収集と整理

科学的発見や理論の形成は、データの収集、変換、理解に基づいています。過去 10 年間、AI はデータの選択、ラベル付け、生成、精製に広く使用されてきました。

データ選択の点では、科学実験で収集されるデータセットのサイズと複雑さが増大し続けるにつれて、科学研究では、データを選択的に保存および分析するために、リアルタイム処理と高性能コンピューティングにますます依存するようになっています。

典型的な例は粒子衝突実験であり、1 秒あたり 100 TB を超えるデータが生成され、データの転送と保存に大きな課題が生じます。

このタイプの物理実験では、生データの 99.99% 以上が、リアルタイムで検出して破棄する必要があるバックグラウンド イベントです。

科学研究のための稀なイベントを識別するために、ディープラーニングのアプローチでは、事前にプログラムされたハードウェア イベント トリガーを、異常な信号を検索し、見逃される可能性のある稀な現象を検出するアルゴリズムに置き換えます。

この教師なし手法はラベル付けされたサンプルを必要とせず、物理学、神経科学、地球科学などの分野で広く使用されています。

データ注釈の点では、教師あり学習モデルのトレーニングには、教師情報を提供するために大量のラベル付きデータセットが必要ですが、科学研究データのラベル付けには非常に時間がかかり、労力がかかります。

AI の追加により、半教師あり学習法を使用して、大規模なラベルなしデータセットに自動的に注釈を付けるオプションが提供されます。

（１）疑似ラベル付け：事前学習済みモデルを使用してラベル付けされていないサンプルの疑似ラベルを生成し、これらの疑似ラベルを使用して後続の予測モデルを学習します。

（２）ラベル伝播：特徴埋め込みに基づいてサンプル類似度グラフを構築し、既存のラベルをラベルなしサンプルに伝播する。

（３）能動学習：人間が注釈を付けた最も有益なデータポイントを識別したり、実行する最も有益な実験を決定したりすること。

データ生成の面では、トレーニング データの品質、多様性、規模を向上させることで、ディープラーニングのパフォーマンスを向上させることができます。

この記事で言及されている合成データ拡張方法は主に 2 つあります。

（１）自動データ拡張：自動データ拡張戦略は手動で設計されるか、強化学習法を使用して発見されます。

（２）深層生成モデル：基礎となるデータ分布を学習し、最適化された分布から新しいトレーニングポイントをサンプリングすることができます。

生成的敵対的ネットワーク (GAN) は科学的な画像合成に有益であることが示されており、さまざまな分野でリアルな画像を合成できます。

さらに、データ生成モデルをコンピュータプログラムで表現する確率的プログラミングは、新たなプログラム可能な生成モデリング手法として注目されています。

現在、生成されたデータは、素粒子物理学、病理切片、X線、MRI、材料の微細構造、タンパク質機能などの分野で広く使用されています。

データの精製に関しては、超高解像度レーザーなどの高精度機器が現実世界の物体を直接的または間接的に測定し、非常に正確なデータを生成することができます。

AI 技術の使用により、測定解像度が大幅に向上し、ノイズが低減し、エラーが排除されます。

たとえば、深層畳み込みネットワークは、低空間時間解像度の低品質データを、高品質で超解像度の構造化された画像に変換できます。

ノイズ除去オートエンコーダは、高次元の入力データを基本機能のよりコンパクトな表現に投影することができ、変分オートエンコーダ (VAE) は潜在オートエンコーダを通じてランダム表現を学習し、基本データ機能を保持しながら非基本変動要因を無視します。

科学実験における応用例としては、ブラックホールなどの時空領域の視覚化、物理粒子の衝突の捕捉、生きた細胞の画像の解像度の向上などが挙げられます。

科学的データの意味のある表現を学ぶ

ディープラーニングは、さまざまな抽象化レベルで科学データの意味のある表現を抽出し、エンドツーエンドの学習を通じてこれらの表現を最適化して研究を導くことができます。

良いプレゼンテーションは簡潔で、できるだけ多くの情報を保持するものであるべきです。科学的に意味のある表現は、コンパクトで、微分可能で、分離可能であり、下流のタスクに一般化可能である必要があります。

研究者らは、これらの要件を満たすために、幾何学的事前分布、自己教師学習、言語モデリングという 3 つの新しい戦略を導入しています。

1. 幾何事前分布

幾何事前分布の適用により、データの幾何学的および構造的特性を効果的に捉えることができ、これは科学分野で特に重要です。

重要な概念の 1 つは対称性です。これは不変性と等変性の観点から説明でき、一連の変換の下で数学関数がどのように動作するかを説明するために使用されます。

たとえば、分子系の二次構造、溶媒のアクセシビリティ、残基のコンパクトさ、水素結合パターンなどのいくつかの重要な構造特性は、空間方向で不変です。

科学的画像解析では、オブジェクトは画像内で移動されても変化しません。つまり、画像セグメンテーション マスクは入力ピクセルを移動するときに同等に変化するため、移動等価であると言えます。

対称性などの要素をモデルに組み込むことで、スパースにラベル付けされたデータセットを持つ AI アプリケーションを改善できます。モデルのトレーニング中に遭遇した入力とは大きく異なる入力に対する予測の外挿は、トレーニング サンプルの数を増やすことで改善できます。

グラフ ニューラル ネットワークは、基礎となる幾何学的構造と関係構造を持つデータセットのディープラーニングにおける主要なアプローチの 1 つになりました。

幾何学的ディープラーニングは、ローカライズされたグラフ情報または変換グループ情報を明示的に活用し、ニューラル メッセージ パッシング アルゴリズムを通じて関係パターンを学習します。

2. 自己教師あり学習

ラベル付きデータが不十分な場合、教師あり学習だけに頼るのは不十分です。ラベルなしデータを使用すると、モデルのパフォーマンスと学習能力が向上します。

自己教師学習では、ラベルのないデータを使用して一般的な特徴を学習します。主な戦略は次のとおりです。

• 画像の遮蔽領域を予測する
• ビデオの前のフレームと次のフレームを予測する
• 対照学習により、モデルは類似したデータポイントと類似しないデータポイントを区別できるようになります。

自己教師学習では、大規模なラベルなしデータの特徴を捉えるようにモデルを事前トレーニングし、その後、小規模なラベル付きデータで微調整することができます。

3. 言語モデル

言語モデリングは、自然言語や生物学的配列の特徴を学習するために使用できる、一般的な自己教師学習方法です。

トレーニング中の主な目標はシーケンス内の次のトークンを予測することですが、マスクベースのトレーニングでは、自己教師タスクは双方向シーケンス コンテキストを使用してシーケンス内のマスクされたトークンを回復することです。

原子やアミノ酸の配置は、文字が単語や文章を形成する方法に似ており、分子の構造と生物学的機能を定義します。タンパク質言語モデルは、アミノ酸配列をエンコードしてその構造的および機能的特性を捉え、変異体の進化的適応度を評価することができます。

これらの表現は、配列設計や構造予測などのさまざまなタスクに転送できます。生化学配列を処理する場合、化学言語モデルは、特性の予測、合成プロセスの計画、化学反応の可能性の探索のために、広大な化学空間を効果的に探索できます。

ここで、Transformer アーキテクチャについて触れておく必要があります。このアーキテクチャは、任意のトークン ペア間の相互作用を柔軟にモデル化することでトークン シーケンスを処理でき、リカレント ニューラル ネットワークを使用したシーケンス モデリングの初期の試みを上回っています。

自然言語処理の分野では、Transformer が主要な地位を占めており、地震信号の検出、DNA およびタンパク質配列のモデリング、配列変異が生物学的機能に与える影響のシミュレーション、記号回帰などの一連の問題にうまく適用されてきました。

AIを使って科学的仮説を生成する

検証可能な仮説は科学的発見の中心です。それらは数学の記号表現、化学の分子、生物学の遺伝子変異などから生まれます。

しかし、そのような意味のある仮説を思いつくには長い時間がかかるかもしれない。ヨハネス・ケプラーが惑星運動の法則の発見につながる仮説を思いつくまでに、恒星と惑星のデータを分析するのに 4 年を費やしたのと同じだ。

AI は、いくつかの方法で科学的仮説の生成に役立ちます。

（１）ブラックボックス予測子：候補仮説の高スループットな迅速なスクリーニングとその後の検証のための価値のある仮説の選択。

（２）組み合わせ仮説空間のナビゲート：強化学習を使用して各探索の報酬を評価し、最も有望な仮説要素に焦点を当てる。

（３）微分可能仮説空間の最適化：離散仮説空間を連続微分可能空間にマッピングして最適化する。

これらの AI 手法は、科学的仮説の生成、評価、選択のための強力な新しいツールを提供します。

AIを活用した実験とシミュレーション

実験を通じて科学的仮説を評価することは科学的発見にとって不可欠ですが、実験にはコストがかかります。

AI技術は、実験パラメータ設定やステップ設計などを最適化し、不要な実験を減らし、リソースの利用効率を向上させることができます。

強化学習は、リアルタイムのフィードバックに基づいて実験の方向を動的に調整し、実験の成功率と安全性を最大化できます。

計算シミュレーションは、実際には実現が難しい状況を調査することで実験を補完することができます。しかし、これは人為的に設定された単純化されたパラメータとヒューリスティックな方法に依存しており、精度と効率に限界があります。

しかし、ディープラーニングの登場により、効率的なテストのために仮説を特定して最適化し、コンピューターシミュレーションで観察結果を仮説にリンクできるようにすることで、これらの問題に対処できるようになりました。

これらの AI 主導の実験最適化および計算シミュレーション手法は、量子物理学、化学合成、核融合炉制御などの分野でその価値を実証しています。

AIの国境を越えた取り組みは大きな課題に直面

この記事は、科学的発見において AI が直面する課題についても議論していることも特筆に値します。

人工知能システムは、科学者が新しい知識を発見する上で重要な補助となる可能性がありますが、潜在的な安全上のリスクも伴います。

例えば、科学データには不完全性や偏りなどの問題があり、標準化する必要があり、データのアクセシビリティやプライバシーも考慮する必要があります。モデルとデータの標準化も必要です。

第二に、分布シフトは、モデルの一般化能力を強化することを必要とする中核的な問題です。マルチモーダルな科学データの処理には依然として課題が残っています。科学的知識と原理を体系的に統合する方法についても、さらなる研究が必要です。モデルの解釈可能性と信頼性を高めることも重要です。

さらに、AI専門家の不足とコンピューティングリソースの膨大な需要により、産業界と学界のさらなる協力が求められています。科学者はAIの適用可能性を習得し、倫理的な審査プロセスを確立する必要があります。

研究者たちは次のように考えている。

AI ツールを誤って適用したり、その結果を誤って解釈したりすると、重大な悪影響が生じる可能性があります。これらのリスクは、アプリケーションの範囲が広いためにさらに複雑になります。

しかし、AI の誤用は技術的な問題だけではなく、AI イノベーションを主導し、AI 実装に投資する人々の動機にも左右されます。 AI の範囲と適用性の包括的なレビューを含む、倫理的なレビュー プロセスと責任ある実装戦略を確立することが重要です。

チームについて

チームを率いるヨシュア・ベンジオ氏に加え、3 人の中国人著者も大きな注目を集めました。彼らは次のとおりです。

ハンチェン・ワン

スタンフォード大学とジェネンテックの共同ポスドク研究員、ケンブリッジ大学で機械学習の博士号を取得。

ティエンファン・フー

彼はイリノイ大学アーバナ・シャンペーン校のコンピュータサイエンス学部の博士研究員であり、ジョージア工科大学の計算科学および工学部で博士号を取得しました。

杜元琦

コーネル大学でコンピュータサイエンスの博士課程に在籍し、2021年にジョージメイソン大学でコンピュータサイエンスの理学士号を取得しました。

ポータル: https://www.nature.com/articles/s41586-023-06221-2 (論文リンク)