重力波検出からRNAシークエンシングまで、AIが科学的発見を加速させる方法

[[433235]]

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。

ますます複雑化する実験と増大す​​るデータにより、科学的探究に新たな課題が生じています。実験により、機械学習、特にディープ ニューラル ネットワーク アーキテクチャの汎用性により、さまざまな複雑な問題を解決できることが実証されています。ImageNet などの大規模なデータセットの急増により、さまざまなディープラーニング手法が徹底的に探究されるようになりました。

このレビュー論文は、機械学習と実験設計の統合と、それがデータ処理を加速し、リアルタイムの意思決定を行うことでどのように主要な科学的問題を解決できるかに焦点を当てています。

過去数年間、機械学習における多くの進歩は、異種コンピューティング ハードウェア、特にグラフィックス プロセッシング ユニット (GPU) の使用から生まれ、大規模な機械学習アルゴリズムの急速な進歩を可能にしました。大規模なデータセットでトレーニングされた AI モデルは、すでに複雑なタスクを実行できます。同時に、計算​​量を削減しながら高速で効率的なトレーニングを実現する新しいディープラーニング アルゴリズムが、ますます頻繁に登場し始めています。

強力な機械学習技術と実験設計を組み合わせることで、科学的発見までの時間を短縮できます。リアルタイム機能の埋め込みから、分散ネットワークやコンピューティング データ センターにわたる大規模な機械学習まで、さまざまな科学的応用実験で大きな進歩を遂げています。ただし、効率的なソリューションを実現するには、ドメインの専門家、機械学習の研究者、コンピューター アーキテクチャ設計者間の連携が依然として必要です。

機械学習ツールがより洗練されるにつれて、言語翻訳や音声認識などの複雑な問題を解決するための大規模モデルの構築に新たな焦点が当てられるようになり、幅広い科学的アプリケーションに急速に恩恵をもたらしています。これらのアプリケーションはすでに多様化しており、粒子の衝突や重力波の合体​​の特定など、リアルタイムでイベントを分類する AI の能力や、プラズマや粒子加速器からのフィードバック メカニズムの応答制御などのシステム制御など、AI の利点をより有効に活用するために科学的手法を適応させる方法を人々が理解する必要がある。これらすべてのケースにおいて、機械学習は設計目標によって推進されます。

記事の長さを考慮して、レビューレポート全体を 3 つの部分に分けて紹介します。第 1 部では、機械学習が幅広い科学的問題をどのように探求するか、第 2 部では、破壊的技術としての機械学習がデータ処理方法をどれだけ速く変えるか、そして一般的なデータ表現と実験手順は何かを説明します。 3つ目は、アルゴリズム設計からシステムアーキテクチャのハードウェアまで、機械学習の全体的な設計です。

1.機械学習の応用：基礎物理学、医療工学からエッジコンピューティングまで

科学的エコシステムの規模が急速に拡大するにつれて、データ処理と新しいパラダイムをシステム設計レベルに統合する必要があります。複雑なデータ処理プロセスの研究を通じて、著者らは、機械学習の実装は分野やアーキテクチャによって大きく異なる可能性があるが、基礎となるデータ表現と統合された機械学習の要件は依然として類似していることを発見しました。このレポートには、既存の技術と将来のニーズを網羅した科学分野における多数の応用事例が掲載されています。次に、物理学、生体医学工学、無線ネットワークとエッジコンピューティングの 3 つの分野における機械学習アプリケーションの現状と課題に焦点を当てます。

基礎物理学

アインシュタインが 1916 年に予測したように、重力波は一般相対性理論において時空計量の変化として現れ、光速で時空構造を伝播します。たとえば、米国のレーザー干渉計重力波観測所 (LIGO)、欧州の Virgo 重力波検出器、日本の神岡重力波検出器 (KAGRA) はすべて、キロメートル規模のレーザー干渉計ネットワークを使用して重力波を検出します。

重力波は、強い場における一般相対性理論の検証、重力波の伝播速度と分極、原子核密度における物質の状態、ブラックホールの形成、量子重力効果など、基礎物理学研究に独自の方法を提供します。これは、電磁気天文学やニュートリノ天文学と相補的な方法で宇宙を観測するための新しい窓を開きます。今後の観測では、LIGO、Virgo、KAGRA が検出する重力波バックアップの数が増えることになりますが、これは、シミュレーションからのパラメータ化された波形 (テンプレート) を重力波の時系列データに一致させる必要があるマッチド フィルタリング技術に依存する現在の検出フレームワークにとって、計算上の課題となります。

低周波数での機器の感度が増加し、重力波探索のパラメータ空間がスピン効果や低質量コンパクトオブジェクトを含むように拡大するにつれて、整合フィルタのスケーリングは低下します。重力波の物理的特性を推定するために、これまでランダムベイズ事後サンプラー（マルコフ連鎖モンテカルロ法やネストサンプリングなど）が使用されてきました。これらの分析方法は完了するまでに数時間から数日かかることがあり、検索とパラメータ推定によっても避けられない遅延が生じ、その結果、連星、超新星、その他の未知のシステムなど、時間に敏感なソースの電磁気追跡が妨げられる可能性があります。

さらに、重力波の過渡現象の観測は、環境ノイズや機器ノイズの影響も受けます。特に重力波のトランジェントが未知の形態（超新星、中性子星のグリッチなど）を持つ場合、トランジェントノイズアーティファクトが潜在的な発生源として誤認される可能性があります。機器のノイズ スペクトル内の線ノイズは、連続的な重力波 (回転する中性子星など) と確率的な重力波 (未解決のコンパクトな連星系からの重力波の天体物理学的背景など) の両方の探索に影響します。これらのノイズ源はシミュレートするのが難しく、現在のノイズ除去技術では、ラインノイズや非定常ノイズ源などのより複雑なノイズ源を除去するのに十分ではありません。

近年、重力波物理学のさまざまな分野で機械学習アルゴリズムが研究されてきました。畳み込みニューラル ネットワークは、バイナリ ノットからの重力波、超新星コアの崩壊からの爆発的な重力波、および連続重力波の検出と分類に適用されています。リカレント ニューラル ネットワーク (RNN) のオートエンコーダーは、教師なし戦略を使用して重力波を検出します。FPGA リカレント ニューラル ネットワークは、低遅延の重力波検出に可能性を示しています。

さらに、確率的生成機械学習モデルが重力波パラメータ推定の事後サンプリングに使用され、シミュレートされたデータに対するベイジアンサンプラーと同等のパフォーマンスを実現し、完了時間を大幅に短縮します。機械学習アルゴリズムは、重力波データの品質を向上させ、ノイズを減らすためにも使用されています。過渡ノイズアーティファクトは、時間周波数変換と定数 Q 変換によって、または LIGO の補助チャネルを調べることによって識別および分類できます。

機械学習アルゴリズムは重力波データ分析において大きな可能性を示していますが、その多くはまだ概念実証段階にあり、リアルタイム分析にはまだうまく適用されていません。現在、低レイテンシ分析のための計算インフラストラクチャを作成し、トレーニング データの品質を向上させ (たとえば、パラメーター空間を拡張し、より現実的なノイズ モデルを使用する)、より長いデータ範囲でこれらのアルゴリズムのパフォーマンスをより適切に定量化するための取り組みが必要です。

生体工学

高解像度および高スループットのバイオメディカル機器の進歩により、バイオメディカル画像、ゲノム配列、タンパク質構造などのバイオメディカルデータが爆発的に増加しています。細胞画像を自動的に分析し、細胞をリアルタイムで特徴付けることができる AI 拡張現実顕微鏡など、さまざまな機械学習アルゴリズムが医療の現場で広く使用されています。蛍光マーカーのシミュレーション予測、ラベルフリーの希少細胞分類、形態学的特性評価、および RNA 配列決定のための機械学習。ディープラーニング モデルのデータ構造により、原位置での細胞選別、リアルタイムの治療反応予測、拡張現実顕微鏡支援診断の速度と効率も大幅に向上します。

現在、機械学習の臨床応用が直面している主な課題は、トレーニングおよびテスト データの不足です。医療データの注釈付けプロセスは、専門知識を必要とする非常に大規模な画像やビデオのデータセットの場合、時間がかかり、コストもかかります。トレーニングされたモデルでの推論の遅延により、リアルタイムの診断や外科​​手術の計算も困難になりますが、時間重視の医療のサービス品質には、リアルタイムのビデオ通信と同様に 300 ミリ秒未満が必要です。 60 フレーム/秒 (FPS) で高品質の医療ビデオを実現するには、ディープラーニング モデルの効率とパフォーマンスが重要になります。

推論の精度と速度は、機械学習アルゴリズムで改善する必要がある主な側面です。一部の高度な機械学習モデルでは、非常に高い推論速度を実現できます。たとえば、医療用画像処理でよく使用される物体検出モデルであるYOLOv3-tinyは、標準データセットで200 FPSを超える速度で画像を処理できます。また、GPUとFPGAに基づく分散型無線センサーネットワークや、5G高速Wi-Fiに基づく機械学習モデルは、医療用AIアプリケーションに導入されています。脳卒中、血栓症、大腸ポリープ、がん、てんかんなどの迅速な診断のための機械学習モデルにより、病変の検出と臨床上の意思決定にかかる時間が大幅に短縮されました。リアルタイムの AI 支援手術により、周術期のワークフローが改善され、ビデオのセグメンテーション、手術器具の検出、組織変形の視覚化が可能になります。高速機械学習は、遠隔診断、手術、モニタリングなどのデジタルヘルス分野で重要な役割を果たします。

ワイヤレスネットワークとエッジコンピューティング

ワイヤレス デバイスとサービスは、多くの科学的研究においてビッグ データを収集および配信するための重要なツールとなっています。さらに、モビリティ情報は、人間の活動とそれが環境や公衆衛生に与える影響を理解する上で有用であることが証明されています。データ トラフィックの急激な増加により、ワイヤレス インフラストラクチャに多大な負担がかかっています。特に、セル間干渉は信頼性と遅延に大きな影響を与えます。データ通信と付加価値のある AI/機械学習サービスに対するユーザーの需要を満たすために、ワイヤレス プロバイダーは、1) 複雑で変化するトラフィックと干渉の状態に適応するためのよりスマートな無線リソース管理学習アルゴリズムを開発し、2) エッジ デバイスに大量の機械学習/AI コンピューティングと機能を実装して、遅延の低減と通信効率の向上を実現する必要があります。

従来の機械学習モデルの実装、特にディープラーニング アルゴリズムは、ユーティリティのパケット レベルのダイナミクスに比べて大幅に遅れています。効率性を向上させるために、既存の機械学習/AI サービスはクラウドで実行されることが多いですが、通信のオーバーヘッドが大きく、レイテンシが長くなるというデメリットがあります。ワイヤレス ネットワークとエッジ コンピューティングが直面している主な課題は、スモール セル アクセス ポイント内で 10 ミリ秒未満の低遅延で複雑なタスクを実行できるコンピューティング プラットフォームを構築する方法です。

研究者たちは、ニューラル ネットワークを通じて特定の無線リソース管理タスクを完了することを期待して、多くの学習アルゴリズムを提案してきました。電力伝送を制御するために最初にトレーニングされたニューラル ネットワークでは、教師あり学習が使用されました。最近、深層強化学習は経路とネットワークの不確実性の問題をより良く改善することができ、少量の事前トレーニングデータのみを必要とすることが提案されています。

その後、エッジコンピューティングとディープラーニングの統合に焦点を当てた研究が多く行われるようになりました。一部の研究者は、トレーニングのためにすべてのデータを中央コントローラーに送信する代わりに、フェデレーテッド ラーニングを使用して AI モデルをトレーニングしています。高速かつ効率的な実用的な ML/AI ソリューションが不足しているため、上記の作業は基本的にシミュレーション段階にとどまっています。具体的には、複雑な ML モデルを 10 ミリ秒未満で実行でき、スモール セル アクセス ポイントに展開できるコンピューティング プラットフォームを開発することが、現段階での主な目標です。

2.データ処理の3つの主な形式

リアルタイムで加速された AI 推論は、現在および将来の科学機器の検出機能を向上させる可能性を秘めています。高性能な AI システムを設計するには、推論の遅延、計算コスト、信頼性、セキュリティ、過酷な環境での動作能力などによって影響を受ける可能性のある、対象ドメインの機械学習アルゴリズムのパフォーマンス係数に重点を置く必要があります。たとえば、機械学習は、100 ナノ秒の遅延を必要とする大型ハドロン衝突型加速器の稀少イベント取得システムをトリガーするために使用されます。

さらに、高度な科学機器によるリアルタイム分析では、コンピューティング リソースを中断することなく割り当てる必要があり、機密性の高い患者情報を処理する無線医療機器は機密性を維持する必要があります。上記の特性と機能は、ドメインとアプリケーション間の違いと共通点を区別するための定量化可能な基準を提供します。これらのガイドラインは、さまざまな科学分野のさまざまなニーズに対応できます。適切なデータ表現は、モデルの適用シナリオを決定できるため、設計プロセスにおける重要なステップであり、最初のステップでもあります。

データ表現

特定のドメインでデータが表現される方法は、コンピューティング システムとデータ ストレージの両方に影響を与えます。国際的に、クロスドメインデータ表現は、元のデータと再構築されたデータに分けられます。データ表現は、再構築フェーズとデータ処理パイプラインの上流ステップ間で異なることがよくあります。データが画像の性質を持つ場合、完全接続 CNN モデルを含む既存のアプリケーションは通常、前処理された熟練した特徴変数を入力値または CNN モデルとして受け取ります。既存の CNN アルゴリズム開発の成果は、変数の精度と効率の恩恵を受けています。

CNN モデルのパワーを最大限に活用し、情報損失を最小限に抑えるには、さまざまな実験システムや測定システムの生データから明確に導き出せるポイント クラウドなどの適切な生データ表現が必要です。

• 空間データ:幾何学的空間内の物理オブジェクトを記述するために使用されます。主なタイプには、ベクターデータとラスターデータの 2 つがあります。ベクター データは、点、線、またはポリゴンで構成できます。ラスター データは、ピクセルで構成されたグリッドを指し、ピクセルは、画像または強度、電荷、電界強度などの他の値として相互に表されます。

• ポイント クラウド:空間データ タイプ。このデータ表現は、通常は空間内でオブジェクトを形成する一連の空間データ (つまり、3 次元空間内のポイント) を配置することによって作成されます。

• 時系列データ:特定の時間におけるシステム/実験の状態を表すために使用されます。一定期間にわたって収集されたデータは、特定の順序で分類されます。時系列データは上記の表現のサブセットであり、データは一定の時間間隔でサンプリングされます。

• 時空間データ:システムは空間と時間の 2 つの次元で測定および観察できます。この場合、データは時空間的なものとして考えることができます。

• マルチスペクトル データ:電磁スペクトル全体の複数のバンドから測定値を取得する複数のセンサーからの出力を表すために使用される用語。マルチスペクトル表現はイメージングでよく使用され、異なる光の波長を区別できるセンサーに関連しています。通常、数個から数十個のスペクトルが関係します。

• ハイパースペクトル データ:多数のスペクトル (例: 100 個) から取得した測定値を表すために使用されます。さまざまな狭帯域スペクトルから収集されたこれらの画像は、3 つの主な次元を持つハイパースペクトル キューブに結合されます。最初の 2 つの次元は 2 次元の空間位置 (地球の表面など) を示し、3 番目の次元は各「ピクセル」位置の完全なスペクトル内容を表します。

ポイントクラウド

点群データの表現は、高エネルギー粒子の分野では一般的な概念です。高エネルギー粒子の分野では、多数の検出器によって収集された測定データが 1 つのデータセットに統合されます。多くの高エネルギー粒子アプリケーションでは、データ サイズが 1Pb/s を超える粒子ジェットを表すためにポイント クラウドがよく使用されます。簡単に言えば、ポイント クラウドは、あらゆる 3 次元空間イベントや空間内の移動部分の相互作用をキャプチャするために使用できます。

陽子間の衝突の残骸は、カスタマイズされ最適化された検出器で信号を生成し、空間内の点として現れます。スキャン後のあらゆる種類の画像データは、ポイント クラウドの形式で表示できます。バイオメディカル エンジニアリングやバーチャル リアリティにおける CT スキャンや PET スキャンでも、イメージングにポイント クラウドが使用されます。製品設計、物理オブジェクト モデリング、建築およびインフラストラクチャ設計用の 3D スキャナーもあります。

上記の画像処理タスクのほとんどは、GB から TB の順に、対応するサイズのポイント クラウドを生成します。ポイントクラウド表現を共有するドメイン (高エネルギー粒子や生物医学画像など) にも空間特性が含まれます。

マルチ/ハイパースペクトルデータ

マルチスペクトル データは、ワイヤレス医療モニタリングおよびワイヤレス通信システムに広く普及しています。通常、異なるモダリティを表す一連の生理学的センサーは、医療モニタリングおよび介入システムで使用するためにマルチスペクトル データセットに結合されます。無線通信では、信号干渉やネットワーク トラフィックの状態をキャプチャするために、マルチスペクトル データが使用されます。どちらの領域も時間にわたってデータをキャプチャするため、時間的な特性も示されます。

これら 2 つの領域で生成されるデータ サイズは、他の領域と比較して比較的小さい (100 Mb/s から 10 Gb/s の範囲) と考えられます。ハイパースペクトル データは、多くの天文学アプリケーション、医療用画像処理、電子顕微鏡で使用され、より多くの材料科学設計および発見アプリケーションを可能にします。

図 7 に示すように、ハイパースペクトル データは電子顕微鏡に表示されます。電子プローブは調査対象のサンプル上でラスター走査され、回折パターンがピクセル検出器でキャプチャされます。電子プローブがサンプルをスキャンすると、ピクセル検出器が画像をキャプチャします。新たなマルチメッセンジャー天文学アプリケーションにより、多数の検出器と望遠鏡からの観測を組み合わせたハイパースペクトル データ表現の有用性がさらに高まります。

3.低レイテンシ、高効率のMLアルゴリズムを実装する

著者は、効率的な機械学習アルゴリズムを構築するための技術と手法の簡単な概要を提供することに重点を置いています。ハードウェアを考慮しながら共同設計を実現するアルゴリズムを構築するには、ハードウェア プログラミングのための効率的なプラットフォームが必要です。これを実現するために、この記事は 3 つの部分で紹介されます。ハードウェアの効果的な適用を実現するためのニューラル ネットワークの設計とトレーニングに焦点を当て、機械学習ハードウェア コンピューティング プラットフォームを「従来の CMOS ハードウェア」と「新興のスーパー CMOS ハードウェア」の 2 つの部分に分けます。前者は短期的なハードウェアソリューションに対処し、後者はスペクトルの投機的な側面に焦点を当てます。

同時に、新しいハードウェアのプログラミングの分野は急速に発展しているため、著者は特定の例を使用して、デバイス ファミリであるフィールド プログラマブル ゲート アレイ (FPGA) が直面する選択と課題を説明します。著者は、読者が FPGA の詳細からソフトウェア設計の基本的な方法を理解できるようにしたいと考えています。この記事では、機械学習モデルを効率的に展開するための体系的なアプローチを簡単に紹介します。

科学における多くの機械学習の問題では、低レイテンシと限られたリソースが求められます。しかし、既存の高度な CNN モデルのほとんどは、非常に高いレイテンシ、大量のメモリ使用量、および高いパフォーマンスに悩まされています。上記の理由により、実務者はこの遅延の問題を回避するために、理想的ではない精度を持つ次善のモデル (浅い CNN など) を使用せざるを得ません。上記の遅延問題を解決することで CNN モデルの有効性を向上させることに焦点を当てた論文が多数ありますが、大まかにまとめると次のようになります。

• 新しい効率的な NN アーキテクチャを設計します。
• NN アーキテクチャとハードウェアの共同設計。
• 量子化（低精度推論）
• 剪定とスパース推論。
• 知識の蒸留。

この記事では、システムの設計とトレーニング、機械学習モデルの効率的な展開と適用など、高スループットかつ低レイテンシの環境での機械学習アルゴリズムの必要性について説明しています。ハードウェア アプリケーションに関しては、既存の従来の CMOS テクノロジーとスーパー CMOS テクノロジーの 2 つのカテゴリが主に議論されます。従来の CMOS の場合、ムーアの法則に基づいて機械学習用に設計された高度なハードウェア アーキテクチャに重点が置かれます。多くのハードウェアにとって、機械学習アルゴリズムの共同設計は、特定の科学分野のハードウェア要件 (アーキテクチャとプログラマビリティを含む) の鍵となります。関連性が高く、極めて重要なハードウェア プラットフォームの例としては、FPGA があります。著者は、これらのテクノロジが刺激的で非常に効率的なテクノロジを提供すると考えています。推測的なものかもしれませんが、従来のテクノロジと比較して、既存の最先端技術を大幅に改善しました。

4.まとめと展望

このレビューレポートでは、主に、効率的な機械学習アルゴリズムの適用によって、学際的な科学的発見がどのように実現できるかについて説明します。このプロセスにおいて、科学的探究はしばしば刺激的な新しい研究や発見を生み出します。しかし、これは比較的新しい分野であり、大きな可能性を秘めている一方で、分野横断的な未解決の課題にも直面しています。レポートで紹介されている内容に加えて、この記事で紹介されている科学的なユースケースとその重複が、読者に他の研究に適用するためのインスピレーションを与えることを願っています。

機械学習のトレーニングと展開の技術、そしてコンピューター アーキテクチャは、どちらも非常に急速に進化している分野であり、新しいタスクが次々と登場しています。機械学習と科学の分野では新しい手法が絶えず導入されているため、さまざまなハードウェア上での新しいアルゴリズムの共同設計と、これらのアルゴリズムを展開するためのツールフローの使いやすさを理解することが特に重要です。ここでのイノベーションは、強力な新しい機械学習ハードウェアの迅速かつ広範な導入によって実現されます。スーパー CMOS テクノロジの場合、これらのアプリケーション指向の設計は重要ですが、テクノロジの成熟度、コンピューティング アーキテクチャへの統合、およびこのようなデバイスのプログラム方法も考慮する必要があります。

私たちは、近い将来これらのトピックを再検討し、アプリケーション、機械学習技術、ハードウェア プラットフォームの進歩がどれほど急速に起こっているか、そして最も重要なこととして、それらの融合がどのように破壊的な科学的ブレークスルーにつながっているかを確認したいと考えています。

注: このレビュー レポートは、第 2 回 Fast Machine Learning カンファレンスの概要です。このカンファレンスでは、素粒子物理学者、材料科学者、健康モニタリング研究者、機械学習学者、コンピューター システム アーキテクトなど、さまざまな科学専門家のコンテンツがまとめられています。専門家の見解と概念を通じて、特定の分野のアプリケーション、機械学習、実験、コンピューター システム アーキテクチャ間の融合を見つけ、科学的発見を加速させることが期待されています。レポート全体の具体的なセクションは次のとおりです。