ICML賞を受賞したばかりの機械学習の専門家マックス・ウェリング氏がマイクロソフトに入社し、分子シミュレーションに注力

[[412546]]

量子コンピューティング + 機械学習は分子シミュレーションの分野でどのような火花を散らすことができるのでしょうか?ノーベル賞受賞者の指導を受けた量子物理学の博士であり、機械学習の達人でもあるマックス・ウェリング氏がその答えを教えてくれます。

昨日、機械学習のトップカンファレンスである ICML が、優秀論文賞、Test of Time 賞、その他の賞を発表しました。Test of Time 賞は、Max Welling らによる 2011 年の論文が受賞しました。テーマは「確率的勾配ランジュバン動力学によるベイズ学習」でした。この賞は、Max Welling 氏らの研究が機械学習コミュニティに大きな影響を与えたことを認めるものです。

受賞の喜びが薄れる前に、マックス・ウェリング氏はもう一つの重要なニュースを発表しました。彼は今年 9 月 1 日に Microsoft Research の著名な科学者として入社し、分子シミュレーションに関連する研究に注力する予定です。

マックス・ウェリング氏は現在、アムステルダム大学の機械学習研究主任、Qualcomm Technologies の副社長、およびカナダ高等研究機構 (CIFAR) の上級研究員を務めています。さらに、彼はアムステルダム大学からスピンオフしたディープラーニング研究に特化した企業で、2017 年夏に Qualcomm に買収された Scyfer BV の共同創設者でもあります。

マックス・ウェリング氏は、自身の異動はマイクロソフトがアムステルダムに建設した新しい研究所を率いるためだと明かした。そこで彼は、分子シミュレーションの問題に焦点を当てた多様な研究およびエンジニアリング チームを構築します。

なぜ分子シミュレーションなのか?マックス・ウェリングは次のように説明しています。

なぜなら、電磁気、重力、その他の特殊な力を除けば、世界の物質のほとんどすべてが分子で構成されているからです。しかし、自然は量子力学的であるため、古典的なコンピュータで正確にシミュレートすることはできません。機械学習技術（等変グラフニューラルネットワークなど）の継続的な進歩と、量子および古典コンピューティング機能の継続的な改善により、次の 10 年間で非常に大きな進歩を遂げることができると期待しています。

分子と化学反応に対する理解が深まるにつれ、病気と闘うための薬の改良、グリーンテクノロジーのための効率的な触媒の発見、驚くべき特性を持つ新素材の開発など、この方向の潜在的な応用範囲が拡大しています。

分子シミュレーションがマックス・ウェリングの主な研究対象となっていることがわかります。

新しい研究所の進捗状況について、マックス・ウェリング氏は、現在最初の従業員として、Google AIの研究科学者であるリアンヌ・ファン・デン・ベルグ氏を採用したことを明らかにした。

マックス・ウェリングはマイクロソフトに入社後もアムステルダム大学の教授として、学生やポスドク研究員の指導に携わり続けます。

マックス・ウェリング：ノーベル賞受賞者に師事した量子物理学の博士

マックス・ウェリング氏は、他の機械学習研究者と異なり、コンピューターサイエンスの学位を取得していません。その代わり、世界トップクラスの公立研究大学であるオランダのユトレヒト大学で 11 年間物理学を学びました。彼の指導者は、オランダの理論物理学者で 1999 年のノーベル物理学賞を受賞したジェラルド・トホーフト氏です。

1999年、ホーフト氏とその師であるフェルトマン氏は、1970年代の「物理学における電弱相互作用の量子構造の解明」に関する理論的研究の功績によりノーベル物理学賞を受賞した。彼らの計算理論は素粒子物理学にさらに強固な数学的基礎を与え、特に彼らの理論は物理量をより正確に計算するために使用することができます。

ホーフトの指導の下、マックス・ウェリングは1998年に量子物理学の博士号を取得しました。

その後、マックス・ウェリングは、カリフォルニア工科大学（1998年～2000年）、ユニバーシティ・カレッジ・ロンドン（2000年～2001年）、トロント大学（2001年～2003年）で博士研究員として勤務しました。 2003年から2013年まで、カリフォルニア大学アーバイン校で助教授、准教授、教授を務めた。 2012年、アムステルダム大学で機械学習の教授および研究主任に就任。学術的業績の面では、マックス・ウェリングの論文は5万回以上引用されており、h指数は79です。

2016 年、アムステルダム大学のマックス・ウェリング氏と博士課程の学生トーマス・キプフ氏 (2020 年に卒業し、現在は Google Brain の研究科学者) は、グラフ ニューラル ネットワークの分野における重要な成果であるグラフ オートエンコーダ (GAE) を共同で提案しました。関連論文は NIPS 2016 ワークショップで発表されました。

グラフオートエンコーダ (GAE) は、グラフ構造化データにおける教師なし学習とリンク予測に使用できます。主なコンポーネントは、グラフニューラルネットワークに基づくエンコーダと、ペアワイズスコアリング関数に基づいてグラフリンクを再構築するデコーダです。その後、2人はGAEのモデル変種である変分GAEをさらに提案しました。 GAE と変分 GAE は、ノード ラベルのないグラフ表現を学習するのに適しています。

論文リンク: https://arxiv.org/pdf/1609.02907.pdf

2017 年、マックス・ウェリングはテクノロジー担当副社長として Qualcomm に入社しました。在職中は量子化、教師なし学習、量子 AI の研究に携わりました。昨年の記事で、マックス・ウェリング氏は、量子コンピューター上での大規模な古典的ニューラルネットワークの実行や古典的コンピューター上での効率的なシミュレーションの実行をサポートする量子変形可能バイナリニューラルネットワークの開発など、量子 AI 研究分野における同社の成果の一部を紹介しました。これを基に、Qualcomm の研究者はこの古典的なニューラル ネットワークを変形し、量子効果を統合しましたが、それでもネットワークは効率的にトレーニングおよび実行できます。これは、実際のデータに使用される最初の量子バイナリ ニューラル ネットワークでもあります。マックス・ウェリングの物理学、特に量子物理学における蓄積が、機械学習の分野でいくつかの成果を達成するのに役立ったことがわかります。

機械学習、量子物理学、化学、分子生物学がどのように衝突するのか

マイクロソフト リサーチ ケンブリッジ研究所の所長であるクリス ビショップは、新しいアムステルダム研究所の所長としてマックス ウェリング氏をマイクロソフト リサーチに温かく迎え入れました。マックス・ウェリングと同様に、クリス・ビショップも物理学に深い知識を持つコンピューター科学者です。彼は英国のエディンバラ大学で理論物理学の博士号を取得し、量子場理論を研究の中心としています。

インタビューでは、2人は共通の物理学のバックグラウンドと分子シミュレーションに対するビジョンを組み合わせて、分子シミュレーションにおける機械学習と量子コンピューティングの可能性、分子シミュレーションに必要なデータを提供する機械学習の能力、アムステルダム研究所の初年度とそれ以降のビジョンについて話し合いました。

インタビューの中で、クリス・ビショップ氏は、マックス・ウェリング氏の注目すべき研究はすべて分子シミュレーションに直接関係していると考えています。分子シミュレーションはマイクロソフト リサーチ ケンブリッジ研究所が常に非常に関心を寄せてきた分野であり、マックス・ウェリング氏をアムステルダム研究所のリーダーとして招聘することがマイクロソフト リサーチの当初の意図でもありました。

マックス・ウェリング氏はまた、自身の研究の方向性を分子シミュレーションの分野に移すために懸命に取り組んでいると述べた。彼は残りのキャリアを気候変動に捧げたいと考えている。気候変動では、計算化学が多くの課題を解決する鍵となる。 Microsoft の大規模なプラットフォームは、利用可能な大量のコンピューティング インフラストラクチャを自ら提供できます。

クリス・ビショップ氏もこれに同意し、分子シミュレーションが気候災害の解決に重要な役割を果たすと信じています。

二人は、分子シミュレーションとは何か、現在の分子シミュレーション研究がなぜこれほど興味深いのか、そしてそれが機械学習とどのような関係があるのか​​などについて深く議論しました。クリス・ビショップは、機械学習がコンピュータービジョン、音声認識、自然言語理解に影響を与えたのと同様に、分子シミュレーションの分野にも大きな影響を与えると考えています。機械学習、量子物理学、化学、分子生物学の組み合わせは、気候変動に限らず、多くの分野で大きな応用の見込みがあります。

マックス・ウェリング氏はまた、分子研究の素晴らしさについても述べました。ウェリング氏は、光や実際には目に見えない他のいくつかの力を除いて、私たちの周りのすべてのものは分子でできているが、私たちは分子を本当に理解したり、その特性を本当に予測したりすることはできないと述べました。したがって、分子をより深く理解し始めると、関連する多くのアプリケーションが実現可能になります。たとえば、水素経済を促進するためのより優れた触媒を設計したり、新しい医薬品を設計したりすることができます。 Microsoft Research はこの方向で多くの研究を行ってきました。

クリス・ビショップ氏はまた、製薬会社との積極的な協力や、機械学習が医薬品の発見プロセスにどのような影響を与えるかを研究するなど、医薬品マイニングの分野でマイクロソフトリサーチが行っている取り組みについても挙げた。 Microsoft Research が行っている多くの作業では、実験データに基づく機械学習が使用されており、タンパク質分子がどのように折り畳まれ、他のタンパク質と相互作用するかについての量子物理学の第一原理シミュレーションからデータを作成する作業が行われています。さらに、Microsoft Research は、新薬の発見や、COVID-19 の研究など、より広範な生命科学にも関心を持っています。

クリス・ビショップ氏はまた、マックス・ウェリング氏は機械学習における不変性と同値性に関する研究で最もよく知られていると述べました。これは分子シミュレーションで遭遇する課題とどのように関係しているのでしょうか?

マックス・ウェリングは、物理学では対称性を考慮する必要があり、ほとんどすべての物理理論は対称性を中心に構築されていると説明しました。実際、標準モデル全体は対称変換に従って編成された粒子で構成されています。彼と彼の同僚はまた、この原理をニューラル ネットワークに実装したいと考えており、実際、畳み込みニューラル ネットワークはそれをある程度すでに実現しています。

「ニューラルネットワークの背後にある考え方は、猫をある場所から別の場所に移動させる（移動）場合、ニューラルネットワークの出力は不変、つまり猫は猫のままである、または猫が画像の左側または右側に見えた場合、または猫をセグメント化した場合、セグメンテーションマスクは私たちは、これらの原理を拡張して、何かを回転させても予測が不変になるようにする方法を考えています。猫を逆さまにしても猫ですよね？これは分子シミュレーションにとって特に重要です。分子を回転させても、他の方向から見た場合と同じ特性が期待されるためです。この誘導バイアス、つまり事前知識をモデルに組み込むことが、私たちが最近取り組んでいることです。これをグラフ ニューラル ネットワークと呼ばれるものに組み込みました。グラフ ニューラル ネットワークでは、原子をグラフのノードと考えることができ、原子間の相互作用はエッジであり、これらの原子は互いに情報を送信します。これは畳み込みを行うのと非常に似ています。したがって、このグラフ ニューラル ネットワークでは、回転後も一定の対称性を維持し、それを使用して分子を記述します。これは非常に成功しています。興味深いのは、データセットからこれらの分子の特性を予測できること、そして予測が驚くほど正確であることです。現在、コミュニティは、この分野が将来大きな影響を与える可能性があることに気づき始めています。」

2人は、対称性が機械学習において重要な役割を果たすことに同意した。では、量子コンピューティングは分子シミュレーションにどのような影響を与えるのでしょうか?

マックス・ウェリングは、分子は本質的に量子システムであり、特に電子は量子力学によってうまく記述できると信じていました。量子コンピュータは、ある意味では自然な量子シミュレーションでもあります。量子コンピュータは、一種の量子実験または量子シミュレーションと考えることができます。量子コンピューティングの最初の実用化は、量子力学のシミュレーションの分野で起こると考えられています。現在、量子コンピューティングはまだ初期段階にあり、本当に使える量子コンピューティングが登場するのは10年以上先になると予想されています。この段階では、まずノイズの多い量子デバイスを使用して、量子コンピューティングで分子をモデル化することができます。その中でも、量子コンピューティングと機械学習の相乗効果が最も興味深いものです。

機械学習、量子コンピューティング、分子モデリングの技術的統合と開発の見通しについて議論したほか、両者はアムステルダムの研究所に関する情報も共有した。

マックス・ウェリング氏は、アムステルダムは才能ある人材の交流が頻繁に行われており、生活や仕事に適した都市であると語った。当研究所は優秀な研究者を採用し、多様性のあるチームを構築し、ケンブリッジ研究所チームと協力します。彼は今後数年間で、分子の特性を予測し、特定の特性を持つ分子を生成し、巨大な空間でこれらの分子を探索できるシステムを構築したいと考えています。

マックス・ウェリング氏は、今後 10 年間で「分子を理解する」という問題を解決し、グリーン経済を強化する新しい触媒の設計など、新しい材料をリアルタイムで設計できるようになることを望んでいます。彼はまた、現在治療不可能なさまざまな病気に対する新薬を開発できるようになることを望んでいる。