囲碁をプレイするのはとても簡単です。AlphaZero は量子コンピューティングをプレイし始めます!

過去数十年にわたる量子物理学技術の探求において、最も注目を集めているのは量子コンピュータです。

[[321979]]

量子コンピュータの能力は、既存のすべてのコンピュータを合わせたものと比べても比類がありません。しかし、これまでのところ、完全に機能する量子コンピュータを構築できた人は誰もいません。これには、量子システムを制御する能力をさらに向上させる必要があります。

なぜ AlphaZero は人間よりも速く「未来を予測」できるのでしょうか?

AlphaZero はもともと囲碁をプレイするために設計されました。囲碁では、駒を置く位置が非常に多くあります。対照的に、チェスには可能な動きしかありません。

そこで AlphaZero は、特定の位置から始めて、勝つ可能性を推定することを学習するディープ ニューラル ネットワークを使用します。勝つために、AlphaZero にはモンテカルロ木探索と呼ばれる機能があり、ゲーム内で「未来を予見」するのに役立ちます。

すべての可能な戦略の中からサンプリングする確率は比較的小さく、ニューラル ネットワークは近似的な推定しか行えないため、モンテ カルロ ツリー サーチは、特にトレーニング フェーズ中に、ゲームの精度とトレーニングの効率を大幅に向上させることができます。

これは、プロのチェスプレイヤーがチェスをプレイするときに数手先まで考えることができるのと似ています。トレーニングの結果は実に驚くべきもので、AlphaZero はプロのゲーム ソフトウェアと人間のプレイヤーをあっという間に打ち負かしました。たとえば、AlphaZero は、わずか 4 時間の自己プレイ練習で、大手チェス ソフトウェアの Stockfish に勝利しました。そして、これはすべてゼロから始まりました。当初、AlphaZero はゲームのルールをまったく知りませんでした。デンマークのチェスのグランドマスター、ピーター・ハイネ・ニールセンはこれを地球を訪れた高度なエイリアン種族に例えた。

AlphaZero はすでに、囲碁、チェス、StarCraft で対戦相手を効果的に打ち負かしています。 AlphaZero の成功の鍵は、モンテカルロ ツリー探索と将来を見据えたディープ ニューラル ネットワークの組み合わせです。結果は、ツリーの下部から拡張された予測情報によってディープ ニューラル ネットワークの精度が大幅に向上し、暫定的な探索よりも予測結果がより正確で焦点が絞られたものになることを示しています。

AlphaZero の反撃: 30 時間でパフォーマンスが 1 桁向上

通常のコンピュータと同様に、量子コンピュータはゲート操作を使用して量子ビットを操作します。我々は、区分的に一定のパルス列を構築することによって特定のゲーティング操作を実装しようとします。つまり、AlphaZero は各タイムステップのパルス振幅を選択する必要があります。物理システムは、各時間ステップ tj における 4x4 複素行列 U(tj) によって数学的に記述され、長さ 32 のベクトルに集約されます。これは、図 1 に示すように、ニューラル ネットワークへの入力です。パルスシーケンスが完了すると、複素行列 U(T) は、シミュレーション忠実度 F と呼ばれる 0 から 1 までの値を持つ実数にマッピングされます。基本的に、シミュレーションの忠実度は確率の尺度であり、1 は 100% の成功を表します。

図1. AlphaZeroが使用するMCTS（左）とディープニューラルネットワーク（右）の図

左と右の画像はそれぞれ AlphaZero のツリー検索とニューラル ネットワークを示しています。ツリー検索における統合検索結果は、ニューラル ネットワークの入力として使用されます。ニューラルネットワークの上限出力は、与えられた入力状態に対する現在のポリシーに近くなります。つまり、pa ∼ a pa ∼ a です。同時に、下限出力は期待される最終報酬を推定できる価値関数、すなわちv(st)∼(t)v(st)∼f(t)を提供します。私たちの研究では、物理システムに関する完全な情報を一貫した形式で AlphaZero に提供するとパフォーマンスが向上することがわかりましたが、このアプローチでは、より大きなヒルベルト空間を持つシステムに拡張することがより困難になる可能性があります。

ニューラル ネットワークは、最終的なシミュレーションの忠実度 v≈F といくつかの移動確率 p=(p1、p2、...) の推定値を出力します。どちらもモンテカルロ木探索で使用されます。ツリーはノード (状態) とエッジ (状態とアクションのペア) で構成されます。ツリー検索はルート ノードから始まり、各ステップでアクションを選択してツリー内を移動します。どのアクションを実行するかの選択は、探索と活用のバランスをとる方法で各エッジの固有の特性を比較することによって行われます。エッジが探索されると、その固有のプロパティは検索結果に応じて更新されます。

ツリー内の前方検索は、以前に訪問されていないノードに遭遇するまで継続され、遭遇するとそのノードがツリーに追加され、そのエッジが p で初期化されます。検索で訪問されたすべてのエッジは、逆のプロセスで v を使用して更新されます。このような検索を多数実行すると、AlphaZero はアクションを決定し、ルート ノードを更新して、ツリーの残りの部分を破棄します。最後に、ツリー検索によって生成されたデータに基づいてニューラル ネットワークが更新され、v が忠実度に近づき、移動確率によってより有望なアクションを選択する可能性が高まります。

つまり、モンテカルロ ツリー探索により、AlphaZero は数ステップ先を見通すことができるため、ソリューション スペース内でより包括的な検索が可能になります。これにより、長期的な戦略が重要となる複雑なタスクにおいて、AlphaZero は他のほとんどの強化学習方法よりも優位になります。

AlphaZero の実装に成功した後、同じアルゴリズムのハイパーパラメータを使用して 3 つの異なる量子制御問題に適用しました。それぞれの問題について、AlphaZero とより従来的なアルゴリズムを比較しました。たとえば、図 2 では、50 時間の実行でバイナリ スパイクを作成するタスクについて、AlphaZero と遺伝的アルゴリズムを比較しています。 Y 軸には、不忠実度 1-F をプロットします。これは実質的にエラー率です (つまり、低いほど良い)。当初、AlphaZero は量子力学的接続の学習において遺伝的アルゴリズムよりもパフォーマンスが悪かったのですが、この学習フェーズは非常に短かったです。 30 時間以内に、AlphaZero が多数の独自の高忠実度スパイク シーケンスで遺伝的アルゴリズムを桁違いに上回るパフォーマンスを発揮することがわかりました。

図 2. 50 時間の実行における遺伝的アルゴリズムと AlphaZero の比較。 Y軸には不忠実度（1-F）がプロットされており、これは実際にはエラー率である。

AlphaZero の量子コンピューティングハイブリッドにより検索速度が 500 倍に向上

物理学者が過去 15 年間をかけて完成させた高度に量子化された最適化アルゴリズムに AlphaZero が負けたのは驚くことではありません。しかし、もしAlphaZeroがここで死んでしまうと、多くの後悔が残ることになるだろう。

勾配最適化アルゴリズムには学習機能がないため、トレーニング中にパフォーマンスが徐々に向上することはなく、生成されたデータはすべてその後の学習には使用されず、破棄されます。

オーフス大学のチームはハイブリッド アルゴリズムの追求を開始しました。AlphaZero は、広範な探索を通じて非常に使いやすいシード オブジェクトを生成し、その後、勾配ベースの方法を使用して最適化することで、ソリューションの数と品質の両方が大幅に向上しました。

実際には、AlphaZero と勾配最適化は異なる問題を解決します。AlphaZero はソリューションの基礎となる構造を学習しますが、勾配最適化はシード ソリューションの周囲のローカル空間で最適化します。勾配最適化のみを使用した場合、50 時間のシミュレーション後に 2 つか 3 つの有望なソリューションが得られる可能性がありますが、ハイブリッド アルゴリズムを使用すると、1,000 個のソリューションが得られます。

強力な一般ドメイン機械学習手法と人間の専門知識およびドメイン固有のブルートフォース計算を組み合わせた結果は非常に興味深いものです。チェスでは、専門知識と Stockfish エンジンを組み合わせたハイブリッドな人間と機械のチームが、人間とアルゴリズムの両方を上回るパフォーマンスを発揮できるという最初の一歩が踏み出されました。

最近、ゲイリー・マーカスとアーネスト・デイビッドは、新著『AI の再起動: 信頼できる人工知能の構築』の中で、ドメイン固有の方法とドメイン汎用的な方法を、階層的な人間にヒントを得た意思決定プロセスと組み合わせることが、将来的に強力な AI 方法を構築するための中核要素の 1 つであると提唱しました。これにより、AlphaZero のアプローチの最も差し迫った欠点の 1 つである、ハイパーパラメータは多数あるが、それらは限られた範囲内でしか役に立たないという欠点を潜在的に解決できる可能性があります。

場合によっては、同じハイパーパラメータのセットが 3 つの量子ケースすべてでうまく機能しましたが、問題の設定が変更されると、AlphaZero では解決できなくなりました。

量子コンピュータは量子並列処理を使用して計算速度を大幅に向上させますが、検索空間の制御パラメータが指数関数的に増加するという問題が再び発生します。 AlphaZero 実験では、ニューラル ネットワークによって提供される近似解と不完全な解が、ローカル ブルート フォース ヒューリスティックの強力なシード ジェネレーターとして機能できることが実証されました。

アルゴリズムの最適化された設計に加えて、量子コンピューティング自体のパフォーマンスも急速に向上しています。

金の表面でマヨラナ粒子が発見される、量子コンピュータの時代が到来か？

最近、量子コンピューティングに関する良いニュースがたくさんあります。

デンマークとドイツの科学者は、AlphaZeroを使用して量子コンピューティングの問題を解決するという独創的なアイデアを思いつきました。一方、MITやその他の機関の科学者は、金の表面でマヨラナフェルミオンを観測し、量子コンピューティングのために粒子を安定したエラーのない量子ビットに分離する重要な一歩を踏み出しました。この結果は、米国科学アカデミー紀要に掲載されました。

素粒子物理学において、マヨラナフェルミオンは、電子、陽子、中性子、クォークを含む素粒子の一種であり、その反粒子はそれ自体である。これは1937年にイタリアの理論物理学者エットーレ・マヨラナによって初めて提唱されました。

マヨラナフェルミオン

残念なことに、この理論を提唱してから1年も経たないうちに、この物理学者はイタリア沖での謎のフェリー航海中に姿を消した。それ以来、人々はマヨラナと彼のマヨラナフェルミオンを探し求めてきました。結局、人々はマヨラナの探索を諦めましたが、彼のフェルミオンの探索は決してやめませんでした。

[[321982]]

現在、MITが率いるチームは、超伝導材料のバナジウム上に成長した金ナノワイヤからなる材料表面を作成し、ほぼゼロのエネルギーで特徴的な信号スパイクを発見しました。明らかに、現在の理論物理学によれば、マヨラナフェルミオン対以外の可能性はありません。

マヨラナフェルミオンは理想的な量子ビット、つまり量子コンピューターの単一の計算ユニットになります。量子ビットはマヨラナフェルミオンのペアで構成され、科学者が長年夢見てきた素材です。

マヨラナ粒子が完全に確認されれば、一足先に量子コンピューティングの時代が到来するでしょう！