Google の「AI が 6 時間でチップを設計」という論文が Nature に掲載されてから 2 年経って、反論されたのでしょうか?ジェフ・ディーンの論文はソースコードを隠蔽した疑いで公式調査中

最近、Googleの巨匠ジェフ・ディーン氏が率いる「AI自己設計チップ」に関する研究論文が、Natureによって正式に調査されたことが明らかになりました。

Google はこの論文を発表した後、特定の Circuit Training コードを GitHub でオープンソース化し、EDA および IC 設計コミュニティ全体に即座にセンセーションを巻き起こしました。

しかし、この作品はそれ以来疑問視されてきました。

9月20日、ネイチャー誌はついにこの論文に次のような声明を添えた。

編集者注: この記事のパフォーマンスに関する主張には疑問が投げかけられており、編集者はこれらの問題を調査しており、調査が完了したら適切な措置を講じることを読者に通知します。

写真

論文アドレス: https://www.nature.com/articles/s41586-021-03544-w

同時に、常に大規模なAIモデルに冷水を浴びせてきたマーカス氏は、このネイチャー論文に関連した解説記事も著者によって撤回されたことを発見した。

マーカス氏はツイッターでこう述べた。「大いに期待されていたAIの成果がまたもや失敗か？」

写真

現在、関連する Nature のレビュー記事には、大文字で「撤回された記事」というラベルが付けられています。

写真

コメント記事: https://www.nature.com/articles/d41586-021-01515-9

元の論文に疑問が投げかけられたため、関連する解説記事の著者もそれを撤回した。

著者らは、この論文の発表以降、報告された論文で使用された方法について新たな情報が入手可能となり、論文の貢献に関する著者らの結論が変わったため、この論文を撤回しました。ネイチャー誌も論文の結論について独自の調査を行っている。

写真

さらに、マーカス氏は衝撃的な情報も掘り起こした。元グーグル研究員のサトラジット・チャタジー氏は、ジェフ・ディーンのチームの論文について長い間疑問を投げかけていたのだ。

彼は反論の論文を書いたが、グーグルはそれを公表しないと言い、チャタジー氏（43歳）は解雇された。

写真

ニューヨークタイムズは2022年5月にこの件について報じた。

コードが紙と一致しません

彼らは疑問を論文にまとめ、今年3月に開催された集積回路の物理設計に関する世界最高峰の学術会議「ISPD 2023」に論文として提出した。

写真

論文アドレス: https://arxiv.org/abs/2302.11014

GitHub では、Google とスタンフォード大学の合同チームがコードを公開しており、このコードの中で UCSD チームが「ハイライト」を発見したのです。

UCSD チームは、「サーキット トレーニング」(CT) プロジェクトの主要な「ブラック ボックス」要素をオープン ソース方式で実装しましたが、CT と Nature の論文の間に違いがあり、再現できないことがわかりました。

写真

プロジェクトアドレス: https://github.com/google-research/circuit_training#circuit-training-an-open-source-framework-for-generating-chip-floor-plans-with-distributed-deep-reinforcement-learning

GoogleはNatureの論文で、自社の手法により、6時間以内に、消費電力、性能、チップ面積など、すべての主要な指標において人間が生成したレイアウトを上回るか、それに匹敵するチップレイアウトを自動的に生成したと述べた。

UCSD チームは、論文内のデータもコードも完全には使用できないことを発見しました。この期間中、関連する問題について Google のエンジニアからも回答を受け取りました。

さらに、「チップ配置における深層強化学習を評価するためのより強力なベースライン」と題された論文では、Nature の論文よりも優れた強力なシミュレーテッド アニーリング ベースラインを主張していますが、どうやら Google の社内バージョンの CT や、異なるベンチマークと評価指標を使用しているようです。

つまり、Nature の方法と結果は再現できないということです。

写真

UCSD チームは、CT、CMP、SA、ReP1Ace、AutoDMP を使用して、人間の専門家によって生成されたマクロ レイアウト ソリューションを含むマクロ レイアウト ソリューションを生成しました。 Google エンジニアの指示に従い、密度の重みとして 1 ではなく 0.5 を使用しました。

この論文では、UCSD チームが、CT の重要な「ブラック ボックス」要素である強制方向配置とエージェント コスト計算のリバース エンジニアリングについて説明しています。

これら 2 つの部分は、Nature の論文では明確に記録されておらず、オープンソース化もされていませんでした。

さらに、UCSD チームは、Nature の論文やより強力なベースラインとの比較のために、グリッドベースのシミュレーテッド アニーリング マクロ配置も実装しました。

写真

さまざまなマクロ配置ツールによって生成された Ariane-NG45 マクロ配置

UCSD チームは、CT の次の側面を明らかにした実験評価レポートを作成しました。

（１）市販の物理合成ツールを用いた初期配置情報はCT結果にどのような影響を与えるか？

（２）CTの安定性

（３）CTエージェントのコストと市販EDAツールの「現実世界」の出力との相関

（４）本論文で検討したICCADO4テストケースにおけるベースラインパフォーマンスの向上

全体的に、UCSD チームは CT と Nature の論文の間にいくつかの重大な不一致を発見しました。

CT は、入力ネットリスト内のすべてのインスタンスが (x,y) の位置にあると想定します。つまり、ネットリストは CT に入力される前に配置されていると想定します。

CT のグループ化、グリッド化、クラスタリング プロセスはすべて位置情報を使用します。

力指向配置

しかし、この情報はレビューでは明らかにされておらず、Nature の論文でも言及されていませんでした。

同様に、CT を説明する 2 つの重要な「ブラック ボックス」要素 (強制的な指示配置とエージェント コストの計算) は、Nature の論文では明示的に文書化されておらず、CT では表示されません。

これらの例は、これまで特定の API を通じてのみ表示可能だったメソッドを理解して再実装するために必要なリバース エンジニアリングを表しています。

混雑コスト計算

写真

UCSD チームと Google エンジニアが作成した、NG45 の Ariane の CT トレーニング曲線

この論文に加えて、UCSD チームには、Google によるこの Nature 論文に関する研究を包括的に記録した、より詳細なプロジェクト ホームページもあります。

写真

プロジェクトアドレス: https://tilos-ai-institute.github.io/MacroPlacement/Docs/OurProgress/

要約すると、「魂を探求する質問」は 18 個あります。

写真

ネイチャー誌の共著者は長文の記事で反応した

これに対して、Google とスタンフォード大学の共同筆頭著者は、非常に詳細な声明を発表しました。

「ISPDで最近発表されたこの招待論文は、私たちの研究を誤解していると考えています。」

写真

声明アドレス: https://www.annagoldie.com/home/statement

まず、重要な背景を説明します。

• この論文で提案された RL 手法は、Google の主力 AI アクセラレータ (TPU) の複数世代 (最新世代を含む) の製造に使用されてきました。つまり、この方法に基づいて生成されたチップが製造され、Google データセンターで稼働しているということになります。

10ナノメートル未満の検証レベルは、ほぼすべての論文のレベルをはるかに上回っています。

ML で生成されたレイアウトは、Google エンジニアが生成したものよりも大幅に優れている必要があります (つまり、人間のパフォーマンスを上回る必要があります)。そうでなければ、リスクを負う価値はありません。

• Nature は 7 か月にわたる査読を実施しました。査読者には物理設計の専門家 2 名と強化学習の専門家 1 名が含まれていました。
• TF-Agents チームは Nature 論文の結果を独自に再現しました。

写真

• チームは2022年1月18日にコードをオープンソース化しました。

2023年3月18日現在、フォークは100以上、スターは500以上あります。

この高度に最適化された分散 RL フレームワークの開発とオープンソース化は、チップレイアウトや電子設計自動化 (EDA) を超えたアプリケーションを含む、非常に大きな取り組みでした。

商用 EDA 分野では、オープンソース プロジェクト コードの実践は一般的ではないことは注目に値します。

• チームの手法が公開されて以来、その研究に基づいた多数の論文が ML および EDA カンファレンスで発表され、NVIDIA、Synopsys、Cadence、Samsung などの企業がチップ設計における強化学習の使用を発表しました。

写真

次に、ISPD 論文に対する技術的な回答です。

• ISPD の論文では、Circuit Training (CT) の事前トレーニングは実行されていません。つまり、RL エージェントは新しいチップを見つけるたびにリセットされます。

チップを見たことがない学習ベースの方法では、当然ながら学習に時間がかかり、パフォーマンスも悪くなります。

チームは、表 1 のテスト ケースを評価する前に 20 個のブロックを事前トレーニングしました。

写真

• CT のトレーニングに使用される計算リソースは、Nature の論文で使用されたものよりもはるかに少なくなっています (GPU の数は半分になり、RL 環境は 1 桁縮小されます)。
• ISPD 論文に添付されているグラフは、CT が正しくトレーニングされておらず、RL エージェントが学習中に中断されたことを示しています。
• Nature 論文が発表された時点では、RePlAce は最先端の技術でした。さらに、上記の問題をすべて無視したとしても、チームのアプローチは当時も今もより良い成果を上げています。
• この研究は「強化学習によるマクロレイアウト学習の評価」と題されていますが、その研究に基づいて構築されたいかなる RL 手法とも比較されておらず、また認められていません。

• ISPD の論文では、CT を最新バージョンの AutoDMP (ISPD 2023) およびブラックボックスのクローズドソースの商用ツールである CMP と比較しています。研究チームが2020年に論文を発表した時点では、どちらの方法も利用できませんでした。

• ISPD の論文は、物理合成からの初期位置を使用して標準セルをクラスタリングすることに焦点を当てていますが、これは実際の状況とは無関係です。

• 配置方法を実行する前に、物理的な合成を実行する必要があります。これはチップ設計における標準的な手法であり、ISPD 論文の図 2 にも反映されています。

写真

前処理手順として、チームは物理合成の出力を再利用して標準セルをクラスター化しました。明確に言うと、チームのアプローチでは標準セルを配置しません。標準セルは、DREAMPlace などの以前のアプローチによってすでに適切に処理されているからです。

各 RL イベントでは、チームは RL エージェントに未配置のマクロ (メモリ コンポーネント) と未配置の標準セルのクラスター (ロジック ゲート) のリストを提供し、RL エージェントはそれらを空白のキャンバスに 1 つずつ配置します。

9 か月前、チームはこれらの詳細をオープン ソース リポジトリに文書化し、この前処理手順を実行するための API を提供しました。ただし、これは論文の実験結果や結論には何ら影響しません。

最後に、チームは、現在の方法は完璧ではなく、効果がそれほど良くない状況も必ずあるだろうと述べた。

しかし、これはほんの始まりに過ぎません。学習ベースのチップ設計方法は、ハードウェアと機械学習自体に大きな影響を与えるはずです。

AIを使えば6時間でチップを設計できるでしょうか？

このNatureの記事に戻ると、2021年にジェフ・ディーン率いるGoogle Brainチームとスタンフォード大学の科学者たちは次のように述べました。

「実現可能なチップ設計ソリューションを生成できる、深層強化学習 (DL) に基づくチップレイアウト計画方法。」

写真

Google の研究者たちは、AI にこの作業を行わせるためのトレーニングに多大な労力を費やしてきた。

チェスや囲碁などのボードゲームのソリューションと比較すると、チップのレイアウトの問題はより複雑です。

写真

Google の研究者は、6 時間足らずで「深層強化学習に基づくチップ レイアウト計画手法」を使用してチップのフロア プランを生成し、すべての主要指標 (消費電力、パフォーマンス、チップ領域などのパラメータを含む) が人間の専門家の設計図よりも優れているか、それに匹敵する結果となりました。

ご存知のとおり、このような結果を達成するには、私たち人間のエンジニアが「何ヶ月もの努力」を要することがよくあります。

写真

人間が設計したマイクロチップのフロアプランと機械学習システムの設計

論文の中で、Google の研究者はチップレイアウト計画方法を「学習問題」として提示している。

潜在的な問題設計高次元コンテキストバンディット問題と Google の以前の研究を組み合わせて、研究者はそれを順次マルコフ決定プロセス (MDP) として再定式化することを選択しました。これにより、次の制約を含めやすくなります。

（１）状態は、ネットリスト（隣接行列）、ノード特性（幅、高さ、タイプ）、エッジ特性（接続数）、現在のノード（マクロ）、およびネットリストグラフのメタデータ（配線割り当て、ワイヤ数、マクロ、および標準セルクラスタ）を含む部分配置に関する情報をエンコードします。

（２）アクションとは、密度や混雑に関する厳格な制約に違反することなく現在のマクロを配置できるすべての可能な場所（チップキャンバスのグリッドセル）である。

（３）状態と行動が与えられた場合、「状態遷移」は次の状態の確率分布を定義します。

（4）報酬：最後のアクションを除くすべてのアクションの報酬は0です。報酬はエージェントのライン長、混雑度、密度の負の重みです。

研究者らは、ニューラル ネットワークによってモデル化されたポリシー (RL エージェント) をトレーニングし、繰り返されるイベント (状態、アクション、報酬のシーケンス) を通じて「累積報酬を最大化する」アクションを実行することを学習させました。

次に研究者らは、近接ポリシー最適化 (PPO) を使用して、配置ごとに累積報酬を考慮してポリシー ネットワークのパラメーターを更新しました。

写真

研究者らは目的関数を次のように定義した。

写真

前述したように、チップフロアプランニング問題に対するドメイン適応型ポリシーの開発は、問題がさまざまな駒、ボード、勝利条件を持つゲームに似ており、状態アクション空間が巨大であるため、非常に困難です。

この課題に対処するために、研究者たちはまず、状態空間の豊富な表現を学習することに重点を置きました。

Google の研究者は、「チップ配置という一般的なタスクを処理できるポリシーは、推論中に新しい、目に見えないチップに関連付けられた状態を意味のある信号としてエンコードすることもできるはずだというのが私たちの直感です」と述べています。

そのため、研究者らは、新しいネットリストの位置に対する報酬を予測できる「ニューラル ネットワーク アーキテクチャ」をトレーニングし、このアーキテクチャをポリシーのエンコード層として使用することを最終目標としました。

この教師ありモデルをトレーニングするには、チップの配置と対応する報酬ラベルの大規模なデータセットが必要です。

そこで研究者らは、チップの位置を 10,000 個収録したデータセットを作成しました。入力は特定の位置に関連付けられた状態、ラベルはその位置に対する報酬です。

報酬ラベルを正確に予測し、それを未知のデータに一般化するために、研究者らは Edge-GNN (Edge-Based Graph Neural Network) と呼ばれるエッジベースのグラフ ニューラル ネットワーク構造を提案しました。

Edge-GNN では、研究者は、ノード タイプ、幅、高さ、x 座標と y 座標、他のノードとの接続性などの特徴を連結して、各ノードの初期表現を作成します。

次に、次の更新を繰り返して実行します。

（１）各エッジは、接続する２つのノードに完全に接続されたネットワークを適用することによって、その表現を更新します。

（２）各ノードは、全ての入ってくるエッジと出ていくエッジの平均を別の完全に接続されたネットワークに渡すことによって、その表現を更新します。

写真

Edge-GNN の役割は、ネットリストを埋め込み、ノード タイプと接続性に関する情報を、下流のタスクに使用できる低次元ベクトル表現に抽出することです。

エッジベースのニューラルアーキテクチャが一般化に与える影響

研究者らはまず 5 つの異なるチップ ネットリストを選択し、AI アルゴリズムを使用して各ネットリストに 2,000 通りの配置場所を作成しました。

このシステムは、Nvidia Volta グラフィック カードと、それぞれ 2GB の RAM を搭載した 10 個の CPU で「事前トレーニング」するのに 48 時間かかりました。

写真

左側では、ポリシーが最初からトレーニングされており、右側では、事前トレーニング済みのポリシーがこのチップ用に微調整されています。各四角形は個別のマクロ配置を表します

あるテストでは、研究者らはシステムの推奨事項を手動のベースライン（Google の TPU 物理設計チームが作成した前世代の TPU チップ設計）と比較しました。

結果は、システムと人間の専門家の両方が時間とブロックの要件を満たす実行可能な場所を生成し、AI システムは面積、電力、配線長の点で手動配置を上回るか同等であり、大幅に短い時間で設計基準を満たしていることを示しました。

しかし、かつてEDAとIC設計コミュニティ全体にセンセーションを巻き起こしたこの論文は、現在Natureによって再調査されており、今後どのように展開していくのかは不明です。

参考文献:

https://tilos-ai-institute.github.io/MacroPlacement/Docs/OurProgress/

https://www.nature.com/articles/s41586-021-03544-w

https://www.nature.com/articles/s41586-021-03544-w

https://twitter.com/GaryMarcus/status/1706861649762869330