ユニバーサルで説明可能なAIコンピューティングハードウェア設計は、EDAにおける次の革命的な技術となるでしょう。

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。

Yiran Chen 氏は、デューク大学の電気およびコンピュータ工学の教授であり、米国国立科学財団 (NSF) の次世代モバイルネットワークおよびエッジコンピューティング研究所 (Athena) の所長、NSF 先端的かつ持続可能なコンピューティング研究所 (ASIC) の産学共同研究センター (IUCRC) の所長、およびデューク計算進化知能センター (DCEI) の共同所長を務めています。

陳一然氏は、清華大学電子工学部の1994年卒業の学部生です。2001年に清華大学で修士号を取得し、2005年にパデュー大学で博士号を取得しました。彼の研究対象には、新しいメモリおよびストレージ システム、機械学習、ニューロモルフィック コンピューティング、モバイル コンピューティング システムなどがあります。彼は 500 本以上の論文を発表し、1 冊のモノグラフを出版し、さまざまな会議で数々の最優秀論文賞を受賞しています。受賞歴には、IEEE コンピュータ協会 Edward J. McCluskey 技術功績賞、ACM SIGDA サービス賞などがあり、不揮発性メモリ技術への貢献により ACM フェローにノミネートされました。彼はまた、ACM Special Interest Group on Design Automation (SIGDA) の議長も務めています。

最近、Yiran Chen 教授は ACM のインタビューを受け、新しいコンピューティング アーキテクチャ、AI コンピューティングのエネルギー効率、NSF AI エッジ コンピューティング センター、電子設計自動化、ACM 設計自動化部門、および将来の技術動向についての見解を共有しました。

AI Technology Reviewは、元のインタビューを、原文の意味を変えずにまとめました。

ACM: この分野に携わって以来、メモリとストレージ システムの開発に関して最も驚いたことは何ですか?

Chen Yiran:過去 15 ～ 20 年間にメモリとストレージ システムの分野で起こった最もエキサイティングなことは、コンピューティングとストレージの境界線が曖昧になったことだと私は思います。

現代のコンピューティングパラダイムにおける最近の革命は、ビッグデータを処理する必要性から始まり、大容量のストレージデバイスに対する需要の増加を引き起こしました。コンピューティング ユニットとストレージ デバイス間の帯域幅が限られているため、すぐにボトルネックが発生しました (「フォン ノイマン ボトルネック」と呼ばれることもあります)。メモリとストレージ システムを「スマート」にすることは、ニアメモリ コンピューティングやインメモリ コンピューティングなど、システムのメモリ帯域幅への依存を軽減し、データ処理を高速化するための一般的なソリューションになっています。

これは、ターゲット アプリケーションの変化 (つまり、科学計算からデータ中心の計算へ) によって、コンピューター アーキテクチャの設計哲学がどのように変化したかを示す良い例です。この哲学の変化は、スマート ソリッド ステート ドライブ (SSD)、ダイナミック ランダム アクセス メモリ (DRAM)、データ処理ユニット (DPU) などのさまざまな新しいコンピューティング製品や、3D Xpoint メモリ (Intel および Micron) などの多くの新しいメモリ テクノロジに影響を与えました。

また、クロスバーベースのドット積エンジンなど、計算をコンピューティング ハードウェアのトポロジーに直接マッピングすることでベクトル行列乗算を実行する、いくつかの新しい非フォン ノイマン アーキテクチャの出現にもつながりました。

ACM: 最近最も引用されている論文の 1 つは、「ディープ ニューラル ネットワークにおける構造化スパース性の学習」です。この論文では、ディープ ニューラル ネットワークの効率を向上させることの重要性が示されています。ディープニューラルネットワークの効率を向上させることが重要なのはなぜですか?この分野で有望な研究の方向性は何でしょうか?

論文アドレス: https://dl.acm.org/doi/pdf/10.5555/3157096.3157329

Chen Yiran:現代のディープ ニューラル ネットワーク (DNN) の高い (推論) 精度には、ニューラル ネットワークの深さと幅の増加による計算コストの増加が伴うことはよく知られています。ただし、ニューラル ネットワークの接続重みは、ニューラル ネットワークの精度に同じ影響を与えないこともわかっています。接続の重みがゼロに近い場合、ニューラル ネットワークの精度に重大な影響を与えることなく、接続をプルーニング (つまり、重みをゼロに設定) できる可能性が高くなります。 NeurIPS 2016 で発表された私たちの論文では、メモリ内に構造化され保存された非ゼロの重みを持つスパース ニューラル ネットワークを学習すると、良好なデータ局所性が維持され、キャッシュ ミス率を削減できることが示されています。したがって、ニューラル ネットワークの計算効率が大幅に向上します。提案された手法である構造化スパース学習（構造化プルーニングとも呼ばれる）とそのバリエーションは、現代の効率的な DNN モデル設計で広く使用されており、Intel Nervana や NVIDIA Ampere などの多くの人工知能 (AI) コンピューティング チップでサポートされています。

DNN の効率性を向上させることは、大規模な DNN モデルのスケーリングや、エッジや IoT デバイスなどの計算、ストレージ リソース、電力予算が限られているシステムへの展開を大きく妨げるため、非常に重要です。この分野の最新の研究トレンドは、アルゴリズムとハードウェア レベルでのイノベーションの組み合わせです。たとえば、ベイズ モデル、量子のようなモデル、ニューラル シンボリック モデルなどの新しい AI モデルや未開発の AI モデルを高速化するために、新興ナノデバイスに基づく AI アクセラレータを設計します。

ACM: 最近、国立科学財団の次世代ネットワークおよびエッジコンピューティング向け人工知能研究所で Athena プロジェクトを指揮されることが発表されました。 5年間、2,000万ドルのAthenaプロジェクトには、デューク大学、MIT、プリンストン大学、イェール大学、ミシガン大学、ウィスコンシン大学、ノースカロライナ州立農工科大学など、複数の機関が関与する。プロジェクト・アテナの目標は何ですか?

Yiran Chen:私たちは、国立科学財団と米国国土安全保障省が後援するエッジコンピューティングと人工知能の旗艦研究機関である Project Athena の設立に非常に興奮しています。 Athena は、高度な人工知能技術を通じて複雑さとコストを制御しながら、前例のないパフォーマンスを提供し、これまで不可能だったサービスを可能にすることで、将来のモバイル ネットワーク システムの設計、運用、サービスを変革することを目指しています。

Athena の研究活動は、エッジ コンピューティング システム、コンピュータ システム、ネットワーク システム、サービスとアプリケーションの 4 つのコア領域に分かれています。私たちが開発する人工知能技術は、将来のモバイル ネットワークの機能性、異種性、拡張性、信頼性の理論的および技術的基盤も提供します。

Athena はコミュニティの接続ポイントとして機能し、新興テクノロジーのエコシステムを促進し、倫理的かつ公正な価値観を持つ多様な新世代のテクノロジーリーダーを育成します。 Athena の成功により、モバイル ネットワーク業界の将来が変わり、新しいビジネス モデルと起業機会が生まれ、将来のモバイル ネットワークの研究と産業アプリケーションが変化すると期待しています。

ACM: 設計自動化における最もエキサイティングなトレンドは何ですか? ACM Special Interest Group on Design Automation (SIGDA) の議長として、この分野において組織が果たす役割はどのようなものだとお考えですか?

Yiran Chen:過去 10 年間の設計自動化における最もエキサイティングなトレンドは、電子設計自動化 (EDA) ツールにおける機械学習技術の幅広い採用です。チップ設計の品質はチップ設計者の経験に大きく依存するため、従来の面倒なモデルを再度実行することなく、既存の設計から半導体チップの設計手法を継承する方法を直接学習できるインテリジェントな EDA ツールを開発するのは当然のことです。最新の EDA フローにはさまざまな機械学習モデルが組み込まれており、計算試行の配線と配置、電力見積もり、タイミング解析、パラメータ調整、信号整合性などを高速化します。チップのハードウェア モジュールには機械学習アルゴリズムも実装されており、チップの実行時の電力消費を監視および予測します。たとえば、当社の APOLLO フレームワーク（MICRO 2021 ベストペーパー賞受賞）などです。

論文アドレス: https://dl.acm.org/doi/pdf/10.1145/3466752.3480064

最大規模の EDA 専門家協会の 1 つである SIGDA は、世界中の EDA 専門家と学生のスキルと知識の向上に尽力しています。 SIGDA は、毎年 30 を超える国際会議や地域会議を後援および主催し、複数のジャーナルやニュースレターを編集およびサポートし、ワークショップ、チュートリアル、ウェビナー、コンテスト、研究フォーラム、大学でのプレゼンテーションなど、12 件を超える教育および技術イベントを主催しています。 SIGDA は業界パートナーと協力して、若い学生、教員、専門家に会議への出席を支援するための旅費補助金も提供しています。また、コミュニティ内の優秀な研究者やボランティアに賞を授与します。

ACM: あなたの分野で、今後数年間に特に影響力を持つと思われる研究分野の例は何ですか?

Chen Yiran:汎用的で説明可能な AI コンピューティング ハードウェア設計プロセスは、EDA とコンピューティング システム研究における次の革命的なテクノロジーになると信じています。

過去 10 年間にわたり、人工知能モデルの計算を高速化するためのさまざまなハードウェア設計が提案されてきました。しかし、常に変化するモデルの独自の構造に対応するために多くのハードウェアのカスタマイズが必要となるため、設計者は常にデザインの多様性と効率性の間で苦労しています。一方、AIモデルの堅牢性を確保し、モデル設計を促進する上で、説明可能性は長年の課題となってきました。

将来の AI コンピューティング ハードウェア設計は、それぞれのアルゴリズムに対応するさまざまな説明可能なハードウェア モジュールで構成される可能性があります。 AI コンピューティング ハードウェアのパフォーマンスは、共通の設計プロセスによって保証されます。考えられる解決策の 1 つは、ニューラル シンボリック アプローチを使用して構成可能な AI モデルを構築し、シンボリック アルゴリズム モジュールに対応するハードウェア モジュールを実装することです。拡張された AutoML フローは、対象の AI コンピューティング ハードウェアの設計を自動化し、一般性と説明可能性を確保しながら、必要なパフォーマンスを達成するために使用できます。