素晴らしい瞬間を振り返りましょう！ IEEE Spectrumが2023年の最もホットなAIストーリーをレビュー

また冬が来て、終わりに近づいています。

気温も少し上がり、広大な空と大地にはまだ溶けきれない白が残っています。

「雪は消えて空は銀色に覆われ、背の高いオレンジの木々が枝に映っています。」

皆さんは今年どう過ごしましたか？

2023年は、人工知能の歴史の中で最も激しく、最も劇的な年の一つとして記憶されるかもしれません。

写真

Spectrum は、今年 AI に関して最も人気のある記事をまとめています。

2024 年がさらに狂乱しない限り、歴史に残るであろう今年を見てみましょう。

チャート概要 2023

スタンフォード大学の人間中心の AI 研究所 (HAI) は、今日の AI の世界を誰もが包括的に理解できるように、1 年分の AI データを収集しました。

302 ページのレポートを要約したグラフをいくつか紹介します。

写真

大規模なモデルを実行すると炭素コストが高くなります。モデル内のパラメータの数、データセンターのエネルギー効率、電力供給に使用される発電の種類を考慮すると、4 つのモデルの中で最も効率的な BLOOM でさえ、平均的な米国居住者が 1 年間に使用する炭素量よりも多くの炭素を排出します。

写真

民間のAI投資は10年ぶりに減少し、2021年の水準から約3分の1減の1896億ドルとなった。

写真

2021年（入手可能な最新データ）には、AI博士号取得者の65.4%が産業界に進み、28.2%が学術界で働きました。

写真

博士号取得者の数の増加に伴い、産業界は新しい機械学習モデルの開発において学界をリードしています。

2014 年までは、新しい機械学習モデルのほとんどが学術界から生まれていましたが、HAI が収集したデータによると、2022 年までに産業界が開発した機械学習モデルは 32 個になり、学術界のモデルはわずか 3 個になりました。

AIインデックスレポートでは、最先端のAIシステムを構築するために必要な大量のデータ、コンピューターパワー、資金へのアクセスにおいても産業界が優位性を持っていると指摘しています。

「大きな疑問の一つは、大学が外部のモデルをいじるのではなく、独自の大規模モデルを構築するためのリソースをどの程度与えられるかだ。」

写真

人工知能の悪用に関わる事件が急増している。

写真

HAIの報告書によると、127か国でAI関連法の可決件数が2016年のわずか1件から2022年には37件に増加する見通しだ。

写真

中国では国民は一般的に AI のファンですが、フランス、カナダ、オランダ、米国ではそうではありません。

中国人の回答者の 78% は、AI を活用した製品やサービスには欠点よりも利点が多いと考えています。米国では、AIが純粋な利益をもたらすと信じている人はわずか35%です。

写真

自然言語処理の研究者を対象とした調査では、大多数（73%）が AI が近い将来に革命的な社会的変化をもたらすと予想している一方で、研究者の約 3 分の 1（36%）は AI が災害につながる可能性があると考えています。

これは約 1 年前のデータですが、今では少し興味深いものになっています。

200年前の数学がAIのブラックボックスを開く

チップの設計であろうと、新しいタンパク質の考案であろうと、ニューラル ネットワークはほぼ何でもできるようです。

しかし、現在の AI の説明不可能な性質は、多くの場合、人々の不安を引き起こします。

写真

2月に行われた研究では、数学を利用して、ニューラルネットワークが気候の予測や乱気流のシミュレーションなどの複雑なタスクをどのように実行できるかを明らかにしました。これにより、ニューラル ネットワークの精度と学習速度も向上します。

ヒューストンのライス大学の流体力学者ペドラム・ハッサンザデ氏とその同僚は、フーリエ解析を使用して空間と時間にわたるデータの規則的なパターンを特定しようとした。

研究者たちは、大気中の空気や海洋の水に見られる複雑な乱流を分析し、それらの流れが時間の経過とともにどのように変化するかを予測するように訓練されたディープニューラルネットワークを採用し、ネットワークの支配方程式に対してフーリエ解析を実行した。

このネットワークには約 100 万個のパラメータがあり、約 40,000 個のカーネルに分散されています。研究者は、これらすべてのカーネルに対してフーリエ解析を実行した後、ニューラル ネットワークのパラメータがローパス フィルター、ハイパス フィルター、ガボール フィルターの組み合わせとして現れることを発見しました。

科学者たちは何年もの間、これらのフィルターを組み合わせて気候と乱気流を分析しようとしてきました。しかし、これらの組み合わせでは、複雑なシステムのモデル化に失敗することがよくあります。そして、ニューラル ネットワークはこれらのフィルターの適切な組み合わせを学習しました。

ハッサンザデ氏は、気候モデルや乱流モデルに加えて、フーリエ解析は他の複雑なシステムに作用するニューラルネットワークの研究にも役立つ可能性があると語る。これらには、ジェットエンジン内の燃焼、風力発電所の流れ、木星や他の惑星の大気、プラズマ、太陽と地球内部の対流などが含まれます。

デジタル死後の世界産業

これらの企業は、あなたの同意なしに、あなたのデータを使用してあなたを連れ戻す可能性があります。

これらの企業は、あなたの同意なしにあなたを連れ戻すためにあなたのデータを利用する可能性があります。

現在では、「デジタル死後産業」により、死者が残したデータをもとに死者を再現することが可能となっている。

たとえば、Microsoft は、特定の人々のソーシャル データを使用して会話型チャットボットを作成できる特許を保有しています。

この 21 ページの特許には、ソフトウェア システムとハードウェア システムの設計方法が記録されています。アイデアは、テキストまたは音声入力を使用してチャットボットをトレーニングし、チャットボットが特定の人間のアイデンティティをシミュレートして会話を行うことです。

5年以上前、研究者たちは57社からなるデジタル死後の世界産業を特定しました。現在、そのような企業としては、愛する人の声でインタラクティブな思い出を提供する企業（HereAfter）、ユーザーが亡くなった後に愛する人にあらかじめ決められたメッセージを送る企業（MyWishes）などがある。

さらに別のロボット企業は、亡くなった女性の「記憶、感情、信念」に基づいてロボットの胸像を作成し、それが人間と会話したり、大学の授業を受けたりした（Hanson Robotics）。

傍観者としては、興奮したり、恐怖を感じたり、あるいはただ肩をすくめたりするかもしれません。しかし、この時代に生きる人は皆、必ずデジタルの痕跡を残します。

Nvidiaの成功の秘密

過去 10 年間で、Nvidia は AI タスクにおけるチップのパフォーマンスを 1000 倍向上させることに成功しました。関連する最適化について見てみましょう。

写真

定量化

P100 より前、Nvidia GPU はモデルの重みを表すために単精度浮動小数点数を使用していましたが、機械学習の研究者は、多くの計算でより精度の低い数値を使用しても、ニューラル ネットワークが同様に正確な答えを出すことができるということをすぐに知りました。

これの明らかな利点は、処理するビット数が少ないほど、機械学習の主要な計算 (乗算と累算) を実行するロジックをより高速かつ小型で効率的にできることです。

そのため、P100 では、NVIDIA は FP16 データ形式を使用します。

時代は進み、現在では、Nvidia の主力 GPU である H100 は、8 ビット データ形式を使用して大規模ニューラル ネットワークの特定の部分を実行できるようになりました。

写真

しかし、これは万能の解決策ではありません。そのため、Nvidia の Hopper GPU アーキテクチャでは、実際には計算に 2 つの異なる FP8 形式が使用されています。1 つはわずかに精度が高く、もう 1 つは範囲がわずかに広い形式です。

複雑な指示

命令のフェッチとデコードのコストは単純な算術演算を実行するコストの何倍もかかるため、GPU は 1 つの命令で大量の計算を実行します。

まばら

トレーニング後、ニューラル ネットワークには、そもそも存在しなかった可能性のあるニューロンが多数存在します。一部のネットワークでは、精度を損なわずにニューロンの半分以上を削減できます。

計算負荷を軽減するためにこれらのネットワークを「スパース」にするのは難しい作業です。しかし、H100の前身であるA100では、Nvidiaは構造化スパース性と呼ばれるものを導入しました。

ハードウェアは、可能な 4 つのプルーニング イベントのうち 2 つを強制的に発生させ、行列計算を小さくすることができます。

参考文献:

2023年11月14日更新