このツールは、テンソルの形状エラーを数秒で検出し、ML モデルのトレーニングが無駄になるのを防ぐことができます。

[[442491]]

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

長い時間をかけてモデルをトレーニングした結果、テンソルの形状が誤って定義されていることが判明したのは、きっとイライラしたことでしょう。

では、この状況に対するより良い解決策はあるのでしょうか?

最近、韓国のソウル国立大学の研究者らが「強力なツール」であるPyTeaを開発しました。

研究者によると、モデルをトレーニングする前に、数秒以内に潜在的なテンソル形状エラーを静的に分析するのに役立つとのことです。

では、PyTea はどのようにそれを実現するのでしょうか? 信頼できるのでしょうか? 調べてみましょう。

テンソルの形状が間違っているとなぜ問題になるのでしょうか?

ニューラルネットワークには一連の行列計算が含まれます。前の行列の列数は、次の行列の行数と一致している必要があります。次元が一致しないと、後続の操作は実行できません。

上記のコードは典型的なテンソル形状エラーです。[B x 120] * [80 x 10] は行列演算を実行できません。

PyTorch、TensorFlow、Keras のいずれであっても、ニューラルネットワークをトレーニングするときには、そのほとんどはグラフのプロセスに従います。

まず、一連のニューラルネットワークレイヤー (つまり、マトリックス) を定義し、次にニューラルネットワークモジュールを合成します...

では、なぜ PyTea が必要なのでしょうか?

以前は、モデルが大量のデータを読み取り、トレーニングを開始し、コードが間違ったテンソルに対して実行された場合にのみ、テンソルの形状定義のエラーが発見されました。

モデルは非常に複雑で、トレーニングデータは非常に大きいため、エラーを発見するための時間コストは非常に高くなります。コードがバックグラウンドでトレーニング用に残され、何か問題が発生しても誰も気付かないこともあります...

PyTea は、モデルコードを実行する前に形状エラーを分析できるため、この問題を効果的に回避できます。

ネットユーザーの間ではすでに熱い議論が巻き起こっている。

PyTea はどのように機能し、エラーを効果的に検出できますか?

さまざまな制約の影響を受け、コード実行パスは多数存在し、データによってパスも異なります。

したがって、PyTea は、すべての可能な実行パスを静的にスキャンし、テンソルの変更を追跡し、各テンソルの形状の正確で保守的な範囲を推測する必要があります。

上の図は PyTea の全体的なアーキテクチャを示しており、言語の翻訳、制約の収集、ソルバーの判断、フィードバックの 4 つのステップに分かれています。

まず、PyTea は元の Python コードをカーネル言語に変換します。 PyTea 内部表現 (PyTea IR)。

次に、PyTea は PyTea IR の可能なすべての実行パスをトレースし、テンソルの形状に関する制約を収集します。

制約が満たされているかどうかの判断は、オンライン分析とオフライン分析の2つのステップに分かれています。

node.js (TypeScript/JavaScript) のオンラインプロファイリング: テンソルシェイプ値の不一致と API 関数の誤用を検出します。 PyTea は問題を発見すると、現在の場所で停止し、ユーザーにエラーを報告します。

オフライン分析 Z3/Python: オンライン分析に問題がない場合、PyTea は収集された制約を SMT (Satisfiability Modulo Theories) ソルバー Z3 に渡します。ソルバーは、各パスの制約が満たされるかどうかを確認する役割を担います。満たされない場合は、最初のエラーパスの制約をユーザーに返します。

ソルバーが長時間沈黙していると、PyTea は問題があるかどうかを認識せずに返します。

しかし、すべての可能なパスを追跡するのは指数関数的な作業であり、複雑なニューラルネットワークではパス爆発の問題が必ず発生します。

たとえば、この例では、ネットワークの最終的な構造は 24 個の同一モジュールブロック (行 17) で構成されているため、可能なパスは最大1600 万通りあります。