人工知能の数学的基礎 - 線形代数における行列

この記事は、行列の性質、行列の原理、行列の応用という 3 つの側面から、人工知能の数学的基礎である線形代数における行列を理解するのに役立ちます。

1. マトリックスの本質

ドット積: ベクトル間の基本的な演算として、ドット積は、対応する要素を乗算して合計することで、2 つのベクトル間の類似性と方向関係を表します。

ドット積

定義

ドット積は、スカラー積またはドット積とも呼ばれ、同じ次元の 2 つのベクトル間の演算です。 2 つの n 次元ベクトル A と B の場合、ドット積は対応する要素を乗算して合計した結果です。

2. 象徴的な表現

ドット積は通常、記号「·」または「<A, B>」を使用して表されます。つまり、A と B が 2 つのベクトルである場合、それらのドット積は A·B または <A, B> として表すことができます。

3. 計算方法

1. ベクトル A と B の次元が同じであること、つまり両方に n 個の要素があることを確認します。
2. ベクトル A と B の対応する要素を乗算して、n 個の積を取得します。
3. これらの n 個の積を加算して、最終的なドット積の結果を取得します。

数式は、A·B = a1b1 + a2b2 + ... + an*bn です。ここで、ai と bi はそれぞれベクトル A と B の i 番目の要素です。

行列: 行列は数値の長方形配列です。特定の演算規則 (行列の乗算など) を通じて、数学、科学、工学におけるデータ変換と問題解決のための重要なツールです。

マトリックス

定義

行列は、数学、物理学、工学、コンピューターサイエンスなど、多くの分野で応用される値の長方形配列です。行列は行と列で構成され、各要素は行列内で明確な位置を持ちます。

2. 象徴的な表現

行列は通常、A、B、C などの大文字の太字で表されます。行列のサイズは、行と列の数によって決まります。m×n 行列には、m 行と n 列があります。

行列内の各値は要素と呼ばれます。要素の位置は行と列によって決定され、通常は下付き文字で示されます。たとえば、行列 A では、i 行目と j 列目の要素は A[i][j] として表すことができます。

行列の乗算

行列の乗算は、通常の要素ごとの乗算とは異なる特別な演算です。 2 つの行列 A と B の場合、A の列数が B の行数と等しい場合にのみ、それらの行列を乗算できます。結果として得られる行列 C の次元は、A の行数と B の列数を掛けた値になります。

行列乗算の計算は次の手順で行われます。

1. 行列 A の列数が行列 B の行数と等しいことを確認します。等しくない場合は、行列の乗算は実行できません。
2. 行列 A と同じ行数と行列 B と同じ列数を持つ新しい行列 C を作成します。
3. 行列Cの各要素C[i][j]について、行列Aのi行目と行列Bのj列目の対応する要素の積の合計として計算します。つまり、C[i][j] = A[i][k1] * B[k1][j] + A[i][k2] * B[k2][j] + ... + A[i][kn] * B[kn][j]であり、k1、k2、...、knは行列Aの列インデックスまたは行列Bの行インデックスです。    

行列の乗算

2. マトリックスの原理

線形方程式の解法: N 変数の線形方程式を行列演算に変換すると、解法のプロセスが簡素化され、計算効率が向上するため、多くの分野で広く使用されています。

同次線形方程式

1. 線形方程式の基本概念

1. 定義: 線形方程式系は、線形方程式 (つまり、未知数がすべて 1 次である方程式) の集合です。各方程式は、ax + by + ... + z = c の形式で表すことができます。ここで、a、b、... は定数、x、y、...、z は未知数です。
2. 表現: 線形方程式系は通常、行列形式で表現できます。具体的には、連立方程式の係数を抽出して係数行列を形成し、定数項を定数ベクトルに形成することで、元の連立方程式を行列方程式に変換できます。

2. 線形方程式の行列表現

1. 係数行列: 線形システムの各方程式について、未知数の前の係数を抽出し、方程式の順序に従って行列に並べます。これを係数行列 (A と表記) と呼びます。
2. 定数ベクトル：線形方程式の定数項（つまり、等号の右側の値）は、方程式の順序に従って列ベクトルに配置され、定数ベクトル（b で示される）と呼ばれます。
3. 未知ベクトル: 要素数が線形方程式の未知数の数と同じ列ベクトルを定義します。これは未知数の解を表すために使用され、未知ベクトル (x と表記) と呼ばれます。
4. 行列方程式: 係数行列、定数ベクトル、および未知ベクトルを組み合わせて、行列方程式 Ax = b を形成します。ここで、A は係数行列、x は未知ベクトル、b は定数ベクトルです。

3. 線形方程式の解

1. ガウス消去法:

• 一連の行変換（行の交換、行の倍増、行の倍増、行の減算）を通じて、係数行列は上三角行列または対角行列に変換されます。
• 最後の行から始めて、ステップごとに逆代入して未知数を解きます。

2. 行列の逆行列:

• 係数行列 A が可逆である場合（つまり、逆行列 A^(-1) が存在する場合）、逆行列を計算することによって未知のベクトルを直接解くことができます。つまり、x = A^(-1)b です。
• 注意: すべての行列に逆行列があるわけではありません。逆行列が可能なのはフルランク行列 (行列式が 0 ではない) のみです。

3. クラマーの法則:

• 行列式の特性を利用して、係数行列の行列式と随伴行列を計算することで線形方程式を解くことができます。
• クラメールの法則はあらゆるサイズの線形方程式に適用できますが、未知数の数に応じて計算量が大幅に増加します。

主成分分析 (PCA): 主成分分析 (PCA) は、データセットを簡素化し、その固有の構造を明らかにするために使用される統計手法です。

主成分分析（PCA）

1. データセットを標準化する

PCA を開始する前に、元のデータセットは通常正規化されます。正規化されたデータセットは平均がゼロで分散が 1 になります。これは、後続の計算と分析にとって重要です。

出力: 正規化されたデータセット行列。

2. 共分散行列

データセットを正規化した後、共分散行列を計算します。共分散行列は、データセット内の特徴間の関係と変動の大きさを捉えます。

出力: 共分散行列。

3. 固有値と固有ベクトル

共分散行列に対して固有値分解を実行することにより、PCA は固有値と対応する固有ベクトルのセットを取得します。固有値の大きさは、対応する固有ベクトルの方向におけるデータの変化の重要性を反映します。

出力:

• 固有値のリスト（降順）。
• 対応する固有ベクトル行列。各列は固有ベクトルです。

4. 主成分

固有値の大きさに応じて、最初のk個の最大の固有値に対応する固有ベクトルが主成分として選択されます。これらの主成分は、元のデータを表す新しい低次元空間を形成します。

出力: 主成分行列。各列は主成分 (つまり、選択された固有ベクトル) です。

5. 予測データ

元のデータは主成分で構成された低次元空間に投影され、次元削減後のデータ表現が得られます。

出力: 元のデータセットよりも次元が低い、投影されたデータセット マトリックス。

3. マトリックスの応用

マルコフ行列: マルコフ行列は、システム内の状態間の遷移確率を表します。これはマルコフ連鎖モデルの中核であり、予測、意思決定、パターン認識、強化学習などの分野で広く使用されています。

 def print_markov_matrix(matrix, state_labels): """结构化输出马尔可夫矩阵，并附带状态标签。 :param matrix: 马尔可夫矩阵:param state_labels: 状态标签列表""" num_states = len(matrix) print(f"马尔可夫状态转移矩阵（{num_states}个状态）:") print(" " + " ".join(state_labels)) # 打印状态标签头部for i in range(num_states): row_data = [f"{matrix[i][j]:.2f}" for j in range(num_states)] print(f"{state_labels[i]}: {' '.join(row_data)}") # 示例：天气预测模型的状态转移矩阵states = ['晴天', '多云', '雨天'] transition_matrix = [ [0.8, 0.15, 0.05], # 晴天转移到其他天气的概率[0.2, 0.7, 0.1], # 多云转移到其他天气的概率[0.1, 0.3, 0.6] # 雨天转移到其他天气的概率] print_markov_matrix(transition_matrix, states)

状態遷移行列:

例:

• この行列は、気象予測モデルにおける状態遷移確率を表します。
• モデルには晴れ、曇り、雨の 3 つの状態があります。
• マトリックス内の各要素は、現在の状態から次の状態に移行する確率を表します。
• たとえば、最初の行は、今日が晴れの場合、明日も晴れる確率は 0.8、曇りになる確率は 0.15、雨になる確率は 0.05 であることを示しています。

AIへの応用:

1. 予報: このマルコフ行列を使用すると、今後数日間の気象条件を予測できます。状態遷移確率を継続的に適用することで、現在の気象状態から始めて、今後数日間に各気象状態が発生する可能性を推定できます。
2. 意思決定支援: 農業、観光、輸送な​​どの分野では、天気予報に基づくマルコフモデルが関連する意思決定のためのデータサポートを提供できます。たとえば、農家は予測される気象条件に基づいて種を蒔くか収穫するかを決定でき、旅行会社は気象の傾向に基づいて旅行ルートや計画を作成できます。
3. 強化学習：マルコフ決定プロセスでは、状態遷移行列は環境モデルの一部であり、エージェントはこれらの遷移確率を学習して、累積報酬を最大化するための最適な戦略を開発します。

畳み込みとプーリング操作: 畳み込みはフィルターを通じてローカルな特徴を抽出し、プーリングはデータの次元を削減して重要な情報を保持します。この 2 つを組み合わせることで、ディープラーニングにおける画像、テキスト、音声などのデータの効率的な処理と特徴学習が促進されます。

コンセプトの説明:

• 畳み込み: ディープラーニングとコンピューター ビジョンでは、畳み込みは画像または信号内のローカルな特徴を抽出するために使用される数学的演算です。これは、入力データ上をスライドし、要素ごとに乗算を実行するフィルター (または畳み込みカーネル) を適用することによって行われます。
• プーリング: プーリングは、重要な情報を保持しながらデータの空間次元 (高さと幅) を削減するために使用されるダウンサンプリング手法です。これは、入力データのさまざまな領域に集計関数 (最大値、平均など) を適用することによって行われます。

畳み込み演算

• 入力: 画像 (または他の種類のデータ) のローカル領域が要素ごとに畳み込みカーネルで乗算されます。
• 出力: 畳み込み後の特徴マップは、畳み込みカーネルに類似した入力データの特徴を反映します。
• 用途: 画像処理では、畳み込みはエッジ検出、ぼかし、シャープ化などのタスクに使用できます。ディープラーニングでは、畳み込みニューラル ネットワーク (CNN) が畳み込み層を使用して、画像内の有用な特徴を自動的に学習します。

畳み込み演算

プーリング操作

• 入力: 畳み込み後の特徴マップ。
• 出力: ダウンサンプリングされた特徴マップは空間次元が縮小されますが、重要な情報は保持されます。
• 用途: プーリング層は通常、畳み込み層の後に配置され、計算量、メモリ使用量、過剰適合のリスクを削減しながら、モデルの一般化能力を向上させます。

プーリング操作

AIへの応用:

1. 画像認識: 畳み込みニューラル ネットワーク (CNN) は、画像認識タスクで最も一般的に使用されるモデルの 1 つです。畳み込み層とプーリング層を交互に使用することで、画像内の階層的な特徴表現を自動的に学習し、効率的な画像分類、物体検出などのタスクを実現します。
2. 自然言語処理: 畳み込みとプーリングはもともと画像処理用に設計されましたが、自然言語処理タスクにも効果的に適用されています。たとえば、畳み込み演算を使用してテキストから n-gram の特徴を抽出したり、文レベルの分類タスクを実行したりできます。また、プーリング演算を使用して、可変長のテキスト シーケンスをダウンサンプリングし、固定サイズのモデルに入力することもできます。
3. 音声認識: 音声認識の分野では、畳み込みとプーリング操作を使用して、時間周波数表現 (メル周波数ケプストラム係数 MFCC など) などのオーディオ信号のローカル特徴を抽出したり、元の波形から直接特徴を学習したりできます。これらの機能はさらに、音声認識システムやオーディオ分類モデルの構築にも使用できます。