生物学的ニューラルネットワークから人工ニューラルネットワークへ

今日、人工知能について話すとき、私たちは数学モデルを使用してデータからパターンの表現を抽出することで「学習」できる何らかの方法を期待しています。数ある「学習」手法の中でも、最も注目され、最も期待されているのが「ニューラルネットワーク」です。この数学的手法をニューラルネットワークと呼ぶことから、これは生物に広く存在するニューラルネットワークに関連していると考えられます。典型的な神経接続を調べてみましょう。各ニューロン（細胞）は外側に多くの枝を伸ばしています。入力を受け取るために使用される枝は樹状突起と呼ばれ、信号を出力するために使用される枝は軸索と呼ばれます。軸索は樹状突起に接続してシナプスを形成します。各ニューロンは、このようにして複数の他のニューロンに接続することができ、また、各ニューロンは複数の他のニューロンからの接続を受け入れることもできます。多数のニューロンが接続してネットワーク構造を形成します。感知機能と伸縮機能を備えた多数の体細胞が、神経線維を介してこのネットワーク構造の入力端と出力端に接続されています。このネットワーク構造を通じて、中枢神経系は「知性」を獲得し、少なくとも身体に利益を求め、害を回避する選択を促します。パターン認識における分類問題は典型的な選択肢です。これは分類問題を解決するための洞察を提供するようです。しかし、このメッシュはどのように機能するのでしょうか?生物学者は、外部刺激があると、ネットワーク内の特定のニューロンが順番に活性化されることを観察しました。ニューロンが活性化されるということは、ニューロンが外部に信号を送信するか、外部に送信される信号がより強力になることを意味します。利用を容易にするためには、活性化プロセスの数学的モデルを確立する必要がある。まず、シナプスに注目してみましょう。情報の伝達は、軸索から神経伝達物質が放出され、それが樹状突起に吸収されるか、樹状突起から軸索に電気信号が伝達されることによって完了します。シナプスによって伝達される情報をどのように表現するか?選択肢を与えることは数値で表されます。これは、情報を 1 つのカテゴリにのみ分類し、数値の大きさを使用してその定量的な属性を表すことを意味します。このような大雑把な単純化は意味があるのでしょうか?実際には、神経伝達物質にはさまざまな種類があります[1]。軸索の出力を多次元ベクトルとして表現する方が合理的であることは明らかです。しかし、この多次元ベクトルの各次元での情報伝達を実現するために、複数の仮想シナプスを導入することができます。これらはすべて同じ構造のシナプスなので、まずはそのうちの 1 つを調べてみませんか。次にニューロンの活性化を調べます。アクティベーションには、ジャンプ型と連続型の 2 つのモデル構造があります。ジャンプ活性化法は、閾値を導入し、何らかの処理を経て入力情報が閾値より大きい場合は活性化を意味し、閾値より小さい場合は非活性化を意味します。連続活性化モードとは、ニューロンが活性化と非活性化の 2 つの状態だけではなく、異なる活性化レベルを持つことを意味します。入力情報は、何らかの処理を経て、活性化レベルで直接出力されます。同様に、シナプスでは複数のメッセージが同時に送信される可能性が高いため（ほぼ確実に）、ニューロンには複数の活性化モデルが存在するべきでしょうか？この問題の解決策も繰り返しであり、仮想ニューロンを導入して、1 つのニューロンが 1 つの活性化モデルのみを表すようにします。この仮想ニューロンがすべての樹状突起から入力情報を受け取り、活性化モデルによって処理された後に 1 次元の活性化レベルを生成するようにします。何？アクティベーションレベルも多次元である必要がありますか?それは簡単です。仮想ニューロンを導入するだけで、各ニューロンは 1 つの次元のアクティブ化レベルのみを生成します。複数の次元が 1 つの次元になる場合、数学モデルは明らかに加重合計になり、各次元の重みを見つけて、それらを乗算して合計します。しかし、このモデルは線形であり、すべての入力ポイントと出力ポイントは超平面上にあります。単純すぎませんか？これらの重みパラメータをどのように調整しても、表現できる状況は平面です。次に、この加重和を入力とし、その出力を活性化レベルとする非線形[2]関数を導入します。この非線形関数は活性化関数と呼ばれます。この時点で、ニューロンの数学的モデルが初めて確立されました。活性化関数をどのように選択するか?残念ながら、答えは分かりません。生物学的ニューラルネットワークに関する現在の理解では、活性化関数を決定するための洞察が得られません。わからなければ、自由にアレンジしてください。初期の頃によく使われていた活性化関数は、シグモイドでした。関数のグラフと式は次のとおりです。これは (0,0.5) に関して対称な関数です。入力として重み付けされた合計によって形成される超平面が常に (0,0.5) に関して対称であるというのは、少し気がかりです。次に、活性化関数の独立変数にオフセットを追加します。これにより、関数イメージが Z 軸上でシフトします。この時点で、ニューラルネットワークの基本要素 (入力を処理して出力を生成するニューロンモデル) が確立されました。活性化関数のオフセットにより、超平面が原点から離れることが可能になりますが、これは数学的な意味合いのみであり、実際には、ジャンプ活性化法のモデリングも完了します。上の図を参考に、青い水平線より上の値だけが活性化を示すと仮定すると、青い画像は継続的に活性化された状態、緑の画像は入力がある限り活性化されていることを示し、赤い部分は入力値が5を超えたときに突然活性化状態になり、ジャンプしていることを示しています。実際の操作では、活性化関数の選択には一定の指針があり、層の数が深くなるほど、活性化関数は平坦になります。この原理は、ニューラルネットワークモデルに対する深い洞察から生まれたものではなく、バックプロパゲーション (BP) トレーニング方法の欠陥から生まれたものです。 (この欠陥を説明するために新しい記事を開き、具体的に説明するコードを添付します。) しかし、生物学的ニューラルネットワークをより深く理解することで、より優れた活性化関数モデルを思いつくことができるでしょうか?答えはまだ不明であり、このニューラルネットワークモデルを放棄する必要がある可能性さえあります。ニューロンを使えばネットワークを構築できます。ネットワークを構築する前に、ニューロンのグラフィカル構造が簡略化されます。下の図に示すように、最終的には円を使用してニューロンを表し、矢印付きの線を使用してニューロンが受信できる入力と生成できる出力を表します。ニューロンは入力を処理して出力を生成するモデルなので、あるニューロンの出力を別のニューロンの入力に任意に接続することは可能ですか?もちろん！畳み込みニューラルネットワーク (CNN) と再帰型ニューラルネットワーク (RNN) は、それぞれコンピュータービジョンと自然言語処理で大きな役割を果たす 2 つのニューラルネットワーク構造であり、ニューラルネットワークモデルのこの柔軟性から派生したものです。もちろん、この柔軟性は、「ディープラーニングの専門家」が学業成績を弱める手段でもあります。。モデルの解決とプログラミングの実装を容易にするために、シンプルな階層構造のネットワーク構築方法があります。特定の層のニューロンは、直前の層のニューロンからの入力のみを受信し、完全に受け入れます。この原理を使用して構築されたニューラルネットワークは、完全接続ニューラルネットワークと呼ばれます。生物学的ニューラルネットワークを数学的にモデル化する目的である分類に戻りましょう。ニューラルネットワークを分類にどのように使用できますか?分類を数学言語で記述すると、特徴空間からカテゴリ空間へのマッピングを見つけます。特徴空間の構築は比較的簡単です。例えば、ある人が男性か女性かを判断するには、体重、身長、胸囲、ウエスト、ヒップの周囲長で構成される特徴空間を利用できます。カテゴリ空間を確立するには、2 つの明らかなアプローチがあります。最初のタイプでは、1 つの次元のみが使用されます。女性は 0、男性は 1 です。 2 番目の方法では 2 つの次元を使用し、値の大きい次元がそのカテゴリに属すると見なされます (例: (1,0) は女性、(0,1) は男性を表します)。 2 番目のスキームは通常、カテゴリ空間を表すために使用され、1 番目のスキームは回帰問題を解決するために使用されます。特別な理由はありません。単に、2 番目の方法の方が最適化を達成するための目的関数モデル (通常は損失関数) を確立するのが簡単だからです。これは、解決する問題を分類問題に変換しようとする理由でもあります。ニューラルネットワークの入力層のニューロン数を特徴空間の次元と等しくし、出力層のニューロン数をカテゴリ空間の次元と等しくし、中間層を任意に配置するものとします。次に、既知のデータをモデルに取り込み、モデルパラメータを解決します。不確かな性別の (体重、身長、胸囲、ウエスト囲、ヒップ囲) をモデルに代入し、解 (女性、男性) を見つけます。次に、どの次元の値が大きいかを判断します。女性 > 男性の場合、入力は女性の特徴であると見なされ、男性 > 女性の場合、入力は男性の特徴であると見なされます。 [1] バイリンガルニューロンはグルタミン酸とGABAを放出する https://www.nature.com/articles/nn.3840

[2] 活性化関数は区分線形関数でもよい。

<<: 人工知能は正面の顔に基づいて複数の横顔を生成し、生成的敵対ネットワークを使用して多角度の側面顔を生成します。

>>: Keras 対 PyTorch: どちらが「ナンバーワン」のディープラーニングフレームワークでしょうか?