テクノロジーのホットスポット: 言語的機械学習

[[186484]]

昨年から半年以上機械学習を勉強してきましたが、そろそろ総括したいと思います。

これまでのプログラミング経験では、入力に対して正確で制御可能かつ説明可能な出力が必要でした。たとえば、1 + 1 を入力として取ると、結果は正確に 2 の出力になります。そして、パラメータをどのように調整しても、結果が 2 になることを望み、結果が 3 ではなく 2 である理由を明確に説明できます。この概念は、従来の IT 業界では非常に重要です。すべてが時計のように正確で、すべてが白黒です。この厳密な入力と出力により、プログラム用の自動テスト ツールが数多く開発されました。プログラムがどのように実行されても、同じ入力条件で同じ正確で精密な出力が得られるはずです。

しかし、機械学習の世界に入ると、すべてが精度率に基づいて行われます。つまり、モデルが不完全であっても、1 + 1 の結果は 2.01 または 1.98 になる可能性があります。モデルが最高のパフォーマンスを達成しようとしている場合、過剰適合が発生する可能性があります。つまり、モデルが特化されすぎているため、トレーニング データと非常によく一致しますが、普遍性が失われ、データが変更されるとエラーが発生します。

例えば、ある男の子が女の子を好きだと言ったとします。その女の子は身長178cm、遼寧省撫順市出身、専攻はコンピューターサイエンスです。機械学習が過剰適合すると、次のようなモデルが出力されます。

身長＝178、出身地＝撫順、専攻＝コンピューターなら、私は好きです。

このモデルを個別のケースに合わせて使用​​すると、このモデルは完璧です。

しかし、女の子の身長が179cmの場合、モデルは男の子が彼女を好きではないと言うでしょう。実は男子の場合、178cmと179cmの間には大きな差はありません。しかし、コンピューターは男の子が女の子を好きであるというモデルを正確に提供しようとしたため、過剰適合モデルを作成しました。

もちろん、一般的にはコンピュータ モデルは柔軟である必要があります。

身長 [175cm, 185cm]

原産地は中国東北部

専攻はIT関連

この場合、モデルは男子が好まない女子を誤って特定しますが、サンプルの大部分は依然として比較的正確に予測できます。

機械学習は100%の精度を追求するのではなく、許容できる精度率を追求します。

もちろん、場合によっては、何らかのリスク戦略も必要です。たとえば、人工知能がユーザーにクレジットカードを発行できるかどうかを判断する場合、その人が信頼できる人物である可能性が 51% ある場合にカードが発行されるという意味ではなく、その人が信頼できる人物である可能性が 95% ある場合にカードが発行されるという意味です。機械が示す値はあくまでも推定値であり、リスクは依然として手動で管理する必要があります。

機械学習はハイテクな IT スキルだと考える人が多いですが、実際には、優れた機械学習モデルには、その分野のビジネス知識が依然として必要です。さらに、プログラムの作成を支援するツールが数多くあります。プログラミングのスキルはまったく必要ありません。マシンにデータを「入力」し、パラメータを調整するだけで結果を得ることができます。

どのようなデータを機械に「供給」すべきか、どのデータの特徴値が有用か、どの特徴値が無価値か、これらは分野の専門家が考える質問です。

男の子が女の子を好きになるとき、外見、体型、気質がより重要な特徴となり、彼女がコカコーラを好むかペプシを好むかは基本的に無意味になります。データに、女の子が特定のブランドのコーラを好むというレポートのみが含まれている場合、そのようなデータでトレーニングされたモデルは意味をなさなくなります。もちろん、固有値が多数ある場合でも、どの固有値を使用するかを選択するのに役立つ自動計算がいくつかあります (主原因分析)。

機械学習では、単純な概念から複雑な概念が拡張されることがよくあります。

畳み込みニューラル ネットワークをはじめとするいくつかのニューラル ネットワークの概念はすべて、パーセプトロンと呼ばれるこの小さなものから来ています。

パーセプトロンの出力は、入力と重みによって決まります。教師あり学習では、入力と出力が既知であり、機械学習は、パーセプトロンの出力 (モデル) と実際の出力 (サンプル) が可能な限り一致するように、重みを継続的に調整します。このプロセスでは、学習結果がこれらの重みになります。重みがわかると、モデルが完成します。パーセプトロンの最も単純な応用例の 1 つは線形ユニットです。

単一のパーセプトロンは弱いですが、何万ものパーセプトロンが層ごとに積み重なったらどうなるでしょうか? 。これらの小さな生き物が強力なニューラル ネットワークになります。

ベイズ同志とマルコフ同志は確率に関する機械学習について多くのことを共有しました。

ベイズ***の寄与は次のとおりです。

「あなたの家の隣に王さん（B）が住んでいる」とすると、あなたの子供が王さん（A）に似ている確率は

これは「あなたの子供は隣の王さんに似ています（A）」「あなたの隣人は王さん（B）の家に住んでいます」と同等です。

掛け算: 「あなたの子供が隣のワンさんに似ている確率 (A)」(ワンさんが隣に住んでいるかどうかに関係なく)

「B」があなたの隣に住んでいる確率で割った値

もちろん、この正統的な記述には事前確率と事後確率が含まれます。

最も単純なベルヌーイ分布から異常なディリクレ分布まで、多くの機械学習手法がモデル***サンプリングの分布確率を追求しています。言い換えれば、確率的な観点から、私たちが作成したモデルが実際に目にするサンプルに最も類似したものになることを期待しています。 （***おそらく）

たとえば、コインを投げたときに表が出る可能性を表すモデルを作成したいとします。サンプルから、10 回のうち 7 回はコインが表を上にして現れることがわかる場合、コインが表を上にして現れる確率は 70% であると言えます。確率論的な観点から見ると、このモデルの結論はサンプルと比較して最も可能性の高いものです。

私たちが作るモデルは、確率の観点から最も可能性の高いシナリオである実際のサンプルの結果を追求するものです。

最も高速な勾配降下法は、ほぼすべての反復アルゴリズムに登場します。

なぜ勾配降下法がそれほど重要なのでしょうか? ほとんどのアルゴリズムは損失関数を可能な限り削減するように設計されているからです。損失関数を削減する方法は、パラメータ (重み) を継続的に調整することです。重み調整の方向は、勾配降下法の方向と一致しています。もちろん、最速の勾配降下法はグローバルクライマックスに収束しない可能性があります。 （地球クライマックス点に収束できるかどうかは初期位置に依存する）

機械学習と自然言語処理も切り離せないものです。多くの自然言語処理では、機械学習の概念が広く使用されます。マルコフ連鎖、条件付きランダムフィールド、ディリクレ分布はすべて自然言語処理の基本理論です。