12 のシナリオ アプリケーション、100 を超えるアルゴリズム、AI はどのようにして経済を征服するのか?

[[328065]]

2020年2月7日、第34回アメリカ人工知能学会年次会議（AAAI 2020）にディープラーニングの三大巨頭が集結し、「コンピュータービジョン」と「機械学習」が両サイドに並び、最優秀論文を競い合いました。最後に、清華大学と南洋理工大学の「分割可能品と分割不可能品が混在する商品の公平な分割」と題する論文が最優秀学生論文賞を受賞しました。

論文アドレス: https://arxiv.org/pdf/1911.07048.pdf

このとき、人々は突然目を覚ましました。ディープラーニングはゲーム理論や経済学の分野で長い間活用されてきたことが判明しました。論文の採択率から判断すると、3本に1本の論文の採択率がすでにトップになっています。これはベテラン経済学者の目には信じられないことのように思えます。結局のところ、経済研究の焦点は予測ではなく、経済現象の説明と経済活動を支配する法則の解明にあります。より具体的に言えば、ディープラーニングのブラックボックス的な性質は、最適化されたパラメータを効果的に説明できず、パラメータが経済法則にどのように影響するかという具体的なメカニズムも説明できません。

しかし、AI経済学者によるディープラーニングの活用には独特の魅力もあります。

税設計のための強化学習

2 段階の学習フレームワーク スタンフォード大学の准教授である Richard Socher 氏は、元の経済環境を使用して税制を設計する、インテリジェント エージェント (労働者) と税制 (政府) を含む 2 段階の強化学習フレームワークを開発しました。

動的にシミュレートされた世界では、木材と石材の 2 つのリソースのみが設定されており、リソースの再生速度は限られていると想定されます。労働者は世界中をランダムに歩き回って資源を集め、家を買ったり売ったり建てたりしてお金を稼ぎます。お金は効用（満足度）をもたらしますが、家を建てる労力は効用を減少させます。

また、異なる技能を持つ労働者は労働効率が異なるという前提のもと、労働者が稼いだお金は課税対象となり、所得税は労働者全員に平等に分配される制度となっています。

平等な分配の仕組みには労働者の戦略的ビジョンが必要です。シミュレートされた世界の労働者が効用を最大化することを目指すと、低スキルの労働者が自分で収集して販売し、高スキルの労働者が材料を購入して構築するというシステム全体が出現します。

経済学ではこれを「専門化」と呼び、システムの効用を最大化します。

モデル全体の動作中、強化学習の最適な税金設計が報酬モデルとして使用されます。政策立案者は、税率を設定して労働者の税引き後所得水準に影響を与えることができます。労働者は、資源の売買や住宅の建設によってお金（効用）を稼ぎます。強化学習の報酬目標は、システム全体の効用を最大化することです。

この報酬目標により、労働者と政策立案者の行動は、システム全体に対して内部的および外部的な課題を生み出します。

内側のループでは、労働者は働きながら、お金を稼ぎながら、税金を支払いながら、常に行動を調整します。このとき、固定の税率が与えられると、問題は固定報酬関数を持つ標準的なマルチエージェント強化学習問題になります。

外部サイクルでは、社会目標を最適化するために税制が調整されます。これにより、強化学習エージェントが変化するユーティリティ環境に常に適応する必要がある非静的な学習環境が作成されます。

最後に、著者らは、税率表（米国の所得税の課税方法に類似）の学習やエントロピー正則化などの手法を使用することで、安定した収束点を見つけることができることを発見しました。実験結果によると、強化学習を使用する AI エコノミストは、生産性をわずか 11% 低下させるだけで平等性を 47% 向上させることができることがわかりました。

仮想世界で実際の経済状況をシミュレートし、より優れたシステムを設計することは、AI と経済を組み合わせる 1 つの方法にすぎません。実際、深層強化学習は、リスクパラメータと不確実性が増大する実際の経済問題に直面した場合でも、より優れたパフォーマンスと高い精度を提供できます。

経済におけるディープラーニングの応用

論文をダウンロード: https://arxiv.org/ftp/arxiv/papers/2004/2004.01509.pdf

論文「経済学における深層強化学習の方法と応用の包括的レビュー」では、ドレスデン工科大学とオックスフォード・ブルックス大学の研究者が経済学における強化学習の活用について詳しく説明しています。

株価、オークションの仕組み、マクロ経済学など 12 の分野を調査した結果、ディープラーニング アルゴリズムは、精度と堅牢性の点で従来の経済および統計アルゴリズムよりも優れていることがわかりました。

1. ディープラーニングによる株価評価

株価は非常に不確実でリスクが高い。株価予測を克服するモデルを開発できれば、モデル作成者に莫大な利益をもたらすことは間違いない。ディープラーニングを使用して株価を予測する最新の進捗状況を次の表に示します。

株価の変動にとって感情は間違いなく非常に重要です。現在の研究のほとんどは非効率的な感情データセットに依存しており、モデルのパフォーマンスが低下することがよくあります。[68]で提案された2ストリームゲート型リカレントユニットは、LSTMモデルよりも優れたパフォーマンスを発揮することがわかりました。さらに、彼らはStock2Vec埋め込みモデルを提案し、ハーバードIV-4を使用しながら市場リスクの観点からモデルの堅牢性を証明しました。

• [69]は株価予測のための注目のディープラーニング技術を提案した。主な革新は、フィルタリング技術がディープラーニングモデルに新しい入力機能を与えることである。
• [70] 株価パターンを分析する際には、株価の流れを予測するためにディープラーニング技術が使用されました。具体的には、時系列技術を使用してパターンを見つけるDNNディープラーニングアルゴリズムが設計されましたが、精度は86％でした。ただし、DNN には過剰適合や複雑性の高さなどの欠点があるため、CNN と RNN が推奨されます。
• [71]の研究では、時系列の概念を使用してデータを表現する新しい多層深層学習手法が採用され、現在の株価の終値を予測しました。

2. ディープラーニング下の保険業界

現在、保険業界が直面している問題は、不正検出をいかに効果的に管理するかということです。したがって、機械学習技術は、この問題に対処するためにあらゆる種類のリスクを測定するアルゴリズムを徐々に開発してきました。

• [75]らはソーシャルネットワーク分析を用いて、大規模なデータセットから自動車保険の職業上の詐欺を検出した。彼らはサイクルの概念を利用して間接衝突ネットワークを構築し、疑わしいサイクルを識別して、より現実的な市場想定の下でより多くの利益を獲得できるようにしました。さらに、実際のデータから得られた不正の可能性によって、疑わしい成分の配合方法を評価しました。
• [76]らは、LDAとDNN技術を組み合わせて事故のテキスト特徴を抽出し、その性能が従来の方法よりも優れていることを発見した。さらに、LDA が予測プロセスに与える影響を考慮するために、LDA の有無にかかわらず、精度と精密度のパフォーマンス要因を使用して結果を評価しました。
• [77]らは、自動コーディング技術とテレマティクスデータ値を組み合わせて保険顧客に関連するリスクを予測するアルゴリズムを提案した。

3. ディープラーニングによるオークションの仕組み

オークションの仕組みの核心は、入札者が利益を最大化するために最適な戦略を計画する必要があることです。最新の研究結果は次の表に示されています。

• [83]らは[82]（拡張ラグランジュ法）の結果を予算制約とベイズ適合性の観点から拡張した。彼らのアプローチは、ニューラル ネットワークが異なる評価分布を持つ複数の設定問題に焦点を当てることで、新しい最適収益オークションを効果的に設計できることを示しています。
• [84]らはデータ指向アプローチを採用した。具体的なアプローチ: 各入札者に複数の入札を適用できるという前提の下で、戦略的な専門知識を活用します。
• [85]らは、多層ニューラルネットワーク技術を用いて効果的なオークションメカニズムを構築し、それをモバイルブロックチェーンネットワークに適用した。
• [86]は、複数の入札者のための互換性のあるオークションメカニズムを設計し、多層ニューラルネットワークを使用してメカニズムをエンコードすることで利益を最大化しました。線形計画法に基づく方法と比較して、拡張ラグランジュ手法を使用する方法は、より複雑なタスクを解決できます。

4. ディープラーニングによる銀行業務とオンライン市場

オンラインショッピングやクレジットカードのシナリオでは、不正検出の要件が非常に高くなっています。強化学習の最先端の研究結果を次の表に示します。

• [90] AE（自動エンコーディング）法とRBM（ボルツマンマシン）法が大量のデータセットの下でクレジットカードのリスクを正確に検出できることを確認するために基礎実験が適用されました。しかし、ディープラーニングでは、モデルを構築するときに結果に影響を与えるさまざまなパラメータを使用する必要があります。
• [87]で提案された研究では、オートエンコーダアルゴリズムを設計し、世界中の日常的な取引を処理できる効率的な自動化ツールを構築しました。このモデルにより、研究者はアンダーサンプリングなどのデータバランス調整方法を使用せずに、不均衡なデータセットについてレポートすることができます。
• [89]は、自然言語処理（NLP）技術を使用して、さまざまなデータソース（ニュースやツイートなど）に関連付けられた複雑なメカニズムを形成し、マネーロンダリング活動を効果的に検出できる新しいフレームワークを設計しました。

5. ディープラーニングによるマクロ経済学

マクロ経済学において最も重要な課題は、失業率やGDP成長率などの指標予測です。ニューラルネットワーク方式を用いた最新の研究結果が下の図に示されています。

• [92]は、非常に低い精度要件で失業予測の精度を向上させるためにディープニューラルアーキテクチャを使用する、非常に堅牢なモデルであるエンコーダーデコーダーモデルを提案した。さらに、これに基づいて、平均絶対誤差 (MAE) 値も結果の評価に使用されます。
• ハイダーとハニフ[93]はインフレを予測するニューラルネットワークを構築し、その結果を二乗平均平方根（RMSE）値で評価した。
• [94]は、マクロ経済指標と価格および数量の傾向を適用しながら、戦術的な資産配分にフィードフォワードニューラルネットワークを使用しました。彼らはポートフォリオを構築するための 2 つの異なるアプローチを提案しました。最初のアプローチは期待収益と不確実性を推定するために使用され、2 番目のアプローチはニューラル ネットワーク構造を直接使用して構成を取得し、ポートフォリオを最適化しました。

6. 金融市場におけるディープラーニング

金融市場では、信用リスクに効果的に対処することが極めて重要です。最近のビッグデータ技術の進歩により、ディープラーニング モデルは銀行システムの信用リスクを予測するための信頼性の高い金融モデルを設計できるようになりました。最新の研究は次の表に示されています。

• [95]は、バイナリ分類技術を用いた選択された機械学習と深層学習モデルの本質的な特徴を示した。さらに、ローン価格設定プロセスの主要な特徴とアルゴリズムを考慮して、この研究ではこれら 2 つのモデルを使用してローンの不履行の確率を予測しました。
• [96] この研究方法は、金融機関がより少ない作業負荷で信用評価を実施し、信用スコアと顧客格付けの分類精度を向上させるのに役立ちます。さらに、線形 SVM、CART、k-NN、Naive Bayes、MLP、RF 技術の精度も比較されます。
• [97] 自動コーディング、キャリブレーション、検証を通じて、プットオプションやコールオプションを含む原資産株式のポートフォリオに適用できる資産ポートフォリオアルゴリズムが構築されました。
• [98]は、大規模なデータセットを処理できる住宅ローンリスクのディープラーニングモデルを構築した。実験結果は、地域の経済状況によって影響を受ける変数と債務者の行動の間に非線形関係があることを示しています。たとえば、失業率という変数は住宅ローンリスクにかなり大きな影響を与えます。

7. ディープラーニングへの投資

財務上の問題では、多くの場合、複数のソースからのデータ セットの分析が必要になります。したがって、データ内の外れ値や特徴を処理するための堅牢なモデルを構築することが非常に重要です。最新の研究結果は以下の通りです。

• [99] 設計されたモデルは非線形データパターンを抽出する能力を持っています。彼らは、LSTM、オートエンコーディング、スマートインデックスなどのニューラルネットワークアーキテクチャを使用して、証券ポートフォリオのリスクを推定しました。
• [100]はDNN構造を用いてオプション価格設定問題を研究し、有名なブラック・ショールズオプション価格設定モデルの計算式をかなり高い精度で再構築した。
• [101]は、高頻度取引における効果的な投資戦略を探ることを目的として、取引の複雑さと組み合わせたオプション価格設定問題を研究した。その中で、最終取引の予測には LSTM-SVR モデルが適用されます。
• [102]は、R-NNモデルを使用して人間の行動をシミュレートする新しい学習遺伝的アルゴリズムを提案した。具体的には、迅速な意思決定のための強化学習、ストックのアイデンティティを構築するためのディープラーニング、全体的な意思決定を目的としたクラスタリング、転送を目的とした遺伝学など、複雑なディープラーニング構造が採用されています。
• [103] ハイパーパラメータの選択を多様化することでモデルの精度が向上します。実験結果は、モデルが小さな誤差でオプションの価格を決定できることを示しています。

8. ディープラーニングと小売業

小売業で最も広く使用されているテクノロジーは拡張現実 (AR) であり、顧客のショッピング体験を向上させることができます。最新の研究結果は次のとおりです。

• [104] ある研究では、ディープラーニング技術と拡張現実の手法を組み合わせて、顧客に豊富な情報を提供しました。また、ディープラーニングによる画像分類技術を通じて顧客の位置を特定できるモバイルアプリケーションも提案しました。
• [105]は、製品の物理的仕様や専門家の意見など、まったく異なる変数セットを使用して将来の売上を正確に予測する新しいDNNを設計しました。
• [106]らはCNN回帰モデルを用いて、店舗内の利用可能な人数の推定とキーポイント数の検出という2つの問題を解決した。
• [107]は、k平均法とk近傍法を同時に採用し、計算された重心をCNNに統合することで、効果的な分離と適応を実現した。このモデルは主に食品の生産日などの関連情報を検証するために使用されます。

9. ディープラーニングに基づくビジネスインテリジェンス

• [108]は、学習メカニズムの柔軟性を向上させ、データからより深い有用な情報を発見して学習できる能力を持つメタ可塑性の概念を含む研究を展開した。この研究はMLPに焦点を当てており、顧客データを活用しながら、その出力をBI（ビジネスインテリジェンス）で利用します。
• [109]で提案されたMLSとSAEを組み合わせた方法は、シーケンス現象の時間次元をモデル化するために使用することができ、異常な状況に非常に有用であり、つまり、ビジネスログにおける異常検出能力が高い。
• [31]は、スタックオートエンコーダ（SAE）と相互作用してデータのキー表現のみを検出する新しい多層特徴選択を設計した。
• [110]は再帰ニューラルネットワーク構造を使用してビジネスプロセス方式で予測を実行し、RNNの入力は埋め込み空間を通じて確立されました。この論文では、この方法の精度検証結果と実現可能性検証結果も示されました。

高次元経済問題への強化学習の応用

前回は、経済分野におけるディープラーニングの応用について紹介しました。従来のディープラーニングと比較して、深層強化学習は高次元の問題を効果的に処理できます。したがって、高次元の動的データを含む一部の経済問題では、深層強化学習の方が優れたパフォーマンスを発揮します。

1. 深層強化学習による株式取引

従来の強化学習法は、高次元の問題を処理する能力が不足しているため、最適な戦略を見つけるのに十分ではありません。以下は深層強化学習の最新の研究です。

• [114]は、動的な株式市場における最適な政策を探索するための代替手段として、Deep Deterministic Policy Gradient（DDPG）アルゴリズムを使用しました。このアルゴリズムは、より大きなアクション状態空間を処理し、安定性を考慮し、サンプルの相関を排除し、データの利用率を向上させます。
• [115]らは、動的で複雑な株式市場における最適な戦略を発見するための新しい適応型深層決定論的強化学習フレームワーク（適応型DDPG）を設計した。このモデルは、楽観的 Deep RL と悲観的 Deep RL を組み合わせ、否定的予測誤差と肯定的予測誤差の両方に依存します。
• [116]は、株式意思決定メカニズムのさまざまなアルゴリズムを分析するために深層強化学習の調査を実施した。 DQN、ダブル DQN、デュエル DQN という 3 つの古典的なモデルに基づく実験結果は、DQN モデルの方がより優れた投資戦略を実現できることを示しています。さらに、この研究ではモデルを検証するために経験的データも使用しました。
• [117]は、深層強化学習を用いて株式取引における自動振動を実現することに焦点を当て、経済ニュースから株価を予測するために再帰型畳み込みニューラルネットワーク（RCNN）アプローチを使用しました。

2. 深層強化学習によるポートフォリオ管理

• [118]はDDPG法、近似ポリシー最適化（PPO）法、PG法などのさまざまな強化学習法を採用した。これらの方法は、連続アクション空間内の金融ポートフォリオに関連付けられたポリシーを取得できます。彼らは、中国の資産市場と組み合わせてさまざまな環境でのモデルのパフォーマンスを比較し、その結果、株式取引ではPGモデルが他の2つのモデルよりも有利であることが示されました。この研究では、トレーニングの効率と平均リターンを向上させることができる新しい敵対的トレーニング方法も提案されました。
• [119]は、暗号通貨取引所の過去の資産価格を入力として、ポートフォリオの重みを生成することを目的としたモデルレス畳み込みニューラルネットワーク（モデルレスRNN）を設計した。
• [15] この研究では、累積利益を最適化するためにDPG法を最大限に活用して報酬関数を導入した。このモデルは、重み共有のために多数のニューラル ネットワークを組み合わせた独立評価者トポロジで構成されています。さらに、勾配の破損を防ぐために、ポートフォリオ ベクトル メモリが使用されます。

Yuら[120]は、自動取引の文脈において、グローバルな目標に関連した行動を起こし、連続的な意思決定を行うことができる新しいモデルベースの深層強化学習スキームを設計した。モデル アーキテクチャは、インジェクション予測モジュール (IPM)、生成的敵対的データ拡張モジュール (DAM)、および動作クローニング モジュール (BCM) で構成されており、設計のバックテストの処理に使用できます。

3. 深層強化学習に基づくオンラインサービス

オンライン サービスは主に推奨アルゴリズムに重点を置いています。現在、コンテンツ ベースの協調フィルタリング、因数分解マシン、多腕バンディット マシンなど、推奨方法が多数あります。ただし、これらの方法のほとんどは、ユーザーと推奨システム間の静的なやり取りに限定されており、短期的な報酬に焦点を当てています。

深層強化学習手法を使用した現在の進捗状況は次のとおりです。

• [121] 設計された推奨アルゴリズムは、アクター・クリティック・モデルを使用して、継続的な意思決定プロセスにおける動的な相互作用と長期的な報酬を明示的に捉えます。
• [122]は、ユーザーの行動や入札戦略に関連する複雑なランダム環境におけるリアルタイム入札（RTB）による有料検索（SS）オークションに焦点を当てた。さらに、Alibaba オークション プラットフォームでのオンラインおよびオフライン評価に基づく実証結果は、提案された方法の有効性を実証しています。
• [123]は、電子商取引プラットフォーム向けにMDP（マルコフ連鎖決定過程）フレームワークに基づいた価格設定アルゴリズムを提案した。動的な市場環境の変化に効果的に対応できるため、複雑な環境に関連した効果的な報酬関数を設定することが可能です。
• [124] オンラインニュースの推奨にはDQN（ディープQネットワーク）方式を使用し、現在の報酬と将来の報酬の両方を獲得できる。このモデルは、ユーザーのアクティビティを考慮しながら、Duling Bandit 勾配降下法を使用して推奨精度を向上させます。

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。