科学ニュース: 機械学習による人間のリスク認識のモデル化

[[406948]]

人間が意思決定を行うプロセスは、複雑で恣意的であるように見えることもあります。それでも心理学者は、複雑な状況で人間が行う意思決定の種類をより正確に予測できるように、そのプロセスをより深く理解したいと考えています。人間とコンピュータの相互作用が頻繁になるにつれて、人間がどのようにリスク決定を下すかを予測することは、認知科学の目標になるだけでなく、実用的な意義と価値も持つようになりました。 6月にサイエンス誌に掲載された論文では、大規模な実験と機械学習を通じて人間の意思決定の理論を探究した。この研究では、ニューラルネットワークを使用して膨大なリスク意思決定データを学習し、リスク意思決定の分野における既存の研究を再現するだけでなく、より正確な予測を行うリスク意思決定モデルを発見しました。この研究は、人間の行動を分析することで自動モデリングを行うことができ、複雑性科学、認知科学、社会科学の融合の方向性を示しています。

論文タイトル:

大規模な実験と機械学習を利用して人間の意思決定の理論を発見する

論文の宛先:

https://science.sciencemag.org/content/372/6547/1209

1. プロスペクト理論を用いてリスクのある意思決定を説明する

ブラインドボックスは近年ますます人気が高まっています。なぜ人々は不確実性を好むのでしょうか。たとえば、100 元相当の製品が入ったブラインドボックス A が出る確率が 30%、50 元相当の製品が入ったブラインドボックス B が出る確率が 80% の場合、期待収益が低くても、最初のボックスを選ぶ人がいるでしょうか。

ノーベル経済学賞受賞者のカーネマンとトベルスキーは、1979年にプロス​​ペクト理論を提唱しました。これは、非線形割引を通じて、人々が「損失」に直面するとリスクを好むようになるのに対し、「利益」に直面するとリスクを回避するようになる理由を説明するものです。プロスペクト理論は、経済モデリング、心理学、神経科学、ビジネス分析などの分野に大きな影響を与えています。消費者の選択をモデル化することで、この理論は政策立案者が個人と社会の幸福を向上させる戦略を特定するのに役立ちます。

しかし、その後数十年の間に、何十もの競合する理論が出現し、リスク意思決定のモデルが互いに矛盾し始め、それぞれの理論が不完全であることが証明されました。新しい理論を提案する研究者は、多くの場合、知覚、注意、記憶、感情などの問題について複雑な仮定を立て、それを大規模なデータセットではなく小規模なデータサンプルで再現します。

競合する理論がこれほど多く存在する理由は、人間の意思決定行動が複雑であり、各理論では通常、いくつかのシナリオにおけるリスク意思決定現象を説明するために、増え続ける仮説のリストからいくつかしか選択できないためです。前述の多様性と複雑さのため、最良の意思決定理論やモデルに関するコンセンサスはほとんどなく、全体的な予測力の向上もほとんどありません。

ただし、モデルの品質には、モデルの基になるデータと大規模なサンプル決定データに対する予測との間に明らかな違いがあるかどうかを比較することも必要です。これは、機械学習モデルがトレーニング セットとテスト セットで一貫して実行し、過剰適合が発生していないことを確認する必要があるのと同じです。このように、心理学者によって提案された仮説は、最適化問題における制約、つまり帰納的バイアスとして使用することができ、それらを追加することでモデルの予測能力が向上するかどうかを確認し、この仮説を追加するかどうかを決定できます。

2. 機械学習でリスクのある意思決定をモデル化する方法

この研究では、まず Amazon の Mechanical Turk クラウドソーシング プラットフォームを使用して、図 1 に示すように、10,000 を超えるシナリオで確率を含むリスク決定を収集しました。これは、以前の研究におけるリスク決定のデータをはるかに上回ります。

図1. リスク意思決定のシナリオ例

各リスク決定シナリオは、リスクとリターンのベクトルのセットで記述できます。その後、t-SNE 次元削減により、10,000 のシナリオすべてを視覚化できます。図 2 に示すように、緑は過去の同様のシナリオのデータを表し、赤はこれまでの最大の単一データセットを表し、黒い点はこの研究で使用されたデータセットを表しています。赤い点と比較すると、黒い点の数は 30 倍であり、分布もより均等であるため、リスク決定自体の多様性をよりよく反映できます。

図2. 次元削減後の10,000のリスク決定シナリオの視覚化

人間のすべてのリスク認識関数は図 3 に示されています。その中で、最も単純な期待収益 (期待値) は期待利益 (期待効用) の特殊なケースと見なすことができますが、プロスペクト理論では非線形関数の期待収益が使用されます。このようにして、すべてのリスク認識の包含関係と共通性は図 3 に示されます。ここで、BEAST は Best Estimate and Sampling Tools の略で、この研究で見つかった最良の予測モデルです。

図3. リスク認識モデルの包含関係の模式図

認知モデルの仮定をニューラル ネットワークの制約に変換します。例えば、図 4 に示すように、期待収益に基づくモデルでは、各利益関数をニューラル ネットワークで 1 つずつ表現し、完全に接続された層の組み合わせを通じて、最終的な予測モデルを勾配降下法で最適化することができます。

図4. 期待利益仮定に基づくニューラルネットワークモデルのアーキテクチャ

3. 異なる仮定はニューラルネットワークの予測性能の違いにつながる

ニューラル ネットワーク モデルが特定のシナリオでの選択を予測でき、それが実際の人間の予測と重なる確率が 50% 以上であれば、モデルがシナリオを予測できることを意味します。トレーニング ラウンドと平均二乗誤差を比較することで、1,000 の未知のシナリオで構成されるテスト セットで、さまざまな心理学理論に対応するモデルの精度を判断できます。

図5. (左) 期待利益フレームワークは、ニューラルネットワーク (青線) モデルがテストデータセットのトレーニングラウンド数とともに減少することを示しています。 (右) 利益と効用について学習されたニューラルネットワークの対応する関数

プロスペクト理論は、期待される利益と比較して、人々は異なる確率を見るときに非線形の認識も持つと指摘しています。そのため、図 5 の右端にある主観的確率効果は、以前のように直線ではありません。この追加の仮定を導入したことにより、モデルの予測は図 6 に示すようにより正確になりました。

図6. プロスペクト理論の予測誤差（左）と効用および主観的確率関数（右）

以前のモデルでは、報酬の額は主観的確率とは無関係であると仮定されていました。人々は、利益が 1 万あるからといって、1000 分の 1 の確率を 1 パーセントと主観的にみなすことはありません。ただし、環境ベースのモデルでは、この仮定が緩和されます。これは、V(A) = ∑ _i∈A u( _xi 、 _c1 )π( _pi 、 _c2 )と仮定します。ここで、各オプションの効用は現在のシナリオ内の他のオプションに依存し、確率の主観的認識は確率に対応する利益に依存します。効用推定を行う際に、現在のシナリオのみに依存するモデルは、単一ギャンブル モデル (イントラギャンブル) と呼ばれます。他のシナリオに依存するモデルは、複数ギャンブル モデル (インターギャンブル) と呼ばれます。また、効用関数がシナリオに依存するだけでなく、確率の主観的推定もシナリオに依存するモデルは、インターギャンブル確率/結果モデルと呼ばれます。

図7. リスク意思決定におけるさまざまなニューラルネットワークベースのモデルと従来の認知科学モデルの予測誤差の比較

図7の比較から、従来の認知科学が提案したモデルと比較して、ニューラルネットワークのトレーニングに基づくモデルは従来のモデルよりも予測効果が優れていることがわかります。これは、ニューラルネットワークが既存の心理学的研究を再現し、上回ることができることを示しています。第二に、予測誤差が最も低いモデル、つまりより複雑なギャンブル間確率/結果モデルを指摘することで、人間のリスク認知は本質的に極めて複雑であり、単純な仮定に帰することはできないことを示しています。ほとんどのシナリオは主観的確率と主観的効用の産物として見ることができますが、異なるシナリオ間の相対的な比較や、確率と利益の相互依存性も考慮する必要があります。

4. ハイブリッドモデルは予測力に優れている

人々は危険な決断に直面したとき、自分の脳内で2人の小さな人間たちが互いに言い争っているところを想像することが多い。これは混合モデルに対応しており、つまり、各人は対応する主観的確率と効用関数（戦略）の複数のセットを持っており、特定のシナリオに応じて、好みに応じて戦略のセットをランダムに選択し、どのセットを判断に使用するかをランダムに選択します。研究では、ハイブリッドモデルを使用した予測効果はシナリオベースモデルと似ており、最終的な予測誤差も同様であることが指摘されており、ハイブリッドモデルにはシナリオベースモデルの情報を含めることができることを示しています。同時に、モデルが単純なため、トレーニングの初期段階ではパフォーマンスが向上します。

図8. ハイブリッドモデルの予測効果（左）と効用関数（右）

図 8 のニューラル ネットワークによって学習された混合モデルにおける対応する効用関数と主観的確率。注目すべきは、一方の戦略で学習された効用関数が明らかに損失回避的であり、対応する主観的確率が、プロスペクト理論によって予測されるように、小さな確率の時間を過大評価し、大きな確率の確実性を過小評価しているのに対し、もう一方の戦略は基本的に合理的であることです。人々がどのような状況で合理的な戦略を選択するか、つまり、プロスペクト理論の予測どおりに行動する場合と非合理的な戦略を選択する場合を解明することで、研究者は人間のリスク意思決定に最も大きな影響を与える要因をよりよく理解できるようになります。

人々の戦略的選択を決定する要因は何でしょうか? 研究者たちは、最も重要な要因は、さまざまな選択肢の利点の違い、最大と最小の利点、そしてマイナスの利点を持つ選択肢がいくつあるかということだと発見しました。つまり、1元と10,000元の大きな差に直面したり、ほとんどが損失となる選択肢に直面したりすると、人々は非合理的な行動を取る傾向があります。図 9 は、すべてのシナリオを視覚化した後、さまざまなシナリオで非合理的な主観的確率関数と効用関数を選択する可能性を示しています。図 9-E の青い点は、非合理的なオプションが優勢なシナリオです。

図9. リスク決定シナリオの2次元クラスタリング後のさまざまなオプションの選択確率の色付きヒートマップ

5. 結論

これらの問題における人間の選択を予測するようにディープラーニング モデルをトレーニングすると、トレーニングされたモデルは人間の意思決定を非常に高い精度でシミュレートできます。これは、既存のモデルよりもはるかに優れています。これは、心理学者や行動経済学者の研究が機械に置き換えられるという意味ではありません。ディープラーニング モデルによって表される意味を解釈し、それを記述理論に変換するには、依然として人間の心が必要です。従来のモデルは、特定のデータ セットでは機械学習モデルよりも優れたパフォーマンスを発揮しますが、大規模なデータ セットではパフォーマンスが低下します。大規模なデータ セットと機械学習アルゴリズムを組み合わせることで、新しい認知現象や行動現象を明らかにする前例のない可能性が生まれます。

ニューラル ネットワークは、人間の意思決定を模倣することを学習する過程で、プロスペクト理論などの認知科学の多くの既知の理論を再現します。ディープラーニング モデルの高い柔軟性により、研究者はリスク認識に関する新たな洞察を得ることができます。したがって、将来の認知科学では、自動モデリングのために機械学習をより多く活用する必要があり、また、ブラインドボックス販売データなど、実験室シナリオ以外の実際のデータセットもより多く必要になります。