大規模モデルの観点から見た因果推論

1. 因果推論と大規模モデル

近年、因果推論は研究のホットスポットとなり、多くのシナリオに適用されてきました。データ分析などの分野で非常に大きな利点があり、基本的な出発点として相関関係よりも因果関係を重視し、疑似相関情報を識別するのに役立ちます。

モデルを構築する際、因果関係の観点を出発点としてとらえると、モデルの一般化と移行の機能が向上し、多くのビジネス シナリオに適用できるようになります。例えば、クーポンマーケティングによってユーザーのコンバージョン率を向上させることや、企業のマクロ指標に対して因果探索分析を実施して、さまざまな指標間の因果関係を観察し、企業の運営方法の方向性について意思決定を支援することなどが挙げられます。因果効果の推定と反事実的推論は意思決定を強力にサポートします。

因果推論の実践には現在、因果の発見、因果量の特定、因果効果の推定、反事実的推論、戦略学習という 5 つの主要な側面が含まれます。その中でも、因果発見と因果効果推定は現在、より主流で実装しやすい応用シナリオであり、因果効果推定の分野に属するアップリフトモデルも含まれます。反事実的推論は、業界にとって難しい問題です。反事実的データがない場合、アルゴリズムの開発とシナリオ実装の精度の両方が課題となります。

昨年末から今年初めにかけて、ChatGPT はインテリジェント機能において質的な飛躍を遂げ、感情分類やテキスト要約などのタスクで驚くべき結果を示しました。では、最新の大規模モデルと因果推論を組み合わせることは可能でしょうか?

能力の観点から見ると、パラメータ数と規模が増加するにつれて、大規模言語モデルは優れた能力を発揮するようになりました。上の図は、大規模モデルと因果推論を組み合わせるのに役立つ、大規模モデルの新たな機能の一部を示しています。たとえば、コンテキスト機能の点では、大規模モデルは非常に長いコンテキストと互換性があるため、複数ラウンドの会話を実現し、より大規模なモデルを構築するのに役立ちます。ロールプレイング機能の点では、大規模モデルはデータアナリストの役割を果たして、ユーザーが因果推論などのタスクを達成できるように支援します。SQL 接続ターミナルや共有ターミナルとして機能することさえでき、ユーザーはそこでいくつかのコマンドを入力して非常にリアルなフィードバックを得ることができます。大きなモデルは、想像力と実現可能性に大きく貢献します。

さらに、ビッグモデルの非常に重要な機能は、API の理解、API の呼び出し、検索エンジンの呼び出し、SQL の生成などを含むツール アプリケーション機能です。これらの機能は現在、ビッグモデルの出現機能として一般的に認識されています。これらの機能に基づいて、大規模モデルの創発力を因果推論に結び付けることができます。

実際のプロジェクトや製品開発では、3つのラインを検討し、まとめました。図の最上層には因果発見、因果効果推定、反事実推論が含まれており、これらは現実における因果推論の一般的なタスクとして理解できます。左下には大きな言語モデルがあり、2つは3本の線で接続できます。

左端の行は因果グラフを使用して、大規模なモデルを使用して認識を強化します。因果発見アルゴリズムを大規模モデルと組み合わせて使用​​し、より正確な因果グラフを取得します。

2 行目はエージェントに焦点を当てています。エージェントは、ビッグ モデルのインテリジェントな基盤とそのツール使用機能を外部ツールと組み合わせて使用​​し、ユーザーが因果推論タスクを完了できるようにインテリジェント エージェントを包括的に構築します。

3 つ目のラインは ABM (エージェント ベース モデリング) です。これは、複数のインテリジェント エージェント間の相互作用を通じて現実のシナリオ、つまりシミュレーション エコシステムを形成し、それによって戦略の研究と探索を支援します。

2. ビッグモデルは因果関係の発見に役立つ

まず、大規模なモデルが因果関係の発見に役立つ最初の接続方法を見てみましょう。

因果発見の核心は、フィッティング方法と測定データを通じてデータ特徴間の因果関係を見つけることにあります。因果発見は、顧客離脱分析などの特定のビジネス シナリオに非常に適用可能であり、顧客離脱の原因と中核要因を定性的に特定できます。因果発見アルゴリズムは、実際のアプリケーションではいくつかの課題に直面することがよくあります。たとえば、観測不可能な変数を含むデータセットは因果関係の探究に影響を及ぼす可能性があります。実際には、因果関係の質的分析を完了するために、限られた特徴を持つデータで可能な限り真の因果関係を学習するように努めています。

実際の例は上の図の右側に示されています。銀行の ABM システムから取得されたデータは、銀行の企業マクロ月次指標データを形成します。複数の因果関係検出アルゴリズムを統合することで、データ機能間の因果関係を見つけるのに役立ちます。

別の例として、マーケティング キャンペーンで、クーポンなどのどの機能が顧客のショッピング行動に影響を与えるかを理解したいとします。因果発見アルゴリズムを通じて、機能間の因果関係を見つけ、顧客が購入するかどうかを発見できます。しかし、実際にはまだいくつかの問題と課題が残っています。

• 観測されない要因はデータ自体によって制限され、多くの場合、限られた特性の下で因果関係を見つける必要があります。
• 精度が十分ではなく、時には不合理な因果関係が現れることもあります。
• 経験不足により、特にデータや特徴を理解していない場合、新しい知識分野に直面したときに因果関係を理解し​​て判断することが不可能になります。

大規模モデルを因果発見方法と統合するにはどうすればよいでしょうか?現在実践されている方法は上の図に示されています。基本データから、さまざまな因果発見方法を通じて予備的な因果図が得られます。これに基づいて、大規模モデルと外部ツールの出現機能を利用して因果図を識別、選別、解釈、推奨することができ、より正確な因果図を得ることができます。

プロジェクトの実践と調査を通じて、因果関係の特定、因果方向の特定、因果関係の解釈、因果関係の推奨という 4 つの重要なポイントがまとめられました。ビッグ モデルのこれらの 4 つの機能を中心に、因果関係の発見強化プロセスが構築されました。このプロセスでは、大規模なモデルを使用してさまざまな因果推論タスクを実行し、ユーザーがより正確な因果図を取得できるようにします。

因果図の因果関係を識別して分類し、大規模モデルの因果差別化能力を使用して、誤った因果関係、逆方向の因果関係、不確実な関係などを区別し、これらの分類結果を使用して因果図に的を絞った修正を行います。

因果方向の識別では、大規模なモデルを使用してバイナリ因果関係の方向を確認できます。この方法により、ユーザーは逆因果関係の発見を避けることができます。

因果解釈と推奨は、未知の分野で因果関係を手動で特定することが非常に困難で困難な状況に適用できます。この場合、大規模なドメイン モデルを使用すると、ビジネスの合理性を発見しやすくなります。

因果解釈：実際のモデリングでは、結果の特徴としてターゲットの特徴がある場合、その特徴を一次または二次の因果関係から抽出し、大規模なモデルで対応する因果解釈を行うことができます。これは、業界に入ったばかりで、データに対する理解が限られており、科学研究の経験が不足している学生にとって非常に役立ちます。因果関係の推奨については、大規模モデルは、既存の経験に基づいて、ターゲット変数に影響を与える主要な因果関係の推奨を提供できます。因果の観点からより多くのコアとなる主要な要因を見つけ、因果発見アルゴリズムの精度をさらに高めることができます。

3. 大規模モデルエージェントに基づく因果推論

次に、大規模モデルに基づくエージェントを紹介します。

ビッグモデルには多くの機能があります。そのインテリジェント機能とツールアプリケーション機能に基づいて、外部ツールと組み合わせてインテリジェントエージェントを構築し、ビジネスユーザーの問題解決を支援したり、指示に従ってインテリジェントエージェントを誘導して多くの複雑なタスクを完了したりできます。

因果推論とインテリジェントエージェントを組み合わせることで、因果推論とドメイン探索の方向でタスクを実行できる因果推論用のインテリジェントエージェントを構築します。その機能は次のとおりです:

• ロールプレイング機能: ビッグモデルは、因果推論の専門家、データ統計アナリスト、ビジネスアナリストなどの役割を果たすことができます。ビッグモデルの役割、タスク、目標を設定することで、ユーザーが特定の機能を完了するのに役立ちます。
• メモリ能力は、大規模モデル自体のメモリ能力とコンテキスト能力に依存し、大規模モデルにメモリ能力を持たせることができます。この機能は、マルチラウンドの対話機能を実現し、ユーザーが状況に応じてマルチラウンドのコミュニケーションを実現して問題を解決するのに役立ちます。また、過去の経験を記憶し、問題に直面したときにこの経験を使用して、対応する因果推論タスクをより良く、より効率的に完了することもできます。
• 問題解決能力。大きなモデルには、思考や計画などの重要な問題解決能力が備わっています。ユーザーから寄せられた質問は、分析して回答を出す前に慎重に検討する必要があることがよくあります。そのため、思考力、計画力、反省力など、ビッグモデルの思考力は非常に重要です。
• ツール適用能力。モデルが独自に設計された質問応答システムでのみ使用できる場合、その応用機能は制限されます。大型モデルのツール適用機能により、機能が大幅に拡張されました。大規模モデルは、API を理解し、コードを生成し、検索エンジンを実行し、認識と検索を実行できます。これらのアプリケーション機能により、モデルの実用性と柔軟性が大幅に向上します。
• コーディング機能は、大規模なモデルに外部ツールを適用するための主な手段です。
• アクション機能: 大規模モデルは、現在のタスクまたはセッションの特定の操作に関する簡単な回答、概要レポート、またはフィードバックをビジネス ユーザーに提供します。

具体的な例を挙げると、マーケティングの分野では、入出力比率、つまり ROI の分析に重点が置かれることが多いです。インテリジェントエージェントを使用すると、状況や機能の意味に関するデータを照会し、対応する推奨事項を受け取ることができます。第二に、ROI の計算はインテリジェントエージェントに引き継がれ、自然言語を通じて外部データを入力し、ROI 計算を実行できます。 Jiuzhang Yunji は、Uplift モデルを使用して将来の出来事を予測し、統計的に分析することで、インテリジェント エージェントの反事実的推論機能を開発し、検証しました。たとえば、マーケティング キャンペーンを開催して一定の金額を予算化するなどの意思決定を行う場合、インテリジェント エージェントに該当するリストを推奨して ROI を計算するように依頼できます。将来的には、インテリジェントに推論するエージェントがさまざまな分野でタスクを完了するでしょう。

因果推論機能をインテリジェントエージェントに組み込むと、大きな利点があります。シナリオ要件、ビジネス部門、モデリング チーム、データ チーム間の通信と処理を必要とする従来のエンタープライズ レベルのモデリング プロセスと比較して、インテリジェント エージェントはより使いやすい自然言語通信方式を使用して、ビジネス担当者によるリアルタイムの因果推論分析と意思決定を支援し、リアルタイム性とビジネス フレンドリー性を向上させます。したがって、インテリジェントエージェントの操作はより便利でインテリジェントになり、作業効率の向上に役立ちます。

4. LLMを活用したABMは因果推論に役立つ

「LLM 搭載 ABM」とは、大規模言語モデル模倣エージェント (またはインテリジェント エージェント) を意味します。これは、仮想環境内でユーザーや他のエージェントと対話するために、人間の行動や意思決定をシミュレートできる、人間のような動作をする信頼できる仮想エンティティです。このタイプのインテリジェントエージェントは、仮想世界のシミュレーション、シミュレーション研究、自動意思決定などのアプリケーションでよく使用され、ユーザーエクスペリエンスの向上、社会観察研究などに非常に役立ちます。

LLM を利用した ABM は、大規模なモデルに基づく ABM を通じて因果推論を容易にすることを目的としています。ABM の中核は、インテリジェント エージェントまたはエージェントに基づくシミュレーション環境モデリングです。これまでのABMモデリング手法は、主にルールと専門家のビジネス経験に依存していましたが、現在ではビッグモデルをインテリジェントエージェントの中核として活用し、人間の行動や意思決定をシミュレートし、シミュレーション運用エコシステムを構築できるようになりました。 ABM には非常に重要な利点が 3 つあります。

• 仮想アシスタントとは、複数の異なるインテリジェント エージェントを同時に含めることができ、インテリジェント エージェントは ID 条件を満たす必要はなく、適切なインテリジェント エージェント環境を形成することを意味します。マルチエージェントエージェントは、チャットボット、仮想顧客サービスなど、ユーザーの問題解決、情報提供、タスク実行を支援する仮想アシスタントとして使用できます。
• 推論と意思決定は、社会科学、心理学、経済学、その他の研究分野で人間の行動をシミュレートしたり、実験や観察を実施したりするために使用できます。 ABM では、完全な環境が存在するため、ユーザーは環境全体で異なる利益レベルや金融商品の購入などの行動の変化を観察できます。同時に、特定の顧客に個別にクーポンを送ったり、銀行の特定の指標にクーポンを設定して将来の業務や経済パフォーマンスの変化を観察したりするなど、対応する介入も実行できます。
• 自動化された意思決定と計画、自動化の分野では、マルチエージェント エージェントを使用して、自動化された計画と意思決定を行うことができます。例えば、公共交通機関の分野では、自動運転車のインテリジェントエージェント、サプライチェーン管理の調整エージェントなどが挙げられます。

LLM を活用した ABM を選択する出発点は、因果関係の調査と意思決定の調査に多大な助けを提供できることです。上図に示すように、大規模モデルエージェントに基づく ABM システムには、さまざまなエージェントが含まれています。インテリジェント エージェント システムでは、各エージェント キャラクターに異なる時点で異なるイベントが発生し、システムは自然言語で複数のキャラクターのダイアログやストーリーを生成します。大規模モデルを使用すると、シミュレーション環境全体によって生成されたセグメントからデータを抽出できます。

データ特性の観点から見ると、ABM 環境には次の 3 つの特性があります。

• データの整合性により、より完全な機能を取得でき、すべての機能をキャプチャしてデータセットを形成できるため、将来の因果推論アルゴリズムや意思決定研究の基礎として役立ちます。
• 大規模モデルに基づく ABM システムでは、因果関係を保存することで、金融商品の購入行動を記録するだけでなく、その時点での顧客の意思決定要因を保存することもできます。実際のビジネスでは因果関係が非常に重視されており、この関係は ABM システムから抽出できます。
• 反事実データ、ABM システムには実際のデータをシミュレートする介入性があり、つまり環境全体に継続的に介入して推論することができます。

大規模モデルに基づく ABM はシミュレーションにおいて大きな利点があり、各エージェントはインテリジェント エージェントとして機能して、パーソナライズされたビジネス上の意思決定を行うことができます。同時に、介入可能性も非常に重要な利点であり、因果データを含む完全なデータを可能な限り取得できることを意味します。

プロジェクトでの実践と実験を通じて、意思決定の因果的な決定要因を取得できるだけでなく、決定要因をランク付けすることもできます。最後に、反事実データと時系列反事実データが利用可能であり、ABM は既存の関連研究と比較してデータの範囲と視点において大きな利点があります。

従来のデータ収集方法と比較して、大規模モデルに基づく ABM を使用する場合、データ収集には独自の利点があります。たとえば、コストやその他の要因により、通常は現実世界のグローバル データのごく一部しか取得できません。 ABMでは因果関係を抽出し、グローバルデータや収集可能データなど現実には観測できないデータを取得することができます。 ABM は、アルゴリズムの研究やビジネス推論に非常に役立ちます。

たとえば、因果効果推定やアルゴリズムの研究と評価の応用では、いくつかの側面を考慮する必要があります。1 つ目はトレーニングに使用するデータを決定すること、2 つ目はアルゴリズムの精度を評価するために使用するデータの種類を決定すること、そして最後にアルゴリズムの信頼性を確保するために評価指標を選択する必要があります。

これまで利用できなかった顧客の嗜好機能や世帯知識機能など、さらに多くの機能が利用できるようになり、それらすべてをモデルに組み込むことができるため、機能のフルセットをアルゴリズムの研究に使用できます。完全な特徴に基づいて評価すると、より完全な因果関係を抽出できます。評価フェーズでは、反事実的結果を得ることに重点を置き、さまざまな評価方法を使用します。因果関係の一般的な順序指標 (AuuC や Gini など) や回帰タスクの RLoss に加えて、ABM で取得されたデータには、Rmse などのより一般的な指標も使用できます。 ABM では、より多くの機能をモデルに組み込むことができ、因果関係と関連する優先度情報を取得した後、この観点を使用して、結果として得られる因果推定アルゴリズムの精度を評価できます。

大規模モデルABMに基づいて取得されたデータは、幅広い応用と研究価値を持ち、因果推論の分野に適しているだけでなく、統計分析、機械学習、ベイジアンネットワーク、ディープラーニングなどの分野でも役立ちます。

5. YLearn と Causal Lab

最後に、因果関係の方向で Jiuzhang Yunji DataCanvas のオープンソースの結果を 2 つ共有したいと思います。

YLearn 因果学習ソフトウェアは、因果の発見、因果量の特定、因果効果の推定、反事実的推論、戦略学習など、因果推論の 5 つの主要タスクをユーザーが完了するのに役立ちます。また、Uplift モデリングもサポートしているため、ユーザーは因果推論シナリオのすべてのタスクをワンストップで完了できます。同時に、YLearn は非常にシンプルな API を提供しているため、誰でも簡単に開始して実装できます。

YLearn 因果学習ソフトウェア GitHub アドレス: https://github.com/DataCanvasIO/YLearn。

インタラクティブな因果分析フレームワーク、Causal Lab。このフレームワークは YLearn に基づいており、因果の発見、ベイジアン ネットワークの学習、因果効果の推定など、因果推論のプロセス全体をユーザーが完了するのに役立ちます。非常に便利なのは、ユーザーが因果関係の発見をインタラクティブなモードで実行できるようにする視覚化ツールの提供です。このフレームワークは複数のアルゴリズムを統合し、より正確なビジネス関係を見つけ、より正確なベイジアン ネットワークを構築するための動的な学習プロセスをサポートします。ユーザーは、因果関係に応じて調整や変更を行うこともできます。最後に、フレームワークは検証推定に基づいた探索も提供します。

Causal Lab GitHub アドレス: https://github.com/DataCanvasIO/CausalLab。