AIGCと因果推論により双方向の

本文に入る前に、まずはJiuzhang Yunji DataCanvasを紹介したいと思います。

九張雲吉DataCanvasは主に基礎的な人工知能ソフトウェアの研究開発に注力しており、同社のAI構築のためのプラットフォーム製品とサポートソリューションを提供し、企業のデジタル変革の実現を支援しています。現在、政府、金融、通信、製造、エネルギー、運輸、航空など、多くの分野で多くの成功事例があります。

1. 構造化データ合成のためのAIGC

昨年11月のChatGPTのリリース以来、大規模モデルのパラメータ数の増加に依存して、テキストの意味理解、意味検索、言語構成などの優れた機能を備えた大規模言語モデルが登場しました。また、エンドユーザーにも公開されており、AI 開発において一般の人々にさらなる想像力の余地を提供します。

AIGC の ChatGPT は、テキスト コンテンツの生成に重点を置いています。過去 2 年間、私たちの研究室は因果推論の研究と実装に多大な労力を費やしてきました。

因果推論とは、主に変数間の因果関係を科学的に特定し、変数間の因果的影響を定量化する方法を指します。現在主流の研究の方向性は、1つは潜在的結果フレームワークであり、もう1つは構造的因果モデルです。

AIGC は現在、テキスト、画像、オーディオ、ビデオなどの非構造化コンテンツの生成に主に焦点を当てています。因果学習と AIGC をどのように結び付けるかは、考える価値のある問題です。データ合成を橋渡しとして使用して AIGC の機能を構造化データ合成に拡張し、因果推論と AIGC 研究の相互サポートを実現できることが分かりました。

ガートナーは合成データに関するトレンドレポートを発表し、2030年までにAIと機械学習の分野で合成データが実際のデータを完全に上回ると予測しています。グラフからわかるように、合成データは将来的に飛躍的に増加し、主要な開発方向になるでしょう。

企業にとって、データはインテリジェント構築の生命線であり、企業は高品質のデータを取得する際に大きな課題に直面することがよくあります。たとえば、一部のビジネス シナリオではコストの制約により制限があり、大量のデータを収集することができません。金融や医療の分野では、プライバシー保護の要件により、大量のデータも制限されています。コンピューター ビジョンでは、肯定的なサンプルが比較的少なく、データ拡張によってサンプルを補充する必要があることがよくあります。新しい AI ユース ケースが生成されるとき、履歴データの蓄積がなく、シナリオを検証する方法も大きな課題です。これらの課題に対応するために、合成データは非常に重要な補完的な役割を果たし、企業の AI 能力構築に大きな利点をもたらします。

データを合成する方法には主に 2 つあります。1 つはデータ駆動型で、生成的敵対ネットワーク、VAE 法、ベイジアン ネットワーク、ML ベースなどが含まれます。もう 1 つはプロセス駆動型で、エージェント ベース モデリング、離散イベント シミュレーション、数値シミュレーション、モンテ カルロ法が含まれます。その中で、エージェントベースのモデリングは、AIGC を構造化データに変換する作業を完了するための橋渡しとして非常に適しています。

ABM は、自律型インテリジェント エージェントのアクションと相互作用をシミュレートし、システム内でのインテリジェント エージェントの役割を評価するために使用される計算モデルです。主なタスクは 2 つあります。1 つはマクロ現象の原因を分析すること、もう 1 つはミクロ介入策の期待されるパフォーマンスに基づいて将来のマクロ パフォーマンスを推測することです。 ABM には、IBM や MAS など多くの別名があり、これらはすべて ABM パラダイムに属しますが、異なる時点や異なる分野では単に名前が異なるだけです。

ABM モデリング パラダイムは、まずシステム コンポーネント、操作、相互作用、環境を抽象化して、エージェントがコア コンポーネントとなるシミュレーション システムを形成します。たとえば、金融業界のエージェントシミュレーションシステムでは、公的顧客と民間顧客の両方がエージェントユニットとして機能できます。 2 番目の抽象化はマクロ環境です。全体的な金融環境において、市場規模全体、顧客、一人当たりの所得水準はすべて環境内の実際の要素と見なすことができると考えられます。もう 1 つの重要な点は、個人間の相互作用や個人と環境間の相互作用など、個人間に対応する接続​​と相互作用があることであり、これも ABM 研究の重要なステップの 1 つです。

ABM には多くの優れた機能がありますが、ここでは最も重要な 3 つの機能のみを紹介します。

1つ目は、強力なシミュレーション能力です。社会、生態系、組織など、どれも非常に複雑であり、ABMは複雑な表現をすることができます。一部の学者は、ABMは完全な都市をシミュレートできると提案しており、これはデータ基盤と研究全体に非常に優れた信頼性空間を提供します。

第二に、ABM には創発的な特性があり、その主な目的は創発的な現象の原因を説明することです。たとえば、パニック買いの影響は顧客の購買意欲を強めますが、これは ABM の研究パラダイムとターゲット シナリオに属します。

3 番目の重要な特性は解釈可能性です。機械学習や因果学習では、多くの専門家が解釈可能性に細心の注意を払っています。ABM 研究パラダイムはビジネス経験の仮定に基づいているため、非常に解釈可能です。

まとめると、ABM は構造化データ生成における AIGC の拡張を実現するための AI キャリアとして適しています。次に、私たちが行ってきた試みや探求のいくつかを紹介します。

2. 構造化データ合成は因果推論を支援する

因果推論の一般的なタスクを確認すると、主に因果の発見、因果量の特定、因果効果の推定、反事実的推論、戦略学習が含まれます。企業のマクロ経済分析では、実際のケースが数多くあります。たとえば、電子商取引分野における異種製品の推奨は、因果効果推定の一般的なシナリオです。業界で適用されている代表的なアルゴリズムには、Meta Learner、DML、Causal Forest などがあります。もう一つの主要な研究方向は因果発見であり、その主な考え方は結果の発生理由を見つけることです。現在、この方向は質的因果研究パラダイムに傾いています。合成データは、上記のすべてのタスクに適用でき、より広範囲に応用できます。以下では、因果発見と因果効果推定における強化された検証のいくつかの例に焦点を当てます。

因果推論タスクにおける最大の課題の 1 つは、反事実問題です。介入戦略が実施された後は、実施状態における結果のみを観察できます。非介入状態における潜在的な結果は観察できません。観察できない潜在的な結果は、通常、反事実的結果と呼ばれます。たとえば、店舗が顧客にクーポンを送るシナリオでは、クーポンがユーザーに渡された場合、クーポンを受け取った後の反応しか知ることはできず、クーポンを受け取っていない場合の反応を知る方法はありません。これは反事実的観測不可能な問題であり、因果効果の測定に一定の影響を与えます。現在、この問題に対処する主な手段はランダム化実験 AB テストです。また、観察サンプルの点では、反事実の真の値を見ることができないという制限があります。そのため、因果効果の推定対象については、潜在的な結果と現在の真の結果の差を取得できず、通常使用する MSE 指標をこのタスクに適用することはできません。そのため、因果効果測定の代わりに AUUC 指標が使用されますが、一定の制限があります。

ここで考えるべき疑問が 2 つあります。最初の疑問は、反事実サンプルを入手できるかどうかです。2 番目の疑問は、反事実サンプルを入手できた場合に何ができるかです。 ABM マルチエージェント システム モデリングでは、さまざまなパラメータの組み合わせでシミュレーションを実行する動作モードがあり、操作プロセス中にデータを出力できます。たとえば、アウトバウンドコールチームの ABM システムは、アウトバウンドコール記録、トランザクション記録、TSR 属性、顧客属性などのさまざまなビジネス記録テーブルを出力できます。これらのデータはデータセットを形成するために保存することができ、データ ウェアハウス モデルに従って完全なデータ システムを構築することもできます。さらに、異なるパラメータの組み合わせで ABM を実行すると、それ自体が反事実的操作モードになるため、反事実的操作モードの結果を保存できます。

図からわかるように、システムと出力データを通じて、まず反事実データを取得できます。次に、システムから事前設定された完全な因果関係を取得できます。最後に、すべての要因特性を取得できます。最後に、1 年後または 2 年後のシミュレートされた事業運営の因果効果の影響など、時系列の反事実データを取得できます。

要約すると、ABM には多くの優れた機能があり、その中で最も重要な 3 つは、反事実的アクセシビリティ、シミュレーション、機能の完全性です。同時に、制御性も高く、すべてのユーザーまたは特定の顧客に割引を提供するなど、マクロおよびミクロの介入が可能になります。この環境では、A/B テストの動作をシミュレーションすることもサポートできます。したがって、ABM は因果推論研究を促進するための非常に高品質のデータ基盤を提供できます。

上の写真は、現在私たちが行っている関連研究を示しています。 ABMパラダイムに基づいた金融システムです。左図はシステム全体を抽象化したもので、右図は運用状況です。左側のシステムでは、銀行、預金者、企業がインテリジェントエージェントに抽象化されています。環境には主に、銀行の数、人口、企業数、規制管理戦略が含まれます。マクロ規制パラメータには、銀行の運営指標を制限するための最低準備率、無リスク収益率、レバレッジ比率が含まれます。相互作用行動には、主に預金者と銀行間の入出金行動、企業と銀行間の融資行動が含まれます。

右の図は、システムの動作状態を示しています。まず、さまざまなマクロパラメータの下で実行およびシミュレーションできます。ABM の研究パラダイムの 1 つは、出現分析を行うことです。たとえば、下は検証したパラメータのセットです。自己資本比率の要件が比較的低い場合、銀行取り付けなどのシステミックな金融リスクが簡単に発生します。もちろん、これはネガティブな創発分析です。実際のビジネスではポジティブな創発分析の方が一般的です。

もう 1 つの研究モデルは、対応する要因または要因の範囲を見つけることで、より現実的なビジネス シナリオを復元するキャリブレーションです。そして、そのようなパラメータの下で介入し、推論して、独自の研究パラダイムを形成します。ご覧のとおり、すべてのデータを保存できるため、反事実データの取得、機能の整合性、および前述のその他の機能を実現できます。

以下は、データ合成と因果学習を組み合わせたいくつかのアプリケーション シナリオです。

最初のシナリオは因果関係の発見の方向性です。上図の左側部分はシステムから事前に設定された因果関係を取得し、右側部分は 3 つの因果関係発見アルゴリズムを組み合わせています。両者の間には、ある一定の違いがあることを直感的に感じることができます。したがって、現在の因果発見アルゴリズムにはまだ改善の余地があります。データからいくつかの点が観察されました。第一に、ビジネスでは起こらないことがあり、それらは常に一定の値という状態のままです。現在のところ、定数値間の因果関係を学習する方法はありません。第二に、アルゴリズムによって特定された因果関係には、欠落した因果関係、逆の因果関係、または誤った因果関係がある可能性があります。因果関係の発見に単一のアルゴリズムを使用する場合、一定の制限があります。したがって、真の因果関係の学習を最大限にするために、複数の因果関係発見アルゴリズムを組み合わせて使用​​することをお勧めします。

データ合成にマルチエージェントモデリングを使用する利点は、まず第一に、コストが制御可能であり、事前に設定された因果関係を取得でき、観測できない特徴がなく完全な特徴も取得できることです。さまざまなアルゴリズムの精度を応用分野で検証し、アルゴリズム融合の最適モデルを実証し、将来的に実際のシナリオに適用することができます。要約すると、合成データは因果関係の発見のための非常に優れた研究データ基盤を提供することができます。

2番目の方向は因果効果推定に関する研究です。反事実的仮説がない場合、因果効果の正確性を評価するために、A/B テストなどの代替方法がよく使用されます。しかし、実際のビジネスでは、企業があらゆるシナリオで A/B テストを実施できるわけではありません。一方で、A/B テストには実際のコストの問題があり、シナリオによっては倫理的な問題さえあります。他方、A/B テストではグループの効果しか評価できず、個々の効果は評価できないため、大きな制限があります。

反事実サンプルは ABM を通じて取得できます。反事実サンプルに基づく評価指標には、次のような利点があります。

MSE などの一般的な指標を使用して、アルゴリズムの有効性を実証できます。

個々の治療法の有効性を検証する上で画期的な進歩をもたらす可能性があります。

A/B テスト、AUUC、Qini などの手法の有効性を実証できます。

同時に、環境内での制御性が比較的高く、偏りのあるデータ シナリオや偏りのないデータ シナリオをシミュレートすることもできます。

私たちは、主に AUUC、Qini、RLoss の 3 つの指標の有効性を評価するために、公開データセットで反事実的仮定を使用して検証を行いました。連続結果シナリオでは、RLoss インジケーターの安定性が高くなることがわかります。マルチエージェント システムによって生成された反事実データは、因果推論の研究を導き、シナリオの実装にも役立ちます。

アルゴリズムの応用や研究開発において、これらのインテリジェントエージェントの合成データを取得した後、どのように応用すればよいのでしょうか。因果効果推定のシナリオを例に挙げます。図の最初の行は共通モードです（検証セットの分割を考慮しない場合）。トレーニング データはトレーニング フェーズでトレーニングに使用され、テスト データは評価フェーズで評価と検証に使用されます。反事実サンプルがない場合、因果効果推定の評価方法では、AUUC、Qini、RLossなどの指標のみを使用できます。2行目は反事実サンプルを使用した例です。まず、評価段階では、反事実サンプルを追加でき、評価指標をMSEやRMSEなどのよく使用される評価指標に拡張できます。3行目では、トレーニング段階でも反事実サンプルを追加できるため、因果法の開発全体にほぼ完璧なデータ基盤が提供されます。 ABM が提供するデータ資産は、因果推論の分野だけでなく、ディープラーニング、機械学習、因果関係の IV 法など、他の分野の研究にも応用できます。

3. 因果推論をエージェントベースモデリングに役立てる方法

因果推論を使用してエージェントベースのモデリングを支援する方法は、幅広い用途に使用できます。ここでは、一般的なシナリオをいくつか紹介します。例えば、社内データの使用に制限があったり、履歴データが不足していたり​​する場合は、データを補充して強化することができます。マクロ的な原因分析を行うことができます。銀行や保険のアウトバウンドコールチームのシナリオを例にとると、チームサイズ、グループサイズ、従業員の離職率が業務部門全体の指標に与える影響を分析し、対応する弱点に対する改善提案を形成することが期待されます。これらはすべて、ビジネス シナリオで ABM リサーチ パラダイムを実装するためのモデルです。

ミッション目標の観点から見ると、分析タスクと推論タスクが ABM の 2 つの主な方向性です。レベル的には、ミクロとマクロの両方をカバーできます。たとえば、アウトバウンドコール チームのシナリオでは、マイクロ レベルには顧客、アウトバウンド発信者、およびそれらの間のやり取り (通話) が含まれます。マクロレベルでは、複数のエージェントがグループを形成しています。また、マクロレベルでは、出現の理由を説明することに重点を置いて、対応するパラメータと指標もあります。 ABM はマクロ分析とミクロ分析の両方をサポートします。マクロの観点からは、グループ モデルに従って異なるリスト割り当て戦略を採用し、アウトバウンド コール チームの全体的なパフォーマンス上の利点を検討するなどの介入を実行できます。ミクロの観点からは、たとえば、差別化されたインセンティブ ポリシーを作成して、チームの全体的なパフォーマンス上の利点を推測できます。

因果発見手法を適用して、ABM の緊急分析タスクを支援します。上の図は、モデル定義、シミュレーション実行、キャリブレーション、データ生成、および対応するパラメータ分析と出現分析を含む ABM モデリング プロセスを示しています。まず、因果図法をパラメータ分析に適用し、感度分析、機械学習手法などを統合して、関心のあるパラメータや指標の原因を定量化し、対応する説明を提供することができます。ユーザーがより適切な調整と、それに応じた新たな分析の解釈を行えるように支援します。

因果効果推定を適用して、ABM タスク調整プロセスを容易にし、加速します。キャリブレーション プロセスも、ABM の動作パラメータ空間全体にわたって非常に大規模です。たとえば、100 種類の異なるパラメータがあり、その中に連続パラメータが多数ある場合、スペースは非常に恐ろしく、各操作プロセスに非常に時間がかかります。最適な組み合わせスペースを見つけることも、非常に時間のかかるプロセスです。因果効果推定を適用する場合、まず、すでに実行されたパラメータ空間で因果効果推定モデルをトレーニングすることができます。これに基づいて、進化的手法を実行していくつかの変数を調整し、ターゲット指標をキャリブレーションパラメータ指標に近づけることができます。さらに、反事実的方法を使用して新しいパラメータのバッチをサンプリングし、モデルに基づいて、新しくサンプリングされたパラメータの組み合わせ空間で反事実的推論を行い、どのパラメータの組み合わせがより効果的かを判断してから、操作とキャリブレーションのプロセスを実行することができます。

現在、私たちのチームは、AIGC による構造化データの生成と因果推論への支援に重点を置いています。もちろん、因果推論は実際に AIGC による構造化データの生成に役立ちます。

4. YLearnの紹介

最後に、YLearn 因果学習ソフトウェアを紹介します。

YLearn は、逆に「なぜ」を学ぶという意味であり、まさにその本来の意図と意味です。このフレームワークの主な目標は、シンプルで使いやすいワンストップ因果推論フレームワークを提供することです。 YLearn のモジュールは、因果発見、因果グラフ、因果効果推定、戦略学習、インタープリター、反事実予測など、ほとんどすべての主流の因果推論タスク タイプをカバーしています。因果効果の推定には、Meta Learner、Causal Tree、Causal Forest など、現在一般的な主流のアルゴリズムが含まれます。同時に、全体的なカプセル化のための統一されたインターフェースも提供されており、ほとんどの因果モデリングタスクをワンストップで完了できます。

これは因果効果の推定の例です。特定のデータ セットに対して、どの変数が治療で、どの変数が結果であるかを定義し、対応するフィード メソッドを呼び出してモデル トレーニングを実行し、因果効果評価を実行できます。

2 つ目は因果グラフの方向です。たとえば、左側のコードでは、ユーザーはデータセットをロードし、Causal Discovery インターフェースを通じて因果検出を実行するだけで済みます。このフレームワークは、さまざまな線形および非線形因果発見アルゴリズムをサポートしています。右側の部分では、因果図の定義と視覚化、因果量の識別方法など、因果図の機能について説明します。

次の例では、バックドア調整を主に使用して、治療 x と結果 y の因果効果を特定し、その結果としてバックドア変数を出力できます。

最後に、統合インターフェースの理由を紹介します。このインターフェースは、因果推論に関連するすべてのタスクをカバーする、YLearn 内部コンポーネントの統一されたカプセル化です。なぜのインスタンスを通じてのみ、因果の発見、因果効果の推定、whatif 反事実推論、インタープリター因果説明などの因果推論タスクを実装できます。

YLearn の主な目標は、複数のフレームワークを切り替える必要がなくなり、モデラーが 1 つのツール内で因果推論のすべてのタスクを完了できるように支援することです。