個人信用リスク評価モデルにおける新しいビッグデータアルゴリズムの使用の有効性の評価

1980 年代に、FICO はロジスティック回帰アルゴリズムに基づく FICO クレジット スコアリング システムを構築し、米国のクレジット スコアリング市場の巨人となりました。しかし、ビッグデータモデリング技術の急速な発展に伴い、多くの新しいアルゴリズムや新しい技術が登場しています。このプロジェクトでは、サポートベクターマシン（SVM）、決定木、ランダムフォレスト、適応ブースティング（AdaBoost）、勾配ブースティング決定木（GBDT）の5つの新しいビッグデータアルゴリズムを選択し、中国人民銀行信用情報センターの大規模サンプルに基づいて個人リスク評価モデルを構築し、3つの側面から評価しました。まず、個人信用リスク評価におけるモデル精度と解釈可能性の観点から、さまざまなアルゴリズムによって構築されたモデルを総合的に比較します。次に、各アルゴリズムによって構築されたモデルの外部時点安定性を、時間外テストサンプルを使用して評価しました。

[[176174]]

プロジェクトの背景

現在、中国人民銀行信用照会センターの信用報告書デジタル解釈システムは、米国の個人消費者信用評価会社FICOが開発したFICO信用スコアリングシステムを参照しています。 FICO 信用スコアリング システムは 1980 年代に構築され、その中核となるアルゴリズムはロジスティック回帰です。統計分析とビッグデータモデリング技術の進歩により、アルゴリズムは急速に発展し、決定木、ランダムフォレスト、ニューラルネットワーク分析、アダプティブブースティング（AdaBoost）など、多くの新しいアルゴリズムと技術が形成されています。ただし、現在の信用報告センターデータセットにおけるこれらの新しいビッグデータアルゴリズムの精度、安定性、解釈可能性は、まだ検証および評価する必要があります。

この目的のため、中国人民銀行信用参照センターと北京智心普林科技有限公司は、サポートベクターマシン（SVM）、決定木、ランダムフォレスト、アダプティブブースティング（AdaBoost）、勾配ブースティング決定木（GBDT）の5つの新しいビッグデータアルゴリズムを選択し、安定性、正確性、解釈可能性など、個人信用リスク評価モデルにおける上記5つのアルゴリズムの効果を総合的に評価・比較し、スコアリングにおける関連アルゴリズムの長所と短所をさらに理解しました。新しいスコアリングモデルの探索と実験は、信用報告センターがモデルアルゴリズムの経験を蓄積し、国際的に最先端のモデリング方法と整合するのに役立ちます。同時に、新しい信用評価モデルを戦略的備蓄として使用することで、我が国独自の信用スコアリングシステムを構築するための経験を蓄積するのに役立ちます。

アルゴリズムの紹介

サポート ベクター マシン (SVM) は分類学習アルゴリズムです。サポート ベクター マシン (SVM) の基本モデルは、特徴空間で定義された最大マージンを持つ線形分類器です。線形サポート ベクター マシンは、各変数に重み係数が割り当てられ、最終的な変数の加重合計が予測の基礎として使用される点でロジスティック回帰に似ています。同時に、サポート ベクター マシン (SVM) はカーネル関数を使用して変数を高次元空間にマッピングし、モデルのパフォーマンスを向上させることができます。しかし、この方法の主な欠点は、トレーニング速度が遅く、大規模なデータに直接適用するのが難しいことです。そのため、このプロジェクトでは線形サポートベクターマシンのみをテストしました。

決定木は基本的な分類および回帰手法です。決定木モデルはツリー構造を持ち、「if-then」判断ルールのセットとして、または特徴空間とクラス空間で定義された条件付き確率分布として考えることができます。その主な利点は、トレーニングが速く、予測速度が速いことです。線形モデルと比較して、決定木は非線形データも処理できます。さらに、決定木モデルは解釈性が高く、データへの適応性も高いのですが、欠点としては、単一の決定木では過剰適合になりやすいという点があります。

ランダム フォレストは複数の決定木で構成されており、各決定木は特定の集団に適しており、特定の変数に焦点を当て、一緒に決定を下して最終判断を下します。各決定木を構築する際、ランダム フォレストはサンプルと変数の 2 つの次元でランダム サンプリングを実行します。ランダム フォレストの利点は、トレーニング速度が速く、並列化が優れており、大規模なデータを処理できることです。

アダプティブ ブースティング (AdaBoost) の中心的な考え方は、同じトレーニング サンプルの異なる重み付けバージョンを使用して弱い分類器 (Weak Learner) のグループをトレーニングし、これらの弱い分類器を重み付け形式で統合して最終的な強い分類器 (Strong Learner) を形成することです。各反復では、現在の弱分類器によって誤分類されたサンプルの重みがそれに応じて増加し、現在の弱分類器によって正しく分類されたサンプルの重みがそれに応じて減少します。弱い分類器の重みは、現在の分類器の加重エラー率に応じて決定されます。 AdaBoost の利点は、過剰適合しにくく、予測効果が優れていることです。

勾配ブースティング決定木 (GBDT) は、多くの点で AdaBoost に似ています。また、サブモデル間の連携も含まれます。違いは、後者のサブモデルが前のモデルの誤りを修正することです。勾配ブースティング決定木 (GBDT) モデルが予測する場合、入力サンプル インスタンスに対して最初に初期値が割り当てられ、次に各決定木がトラバースされます。各ツリーは予測値を調整および修正し、最終的に予測結果を取得します。

ロジスティック回帰は線形データの処理に適していますが、実際の問題は、特に信用リスク評価のシナリオでは非線形であることが多いです。サポートベクターマシン (SVM) はカーネル関数などの方法を通じて非線形データを処理できますが、サンプルサイズが大きい場合、トレーニング速度が遅くなりすぎます。決定木は非線形データを処理できますが、単一の決定木はデータに対して非常に敏感であり、過剰適合の問題が発生しやすくなります。ランダムフォレストは、サンプリングによって計算量を削減し、並列手法を使用してモデルをトレーニングできるため、大規模な高次元データの処理に適しています。基本的な決定木モデルに基づいて、適応ブースティング (AdaBoost) と勾配ブースティング決定木 (GBDT) は、データの重みやその他の方法を変換することで、過剰適合の問題を効果的に回避しながら、弱いモデルを強いモデルに変換できます。

モデリングプロセス

本研究で使用したデータセットは、2010年7月31日時点のローン記録、クレジットカード記録、準クレジットカード記録、特別取引記録、照会記録など、信用情報センターデータベースに保存されている1,265万人分の個人信用データです。パフォーマンス変数は、2010 年 7 月 31 日から 2012 年 7 月 31 日までの個々の債務不履行の記録を使用して定義されます。パフォーマンス変数の範囲は、0 (延滞していない) から 1 (90 日以上延滞している) までです。

プロジェクトモデリングのプロセスは次のとおりです。(1)まず、元データを分析し、元データの各フィールドの意味を研究し、データの品質を分析します。(2)分析結果に基づいて、過去の返済情報、口座の種類と番号、現在の口座と決済口座の情報、信用期間、新規口座情報、照会情報、特別取引情報など、個人信用を特徴付ける7つの主要な統計指標を決定します。(3)単変量決定木法を使用して、いくつかの連続指標を列に分割します。(4)ビッグデータアルゴリズムを使用して、個人信用リスク評価モデルを構築します。(5)各アルゴリズムのモデル効果を評価および分析します。

このプロジェクトにおけるデータの分析、処理、モデリングはすべて Python 環境に基づいています。

効果評価

このプロジェクトでは、主に精度、安定性、解釈可能性という 3 つの側面からモデルを評価します。精度指標には、感度曲線下面積（ROC_AUC）と識別指数（Kolmogorov-Smirnov、KS）が含まれ、安定性指数は主に集団安定性指数（Population Shift Index、PSI）を指します。解釈可能性は指標の重要度によって評価できます。指標の重要度は、各説明変数がアルゴリズムの予測結果に与える影響の度合いを測定するために使用されます。感度曲線下面積（ROC_AUC）、識別指数（KS）、集団安定性指数（PSI）の具体的な意味は次のとおりです。

感度曲線下面積 (ROC_AUC)

感度曲線下面積（ROC_AUC）は、感度曲線（ROC）と横軸の間の面積であり、モデル全体の精度を評価する指標です。他の評価指標と比較して、ROC 曲線は一定の安定性があり、陽性サンプルと陰性サンプルの分布の変化によって異なる曲線が生成されません。受信者動作特性 (ROC) 曲線は、真陽性率 (TPR) と偽陽性率 (FPR) という 2 つの指標を使用して描画されます。受信者動作特性曲線 (ROC) を図 1 に示します。感度曲線の下の領域 (ROC_AUC) の範囲は [0,1] です。値が大きいほど、モデルの全体的な精度は向上します。

識別指数（KS）

識別指数 (KS) は、特定のモデルにおける正常サンプルとデフォルト サンプルの分布間の最大ギャップを測定します。まず、サンプルはクレジット スコアまたは予測デフォルト率に従って小さいものから大きいものへと分類され、次に各スコアまたはデフォルト率における良好なサンプルと不良なサンプルの累積割合が計算されます。正常サンプルとデフォルトサンプルの累積割合の差の最大値が識別指数 (KS) です。識別指標（KS）の模式図を図2に示します。判別指数 (KS) が 0.2 未満の場合、モデルの精度が低いことを示し、KS が 0.75 を超える場合、モデルの精度が高いことを示します。

人口安定指数（PSI）

モデルは特定の時点で開発され、外部サンプルに対して有効かどうかを判断するために安定性をテストする必要があります。人口安定指数 (PSI) は、モデルの安定性を評価するために最も一般的に使用される指標です。人口安定指数 (PSI) を計算する式は次のとおりです。

予想パーセンテージ (Expected%) と実際のパーセンテージ (Actual%) は、それぞれ、モデル トレーニング サンプルとテスト サンプル内の対応するスコア セグメントまたはデフォルト率セグメント内の人の割合を表します。一般的に、PSI が 0.1 未満の場合、モデルの安定性は高いことを示し、PSI が 0.1 より大きく 0.25 未満の場合、モデルの安定性は中程度であることを示し、PSI が 0.25 より大きい場合、モデルの安定性は低いことを示します。

サンプルは2010年にテストされました。まず、2010 年のサンプルでモデリングを行い、各モデルの精度と解釈可能性を評価します。 2010年のサンプルとは、2010年のパフォーマンス変数値が0（延滞していない）、1（90日以上延滞している）であった母集団を指し、サンプルサイズは約1,000万です。サンプルの 70% はモデルを構築するためのトレーニング サンプルとして選択され、30% はモデルの効果を評価するためのテスト サンプルとして選択されました。各モデルの感度曲線下面積（ROC_AUC）と識別指数（KS）をそれぞれ図3と図4に示します。

上記の結果から、統合アルゴリズム（ランダムフォレスト、勾配ブースティング決定木、アダプティブブースティング）によって確立されたモデルのパフォーマンスが向上し、感度曲線下面積（ROC_AUC）指数が 0.95 を超えることがわかります。サポート ベクター マシン (SVM) の精度は最悪です。これは、データ サンプルが大きいことと、プロジェクト環境でカーネル関数を使用できないことに関係しています。決定木は全体的に機能し、感度曲線下面積 (ROC_AUC) 指数は 0.9477 でした。具体的には、判別指数（KS）を測定基準とした場合、Adaptive Boosting（AdaBoost）が最も優れた性能を発揮し、判別指数（KS）は0.7803に達します。他のモデルのパフォーマンスは、ランダム フォレスト > 勾配ブースティング決定木 (GBDT) > 決定木 > サポート ベクター マシン (SVM) の順にランク付けされています。

解釈可能性の点では、結果の解釈に役立つように、各アルゴリズムによって指標の重要度が計算されます。各モデルで生成された指標の重要性を総合的に考慮して得られた総合ランキングを表1に示す。

各モデル指標の重要度の総合ランキングから判断すると、個人信用評価に最も大きな影響を与える要因は、延滞状況、正常返済比率、無担保ローン、信用限度額利用率、信用期間などです。解釈性の高い統計指標が、新たなビッグデータアルゴリズムの予測結果に影響を与えていることがわかります。従来のロジスティック回帰モデルと比較すると、ビッグデータ アルゴリズムでは変数の選択と変数の評価の作業がそれほど必要ありません。モデル構築プロセス中に重要な変数を自動的に選択し、変数の重要性を自動的に評価できます。

外部ポイントサンプルテスト。外部のポイントインタイム サンプルでのモデルのパフォーマンスを評価するために、新しいビッグ データ アルゴリズム モデルを外部のポイントインタイム サンプルでテストしました。外部の特定時点のサンプルは、2011 年 3 月 31 日までの記録から選択され、サンプルの総数は約 1,300 万件です。 2010 年のトレーニング サンプルでトレーニングされたモデルは、外部のタイム ポイント サンプルでテストされ、外部のタイム ポイント サンプルでの精度と安定性が分析および比較されました。

各モデルのパフォーマンス評価指標を図 5 と表 2 に示します。ここで、2010 は 2010 年のテスト サンプルに対するモデルのパフォーマンスを表し、2011 は 2011 年のテスト サンプルに対するモデルのパフォーマンスを表します。

2010 年と 2011 年のサンプルに対するモデルの予測結果を比較すると、精度の点では、決定木、ランダム フォレスト、アダプティブ ブースティング (AdaBoost) の感度曲線下面積 (ROC_AUC) が減少した一方で、勾配ブースティング決定木 (GBDT) の感度曲線下面積 (ROC_AUC) は向上しました。また、決定木とアダプティブ ブースティング (AdaBoost) の判別指数 (KS) は減少した一方で、ロジスティック回帰、ランダム フォレスト、勾配ブースティング決定木 (GBDT)、サポート ベクター マシン (SVM) の判別指数 (KS) は向上しました。全体的に、精度の面では、2011 年のテスト サンプルと 2010 年のテスト サンプルにおける各モデルのパフォーマンスに大きな違いはなく、パフォーマンスは安定しています。人口安定性指数 (PSI) の観点から見ると、適応ブースティング (AdaBoost) とサポートベクターマシン (SVM) の安定性が最も高く (PSI < 0.1)、決定木と勾配ブースティング決定木 (GBDT) は 2 番目 (0.10.25) です。

要約:

個人信用リスク評価モデルにおける新しいビッグデータアルゴリズムの有効性を評価するために、中国人民銀行信用参照センターと北京知新普林科技有限公司は、主流のビッグデータアルゴリズムのモデル構築効果を、正確性、安定性、解釈可能性の3つの側面から総合的に評価しました。このプロジェクトでは、決定木、ランダムフォレスト、アダプティブブースティング（AdaBoost）、勾配ブースティング決定木（GBDT）、サポートベクターマシン（SVM）を含む 5 つの新しいビッグデータアルゴリズムを選択し、数千万の大規模なサンプルで個人のリスク評価モデルを構築および分析しました。

2010 年の 1,000 万サンプルの分析結果によると、アダプティブ ブースティング (AdaBoost)、勾配ブースティング決定木 (GBDT)、ランダム フォレストの 3 つの統合アルゴリズムの精度が最も高く、次に決定木が続き、サポート ベクター マシン (SVM) の精度が最も低いことがわかりました。同時に、外部時点サンプルの分析結果では、適応ブースティング（AdaBoost）とサポートベクターマシン（SVM）は安定性が高く、決定木と勾配ブースティング決定木（GBDT）は安定性が中程度で、ランダムフォレストは安定性が低いことが示されています。解釈可能性の点では、新しいビッグデータアルゴリズムは統計指標の重要性を評価することができ、全体的なランキングで上位にランク付けされた統計指標は解釈可能性が高くなります。全体的に、一部のビッグデータ アルゴリズム (アダプティブ ブースティングなど) は、精度と安定性の点で優れたパフォーマンスを発揮しており、我が国の新世代の信用リスク評価モデルの戦略的準備として使用できます。

ビッグデータ アルゴリズムはモデル構築のためのツールであり、その結果は絶対的なものではありません。データの特性とアルゴリズムの特性に基づいて適切なモデルを構築する方法も非常に重要です。実際のモデル開発プロセスでは、ビジネス エキスパートとデータ サイエンス チームが緊密に連携して、データ ロジックを理解し、モデリング インジケーターを選択する必要があります。さらに、データ サイエンス チームは、ビッグ データ アルゴリズムを最大限に活用して高性能な信用リスク評価モデルを開発するために、アルゴリズムの中核原理を深く理解し、アルゴリズムを迅速に実装する能力と強力な大規模データ処理機能を備えている必要があります。