機械学習の応用シナリオは数多くありますが、金融分野での違いは何でしょうか?

[[241804]]

ビッグデータダイジェスト制作

編纂者：大迪、彭耀慧、茶曦、唐元、夏亜偉

金融の世界では、機械学習自体に魔法のようなものは何もないにもかかわらず（まあ、少しだけ魔法のようなものかもしれませんが）、機械学習は素晴らしい効果を発揮する可能性があります。ただし、機械学習プロジェクトの成功は、効率的なインフラストラクチャの構築、適切なデータセットの収集、適切なアルゴリズムの適用に大きく依存します。

機械学習は金融サービス業界に大きな影響を与えています。金融会社がこのテクノロジーに注目する理由、AI と機械学習を使用してどのようなソリューションを実現できるか、そしてこのテクノロジーをどのように適用するかについて見てみましょう。

意味

機械学習 (ML) は、統計モデルを使用して洞察を得て予測を行うデータサイエンスのサブセットと考えることができます。次の図は、人工知能、データサイエンス、機械学習の関係を説明しています。簡潔にするために、この投稿では機械学習に焦点を当てます。

機械学習の素晴らしい点は、明示的にプログラムしなくても経験から学習できることです。簡単に言えば、モデルを選択してデータを入力すると、モデルは自動的にパラメータを調整して結果を改善します。

データサイエンティストは既存のデータセットを使用してモデルをトレーニングし、トレーニングしたモデルを実際の状況に適用します。

モデルはバックグラウンドで実行され、以前のトレーニングに基づいて結果を自動的に提供します。データサイエンティストは、モデルを最適な状態に保つために、できるだけ頻繁にモデルを再トレーニングします。たとえば、当社の顧客である Mercanto は、モデルを毎日再トレーニングしています。

一般的に言えば、提供されるデータが多いほど、結果はより正確になります。偶然にも、金融サービス業界では膨大なデータセットが非常に一般的です。取引、顧客、請求書、送金に関するデータはペタバイト規模で存在します。これは機械学習に最適です。

テクノロジーが発展し、最良のアルゴリズムがオープンソース化されるにつれて、機械学習を使用しない金融サービスの未来を想像することは難しくなります。

ほとんどの金融サービス企業は、以下の理由により、このテクノロジーからまだ真の価値を引き出すことができていません。

企業は、機械学習とその価値について、まったく非現実的な期待を抱いていることがよくあります。
人工知能と機械学習の開発には費用がかかります。
DS/ML エンジニアの不足も大きな問題です。下のグラフは、AI と機械学習のスキルに対する需要の爆発的な増加を示しています。
金融会社は、データインフラストラクチャの更新に関して十分な柔軟性を持っていません。

次に、これらの問題をどのように克服するかについて説明します。まず、金融サービス企業が機械学習を無視できない理由を見てみましょう。

課題にもかかわらず、多くの金融会社はすでにこの技術を導入しています。下のグラフが示すように、金融サービス業界の幹部は機械学習を非常に真剣に受け止めており、それにはいくつかの理由があります。

自動化により運用コストが削減されます。
生産性の向上とユーザーエクスペリエンスの向上により収益を生み出します。
より優れたコミットメントと安全性の向上。

金融データに適したオープンソースの機械学習アルゴリズムやツールは数多くあります。さらに、確立された金融サービス企業は多額の資本を保有しており、コンピューティングハードウェアにさらに投資する余裕があります。

金融分野には膨大な量の履歴データがあるため、機械学習を使用して金融エコシステムのさまざまな側面を強化することができます。

これが、多くの金融会社が機械学習の研究開発に多額の投資をしている理由です。遅れている企業にとって、AI と ML を無視するコストは高くなります。

金融において機械学習はどのようなシナリオで使用できますか?

金融分野における機械学習の将来的な応用をいくつか見てみましょう。

1. プロセスの自動化

プロセス自動化は、金融における機械学習の最も一般的なアプリケーションの 1 つです。このテクノロジーは手作業を置き換え、反復的な作業を自動化し、生産性を向上させることができます。

その結果、機械学習は企業がコストを最適化し、顧客体験を向上させ、サービスを拡張するのに役立ちます。以下は、金融分野でプロセス自動化がどのように使用されているかの例です。

チャットボット
カスタマーサービスセンターの自動化
事務処理の自動化
従業員研修のゲーム化等

銀行業務プロセスの自動化の例をいくつか紹介します。

JPMorgan Chaseは、機械学習技術である自然言語処理を活用したスマートコントラクト（COiN）プラットフォームを立ち上げました。このソリューションは、法的文書を処理し、そこから重要なデータを抽出します。年間 12,000 件の商業信用契約を手作業で確認するには、通常、約 360,000 時間の作業時間が必要です。しかし、機械学習を使用すれば、数時間で同じ数の契約を処理することが可能です。
BNY Mello は、プロセス自動化を銀行エコシステムに統合します。この革新により、年間 30 万ドルの節約が実現し、広範囲にわたる運用の改善につながりました。
Wells Fargo は、Facebook Messenger プラットフォームを通じて AI 搭載のチャットボットを使用し、ユーザーとやり取りしてパスワードやアカウントに関するサポートを提供しています。
Privatbank は、モバイルおよび Web プラットフォームでチャットボットアシスタントを使用するウクライナの銀行です。チャットボットは一般的な顧客からの問い合わせをスピードアップし、人間のアシスタントの数を減らします。

2. セキュリティ

取引、ユーザー、サードパーティ統合の数が増えるにつれて、金融分野におけるセキュリティの脅威も増加します。機械学習アルゴリズムは不正行為の検出にも優れています。

たとえば、銀行はこのテクノロジーを使用して、各口座の何千もの取引パラメータをリアルタイムで監視できます。アルゴリズムはカード所有者のあらゆる行動を分析し、ユーザーの行動の背後にある目的を発見しようとします。このモデルは不正行為を正確に検出できます。

システムが疑わしいアカウントの動作を識別した場合、トランザクションを確認するためにユーザーに追加の認証情報を要求することがあります。不正である可能性が 95% ある場合、取引が完全にブロックされることもあります。機械学習アルゴリズムがトランザクションを検証するには、わずか数秒（場合によっては数秒）しかかかりません。このスピードにより、不正行為が発生した後に特定するのではなく、リアルタイムで不正行為を防止することができます。

金融モニタリングは、金融における機械学習のもう 1 つのセキュリティ使用例です。データサイエンティストは、システムをトレーニングして大量のマイクロペイメントを検出し、スマーフィングなどのマネーロンダリング手法を警告することができます。

機械学習アルゴリズムは、ネットワークセキュリティを大幅に向上させることもできます。機械学習は何千ものパラメータをリアルタイムで分析する上で強力であることが証明されているため、データサイエンティストはサイバー脅威を特定して隔離するシステムをトレーニングします。この技術が近い将来、最先端のサイバーセキュリティネットワークに採用される可能性は十分にあります。

Adyen、Payoneer、Paypal、Stripe、Skrill などは、安全な機械学習に多額の投資をしている有名なフィンテック企業の一部です。

金融分野における人工知能技術応用の現状

オレンジ色と薄いオレンジ色のブロックは、関連するテクノロジが適用されているか、将来的に計画されていることを示します。

3. 引受と信用スコアリング

機械学習アルゴリズムは、金融および保険業界で一般的な引受業務に適しています。

各顧客プロファイルには数百のデータエントリがあり、データサイエンティストは数千の顧客プロファイルに基づいてモデルを構築します。トレーニングされたシステムは、実際の環境で同様の引受および信用スコアリングのタスクを実行できます。このスコアリングシステムにより、関係する実務者の作業の効率と正確性が向上します。

銀行や保険会社は、機械学習モデルのトレーニングに使用できる大量の過去の消費者データを保有しています。あるいは、大手通信会社や公益事業会社が生成したデータセットを使用することもできます。

たとえば、BBVA Bancomer は信用スコアリングプラットフォームである Destacame と提携しています。同銀行は、ラテンアメリカで信用履歴が不十分な顧客の信用へのアクセスを改善することを目指している。 Destacame はオープン API を通じて公益事業会社からの請求書支払い情報にアクセスしました。 Destacame は、請求書の支払い行動を分析することで、顧客の信用スコアを生成し、その結果を銀行に送信します。

4. アルゴリズム取引

機械学習は、アルゴリズム取引における取引決定の改善に役立ちます。数学モデルは、ニュースや取引結果をリアルタイムで監視し、株価の変動を引き起こす可能性のあるパターンを検出できます。そして、その予測に基づいて、株式を売るか、保有するか、買うかを積極的に選択することができます。

機械学習アルゴリズムは、人間のトレーダーの限界をはるかに超えて、何千ものデータソースを同時に分析できます。

機械学習アルゴリズムは、人間のトレーダーが市場平均に対してわずかな優位性を獲得するのに役立ちます。取引操作の頻度が高いことを考えると、この利点は多くの場合、莫大な利益につながります。

5. ロボアドバイザー

ロボアドバイザーは金融業界で非常に人気があります。現在、コンサルティング分野における機械学習の主な用途は 2 つあります。

ポートフォリオ管理。これは、アルゴリズムと統計を使用して顧客の資産を配分、管理、最適化するオンライン資産管理サービスです。ユーザーは、現在の金融資産と、50歳までに100万ドルを貯蓄するなどの目標を入力します。その後、ロボアドバイザーは、リスク許容度と望ましい目標に基づいて、既存の資産を投資機会に配分します。

金融商品の推奨。多くのオンライン保険サービスプロバイダーは、ロボットアドバイザーを使用して、特定のユーザーにカスタマイズされた保険サービスを推奨しています。顧客は、個人のファイナンシャルアドバイザーよりも、手数料が安く、パーソナライズされた調整された推奨事項を提供できるロボアドバイザーを好むことが多いです。

[[241806]]

金融に機械学習を適用するにはどうすればよいでしょうか?

人工知能と機械学習には多くの利点があるにもかかわらず、資金力のある企業でさえも、その技術から真の価値を引き出すのは困難です。金融サービス企業は機械学習の独自の価値を解き放ちたいと考えていますが、データサイエンスがどのように機能し、どのように使用するかについては漠然とした考えしかありません。

合理的な業績評価指標の欠如など、同様の課題に何度も直面しています。これにより、非現実的な見積もりと予算の枯渇につながりました。適切なソフトウェアインフラストラクチャを導入するだけでは十分ではありません (ただし、それが良いスタートとなることは確かです)。機械学習を金融サービスにうまく適用するには、明確なビジョン、確かな技術的才能、そして価値ある機械学習開発プロジェクトを実現するというコミットメントが必要です。

このテクノロジーが目標達成にどのように役立つかを完全に理解したら、精神レベルでそれを検証し続ける必要があります。データサイエンティストのタスクは、アイデアを検討し、実現可能な KPI の開発を支援し、合理的な見積もりを作成することです。

関連するすべてのデータが収集されていることを確認することが重要です。それ以外の場合は、このデータを収集してクリーンアップするデータエンジニアが必要になります。金融会社は、目的やビジネス状況に応じてさまざまな方法で機械学習を適用できます。

1. 機械学習をあきらめてビッグデータエンジニアリングに注力する

場合によっては、金融会社が機械学習プロジェクトを開発する際に達成したいことは、適切な量のデータエンジニアリングで達成できることがあります。 N-iX のシニアデータサイエンティストである Max Nechepurenko 氏は次のようにコメントしています。

データサイエンスソリューションを開発するときは、オッカムの剃刀を使用することをお勧めします。つまり、モデルは過度に複雑にならないということです。機械学習を目指すほとんどの企業は、堅実なデータエンジニアリング手法、集計データへの統計的手法の適用、データの視覚化に重点を置くだけで済みます。

すでに処理された構造化データに統計モデルを適用するだけで、銀行は業務上の多くのボトルネックや非効率性から解放されます。

これらのボトルネックとは何でしょうか? たとえば、特定の支店での待ち行列の問題、回避可能な反復タスク、非効率的な人的資源作業、モバイルバンキングアプリの欠陥などです。

さらに、データサイエンスプロジェクトの最も重要な部分は、何百もの情報ソース (CRM、レポートソフトウェア、スプレッドシートなど) から異なるサイロ化されたデータを収集する、調整されたプラットフォームエコシステムを構築することです。

アルゴリズムを適用する前に、データを構造化してクリーンアップする必要があります。この方法でのみ、これらのデータからさらに貴重な情報を抽出できます。実際、機械学習プロジェクトの時間の約 80% は、データの抽出、変換、読み込み、さらにデータのクリーニングに費やされています。

データエンジニアリングにおけるデータの抽出、変換、ロードの具体的なプロセス

2. サードパーティの機械学習ソリューションを使用する

企業が今後のプロジェクトで機械学習を使用することを決定したとしても、必ずしも新しいアルゴリズムやモデルを開発する必要はありません。

機械学習プロジェクトが対処する必要がある問題のほとんどはすでに解決されています。 Google、Microsoft、Amazon、IBM などのテクノロジー大手は、機械学習ソフトウェアをサービスとして販売しています。

これらのすぐに使用できるソリューションは、さまざまなビジネス上の問題を解決するようにトレーニングされています。あなたのプロジェクトに同じアプリケーションシナリオが含まれる場合、あなたのチームは、巨大な R&D センターを持つこれらのテクノロジー大手によって開発されたアルゴリズムを上回ることができると思いますか?

Google の複数のプラグアンドプレイ推奨システムソリューションは良い例です。ソフトウェアはさまざまな分野に適していますが、自分のケースに適しているかどうかを確認するだけです。

機械学習エンジニアは、特定のデータとビジネスドメインに重点を置いたシステムを構築できます。専門家は、さまざまな情報ソースからデータを抽出し、このシステムに適合するようにデータを処理し、処理された結果を受信して視覚化する必要があります。

サードパーティシステムに対する制御とソリューションの柔軟性の間のトレードオフのバランスを取る必要があります。さらに、機械学習アルゴリズムはすべてのビジネスシナリオに適しているわけではありません。 N-iX のシニアデータサイエンティストである Ihar Rubanau 氏は次のようにコメントしています。

普遍的な機械学習アルゴリズムはまだ存在しません。データサイエンティストは、アルゴリズムを適用する前に、さまざまな分野のさまざまなビジネスケースに基づいてアルゴリズムを調整する必要があります。

したがって、あなたの分野の特定の問題を解決する Google の既存のソリューションがあれば、それを使用できる可能性があります。そうでない場合は、カスタマイズされた開発と統合を検討してください。

3. イノベーションと統合

機械学習ソリューションをゼロから開発することは、最も時間がかかり、コストがかかり、リスクの高い選択肢の 1 つです。ただし、特定のビジネスケースでは、これが機械学習技術を適用する唯一の方法である可能性があります。

機械学習の研究開発はニッチな分野の特定のニーズを対象としており、徹底的な研究が必要です。特定の問題向けに開発されたすぐに利用できるソリューションがなければ、サードパーティの機械学習ソフトウェアは不正確な結果を生成する可能性があります。

上の写真の左から右へ: ソリューションアーキテクト、ビッグデータアーキテクト、ビッグデータエンジニア、バックエンドデベロッパー、フロントエンドデベロッパー、データサイエンティスト、機械学習エンジニア、ビジネスインテリジェンスエキスパート。

今日でも、Google やその他のオープンソースの機械学習ライブラリに大きく依存する必要があるかもしれません。今日のほとんどの機械学習プロジェクトは、現在利用可能な最も高度なライブラリを特定のドメインとユースケースに適用することに関するものです。

N-iX では、成功するエンタープライズ機械学習 R&D プロジェクトには、次の 7 つの共通の特徴があると考えています。

明確な目標。データの収集を始める前に、AI と機械学習で何を達成できるかについて、少なくとも大まかな考えを持っている必要があります。プロジェクトの早い段階で、データサイエンティストがアイデアを実際の KPI に変換するお手伝いをします。
堅牢な機械学習ソリューションのアーキテクチャ設計。このタスクを実行するには、経験豊富なソフトウェアアーキテクトが必要です。
適切なビッグデータエンジニアリングエコシステム (Apache Hadoop または Spark ベース) が必須です。金融サービス企業からの大量の分散データを収集、統合、保存、処理できます。このエコシステムの構築は、ビッグデータアーキテクトとビッグデータエンジニアが担当します。
新しく作成されたエコシステムで ETL プロセス (抽出、変換、ロード) を実行します。この部分はビッグデータアーキテクトと機械学習エンジニアが担当します。
最終的なデータ準備。データ変換と技術的なクリーニングに加えて、データサイエンティストは、データを特定のビジネスケースに適用できるようにさらにデータを精製する必要がある場合があります。
適切なアルゴリズムを適用してモデルを作成し、モデルを調整し、新しいデータでモデルをトレーニングします。これらのタスクはデータサイエンティストと機械学習エンジニアが実行します。
明確な洞察の視覚化。この部分はビジネスインテリジェンスの専門家が担当します。さらに、使いやすいインターフェースパネルを設計するには、フロントエンド開発者が必要になる場合があります。
プロジェクトの規模が小さいほど、必要な労力とチームも小さくなる場合があります。たとえば、データセットが小さい一部の R&D プロジェクトでは、経験豊富なビッグデータエンジニアは必要ない場合もあります。場合によっては、複雑なダッシュボードやデータの視覚化は必要ない場合もあります。

要点

金融機関では、プロセスの自動化とセキュリティ保護のために機械学習をよく使用します。

データの収集を始める前に、データサイエンスからどのような結果を得たいのかを明確に把握しておく必要があります。プロジェクトの開始前に実行可能な KPI を設定し、現実的な見積もりを行う必要があります。

多くの金融サービス企業では、データサイエンスや機械学習よりも、データエンジニアリング、統計、データ視覚化に対する需要が高くなっています。

トレーニングデータセットが大きく、クリーンであればあるほど、機械学習ソリューションの結果はより正確になります。

既存の機械学習アルゴリズムを引き続き使用しながら、可能な限り多くのモデルをトレーニングできます。

あらゆるビジネスケースに適合する万能の機械学習ソリューションは存在しません。

機械学習機能を備えた金融ソフトウェアの開発にはコストがかかります。

Google のようなテクノロジー大手は機械学習ソリューションを開発しました。プロジェクトにこれらのユースケースが含まれる場合は、既製のものを使用するようにしてください。独自のアルゴリズムが Google、Amazon、IBM よりも優れている可能性は低いためです。

金融における機械学習は他の分野とどう違うのでしょうか?

私の意見では、主な違いはデータの違いから生じます。金融の世界では、データは（非常に）ノイズが多く、変動しやすいものです。原理的には、「信号」は特定の方法を使用してノイズから分離することはできません。これは、少なくとも原理的にはノイズレベルを制御できる画像処理などとは大きく異なります。

また、画像処理においては不安定なデータは存在しません。非確率モデルを含む一部の機械学習モデルは、ノイズの影響が大きいため、金融分野で役割を果たすことが困難です。

もう一つの違いはデータの量です。金融における興味深い問題の多くは小規模および中規模のデータセットに関係しており、ディープラーニングなどの大規模なデータを必要とする一部の方法を適用することは困難です。したがって、正則化、ベイズ事前分布、または対称性分析などの他の一般原則の選択を通じて、金融における何らかの事前理論を（アプリケーションに応じて）実装する必要があります。

もう一つの重要な違いは、「真の」状態空間が金融においては明確に定義されていないことです。ブラックスワンと呼ばれる出来事がいくつかあります。これは、政治リスクなど金融モデル外の事象で、証券価格に大きな影響を与える可能性があります。

不確実性は確率（リスク）とは異なります。ほとんどの機械学習モデル (およびほとんどの従来の金融モデル) は、明確に定義された状態空間で確率システムを適用します。つまり、ブラックスワンの存在を認識しません。これらはリスクモデルではありますが、不確実性モデルではありません。