AIがエンタープライズデータカタログを救う方法

「データ カタログ」という概念は、実は新しいものではありません。メインフレームの時代から、企業はデータ カタログを通じてデータ資産を追跡および管理し始めました。データ ディレクトリには、データに関連するデータ、つまりメタデータが保存されます。エンタープライズ データ カタログでは、たとえば、会社全体のすべてのデータベースとファイル、さらに可能であればファイル間の関係を記録して記述する必要があります。

データ カタログを使用すると、ビジネス ユーザーは、資産データ、会社の地理的位置、製品やサプライヤーに関する情報など、必要な情報ソースをすばやく見つけることができます。しかし、データ カタログは最新の状態に保たれている場合にのみ効果を発揮しますが、急速に変化する業界では、それを実現するのは難しい場合があります。

[[312930]]

メタデータとデータカタログ

メタデータを理解する簡単な方法は、映画の例えを使うことです。映画は放送局の映画ライブラリに保存されますが、映画のタイトル以外にも保存する必要があるものがあります。映画の長さ、出演者、監督、脚本家、脚本に関する情報など、映画のメタデータを知ることは重要です。

データ カタログ、データ ディクショナリ、ビジネス用語集などの概念については、誰もが大まかに理解していると思います。ビジネス ユーザーを対象としたビジネス用語集と、より技術的なユーザーを対象としたデータ辞書との間には微妙な違いがあります。しかし、これら 3 つの概念は明らかにメタデータに関連しており、いずれも同様の課題に直面しています。

エンタープライズデータカタログの課題

初期のデータ カタログは、データベース内のフィールドの数、フィールドが数値ベースか文字ベースか、フィールドの長さ、有効な値の範囲があるかどうかなどの技術データに重点​​を置いていました。その後、定義は拡張され、ビジネス データの種類に関する情報や、「顧客」、「製品」、「資産」などのデータの定義も含まれるようになりました。

重要な問題は、エンタープライズ データ カタログが古くなる可能性があることです。多くの場合、熱心な従業員はさまざまなシステムやデータベースの内容に関する情報を入力しますが、その情報を最新の状態に保つ動機はほとんどありません。新しいシステムが導入されたり、企業全体が買収されてそのシステムが企業ポートフォリオに追加されたり、組織再編が行われたりすると、苦労して入力された記述メタデータは古くなりすぎて信頼できなくなり、使用されなくなります。

多くの企業が効果的なカタログの実装に多大な労力を費やしていますが、ビジネスが急速に変化してもエンタープライズ データ カタログを完全に同期した状態に保つための継続的な努力を行っている企業はほとんどありません。そのため、近年ではいくつかのソフトウェアベンダーからデータカタログ、データ辞書、ビジネス用語集などの製品サービスが提供されているものの、本当の意味で広く普及するまでには至っていません。

AIとエンタープライズデータカタログ

データの量と種類が増加し続ける時代において、企業のデータ カタログを最新の状態に保つことはますます困難になっています。しかし、人工知能などの技術を応用することで、この状況は変わる可能性があります。

機械学習アプリケーションは、Google がインターネットで Web サイトやカタログを検索してインデックスを作成するのと同様に、企業のデータ カタログやファイル システムを精査してメタデータ タグを自動的に収集できます。このテクノロジーをデータ カタログに適用すると、企業は人間の介入を必要とせずにデータを自動的に入力および更新できるようになります。これにより、エンタープライズ データ カタログの妨げとなっていた主要な問題、つまり、多くの手作業による面倒な作業が必要になるという問題が解決されます。人工知能がデータカタログ市場の繁栄に貢献する可能性が高いと予測されます。