機械学習から学習する機械まで、データ分析アルゴリズムにも優れた管理者が必要だ

[[177274]]
写真は、IBM Big Data and Analytics のグローバル研究開発担当副社長、Dinesh Nirmal 氏です。

今年はシェイクスピアの死後400年目にあたる。シェークスピアの有名な劇「ジュリアス・シーザー」では、占い師が文脈のない予言をしました。「3月は気をつけて」。シーザーはこの文章の意味がわからなかったので、占い師に夢を見続けるように言いました。その結果、3月15日にシーザーは暗殺されました。同様に、今日の予測アルゴリズムは予測を伝えることはできますが、適切なコンテキストを提供できないため、その後の行動に関する決定を下すことが困難になります。

予測アルゴリズムのもう 1 つの例としては、最新の「アベンジャーズ 3」に登場するウルトロンと呼ばれる人工知能合成生物が挙げられます。ウルトロンは任務を文字通りにしか理解できなかったため、「地球を救う」ことを「すべての人類を殺す」ことと理解した。これは、タスクを文字通りに受け止め、他の可能性やタスクの実際的な重要性を無視する典型的な予測アルゴリズムのようなものです。

そのため、2016年1月、ハーバード・ビジネス・スクールのマイケル・ルカ教授、経済学のセンディル・ムライナサン教授、コーネル大学のジョン・クラインバーグ教授は、ハーバード・ビジネス・レビュー誌に「アルゴリズムにも管理者が必要」と題する記事を共同で発表し、機械学習アルゴリズムと人工知能の時代におけるアルゴリズム管理の問題に世界のテクノロジーおよびビジネスコミュニティが注意を払うよう呼びかけました。なぜなら、もしある日アルゴリズムがシーザーや地球の運命を決めるとしたら、そのアルゴリズムを誰が管理するのでしょうか?

IBM のビッグデータおよび分析部門のグローバル研究開発担当副社長であるディネシュ・ニルマル氏は、最近北京で開催された 2016 国際機械学習および産業アプリケーションサミットに出席しました。同氏は、グローバルなビッグデータ分析、機械学習、人工知能の最先端のテクノロジー企業である IBM が、複雑なアルゴリズムの世界にどのように対処するかを紹介しました。これにより、自己学習、自己調整、自己最適化が可能な機械学習のマシンスチュワード、つまり Spark ベースの機械学習クラウドサービスが生まれます。

Apache Spark は、低レイテンシのタスクとメモリ内データ ストレージに最適化された分散コンピューティング フレームワークおよびオープン ソースのビッグ データ システムです。並列コンピューティングのパフォーマンスと、速度、スケーラビリティ、メモリ処理、フォールト トレランスの組み合わせ、およびプログラミングを大幅に簡素化する豊富な API により、Spark は機械学習アルゴリズムの主流のコンピューティング プラットフォームになりました。 2015 年 6 月、IBM は Spark オープン ソース コミュニティへの参加を発表し、Spark を自社の分析およびビジネス プラットフォームの中核として使用することを約束しました。

IBMは2016年6月から5か月かけてSparkベースの機械学習クラウドサービスを開発しており、パブリッククラウド、ローカルデプロイメント、ハイブリッドクラウドデプロイメントなどのバージョンを提供する予定。このクラウドサービスはIBMのメインフレームzシリーズにも導入できる。ディネシュ氏は、データの取得、特徴の抽出、モデルのトレーニング、モデルの展開、予測などの従来の機械学習プロセスの最適化に加えて、クラウド サービスでは継続的なフィードバック、自動モデリング、モデルの再トレーニングなどの自動管理も追加されると強調しました。

自動モデリングでは、IBM の機械学習クラウド サービスがデータ モデルに基づいて最適なアルゴリズムを自動的に推奨し、データの特徴値に基づいてモデルのパフォーマンスと表現を評価することができます。モデルがトレーニングされると、リアルタイム環境、実稼働環境、オフライン バッチ環境に展開できます。データが変更されると、クラウド サービスはモデルのパフォーマンスをリアルタイムで監視し、モデルを自動的に再トレーニングすることもできます。プロセス全体を通して、モデルをオフラインでトレーニングしてオンラインに戻す必要がないため、リアルタイムの生産環境での商用アプリケーションが大幅に容易になります。

ディネシュ氏は、オープンソースが機械学習の世界における大きなトレンドであると考えています。この目的のために、IBM は自社の重量級機械学習フレームワーク SystemML をオープンソース化し、サンフランシスコに Spark テクノロジー センターを設立し、世界中の 3,500 人を超える IBM 研究者および開発者に Spark 関連プロジェクトの遂行を依頼しました。 2016 年 6 月、IBM は、データ サイエンティストの機械学習とデータ分析の速度を向上させるために、Apache Spark に基づく H2O、RStudio、Jupyter Notebook などのオープン ソースの科学研究および分析インタラクティブ環境と独自のオープン ソース ソフトウェアを組み合わせた Data Science Experience クラウド サービスを開始しました。

IBM は、データ分析製品とテクノロジー エコシステムをさらに強化するために、2015 年以降、Apache Toree、EclairJS、Apache Quarks、Apache Mesos、Apache Tachyon (現在は Alluxio に改名) などのオープン ソース プロジェクトに多大な貢献を行っており、SparkSQL、SparkR、MLLib、PySpark などの Apache Spark サブプロジェクトにも深く貢献しています。現在、Spark は、Watson、ビジネス、アナリティクス、システム、クラウドなど 45 を超える IBM コア製品と統合されています。

IBM は Spark に 3 億ドル以上を投資しており、Spark をデータ分析用のオペレーティング システムとみなしています。 Spark ベースの機械学習クラウド サービスの立ち上げは、機械学習アルゴリズムのための安全で信頼性の高い統合管理プラットフォームを提供することを目的とした IBM の最新の開発です。これを基に、IBMはWatsonを機械学習にさらに活用し、人工知能が機械学習アルゴリズムによる人間の意図の理解をより「インテリジェント」に支援できるようにしています。これが、新たに発表されたWatsonデータプラットフォームです。

ディネシュ氏は、IBMはオープンソースのアルゴリズムやIBM独自のアルゴリズムなどを含むすべての機械学習、人工知能、データ分析、データ管理などをSparkベースの統一プラットフォームに統合し、その後、エンタープライズレベルのソリューションを最適化および構成した後、最終的にハイブリッドクラウド方式で企業が自由に選択できるデータおよびアルゴリズム管理プラットフォームを作成する予定であると紹介しました。

2017年には、モバイルインターネットが急速に発展する偉大な時代が到来し、データとアルゴリズムが世界を「支配」することがより容易になるでしょう。オンライン音楽、オンラインゲーム、オンライン広告から、さまざまな生活サービス、ソーシャルコミュニケーション、コンテンツ消費まで、機械学習アルゴリズムは、人々に無意識のうちに多くの選択をもたらしてきました。したがって、機械が人類を解放することを歓迎する一方で、自己学習し自己修正できる機械を必要とするアルゴリズムによってもたらされる「偏見」にも警戒しなければなりません。

機械学習から学習マシンへ、これが人工知能を商業化する唯一の方法です。