Ant Financialが機械学習ツールSQLFlowをオープンソース化、機械学習はSQLよりも簡単

5月6日、アント・ファイナンシャルの副CTOである胡曦氏はオープンソースの機械学習ツールSQLFlowを正式に発表し、「今後3年間で、AI機能はすべての技術者の基本的な機能となるでしょう。SQLFlowをオープンソース化することで人工知能アプリケーションの技術的ハードルを下げ、技術者がSQLと同じくらい簡単にAIを呼び出せるようにしたいと考えています。」と述べた。

現在、SQLFlow は GitHub で 1,636 個のスターと 236 個のフォークを獲得しています。 (GitHub アドレス: https://github.com/sql-machine-learning/sqlflow)

SQLFlow の目標は、SQL エンジンと AI エンジンを接続し、ユーザーがわずか数行の SQL コードでアプリケーションまたは製品全体の背後にあるデータ フローと AI 構造を記述できるようにすることです。関連する SQL エンジンには、MySQL、Oracle、Hive、SparkSQL、Flink など、SQL またはその派生語を使用してデータを記述したり、データに対する操作を記述したりすることをサポートするシステムが含まれます。ここで言う AI エンジンには、TensorFlow や PyTorch などのディープラーニング システムのほか、XGBoost、LibLinear、LibSVM などの従来の機械学習システムも含まれます。

SQLから機械学習へ

SQLFlow は、拡張構文を持つ SQL プログラムを、submitter と呼ばれるプログラムに変換して実行するトランスレータとして考えることができます。 SQLFlow は、さまざまな SQL エンジンを同じエンジンに抽象化する抽象化レイヤーを提供します。 SQLFlow は、さまざまな変換メカニズムをプラグインして、さまざまな AI エンジンに基づく送信プログラムを取得できる拡張可能なメカニズムも提供します。

SQLFlow が SQL 構文を拡張する目的は単純です。SELECT ステートメントの後に拡張構文を持つ TRAIN 句を追加することで、AI モデルのトレーニングを実装できます。あるいは、PREDICT 句を追加して、既存のモデルを使用して予測を行うこともできます。この設計により、データ アナリストの学習パスが大幅に簡素化されます。

さらに、SQLFlow は、データの特性に基づいてデータを自動的に機能に変換する方法を推測するために、さまざまな送信者翻訳プラグインで使用できるいくつかの基本関数も提供します。この方法では、ユーザーは TRAIN 句で変換を記述する必要がありません。

上記の設計意図は、SQLFlow のオープン ソース コードに反映されています。もちろん、SQLFlow の開発期間はまだ比較的短く、十分に詳細化されていない領域がまだたくさんあります。 Ant Financial のオープンソースのもう 1 つの目的は、さまざまな SQL エンジン チームや AI チームと連携して、データと AI の架け橋を構築することです。

以下は、サンプル データ Iris.train を使用して Tensorflow DNNClassifer モデルをトレーニングし、トレーニング済みのモデルを使用して予測を実行する例です。 SQL を使用してエレガントな ML コードを記述すると、いかにクールであるかがわかります。

 sqlflow> SELECT *
 iris.trainより
DNN分類器のトレーニング
n_classes = 3、hidden_​​units = [10, 20]の場合
列がく片の長さ、がく片の幅、花弁の長さ、花弁の幅
LABELクラス
sqlflow_models.my_dnn_modelにコピーします。 
 
 ...
トレーニングセットの精度: 0.96721
トレーニング完了

sqlflow> SELECT *
 iris.testより
予測 iris.predict.class
 sqlflow_models.my_dnn_model を使用します。 
 
 ...
予測完了。予測テーブル: iris.predict
 ...
トレーニングセットの精度: 0.96721
トレーニング完了