Databricks、ビッグデータ分析プラットフォームSpark向けAIモデルSDKをリリース：ワンクリックでSQLとFySpark言語チャートコードを生成

Databricksは7月10日、ビッグデータ分析プラットフォームSparkが使用するAIモデルSDKをリリースした。開発者がコードを書く際に英語で指示を与えることができ、コンパイラが英語の指示をPySparkやSQL言語のコードに変換し、開発者の効率を向上させる。

▲ 画像出典: Databricks ウェブサイト

Sparkは、年間10億回以上ダウンロードされ、世界208の国と地域で利用されているオープンソースのビッグデータ分析ツールであると報告されています。

▲ 画像出典: Databricks ウェブサイト

Databricksは、MicrosoftのAIコードアシスタントGitHub Copilotは強力だが、使用の敷居もかなり高いと述べた。DatabricksのSDKは比較的汎用性が高く、使いやすい。

Databricks は、大規模な言語モデルが Spark と非常によく似ていることがわかったと主張しており、Spark コミュニティは過去 10 年間にわたって AI の学習と開発のために大量のオープンで高品質なテキストを提供してきた。 Databricks チームは、トレーニングには Spark コミュニティが提供する一連の学習データも活用し、LLM を使用して SDK の英語版を開発しました。この SDK を使用すると、開発者は英語で直接指示を与え、対応する結果を得ることができるため、開発効率が向上します。

▲ 画像出典: Databricks ウェブサイト

IT Home は、Databricks も SDK の英語版はまだ開発の初期段階にあり、より多くのユーザーが参加してこの SDK を改善することを歓迎していると主張していることを発見しました。