Repolode
投稿する
microsoft

microsoft/SynapseML

Apache Sparkのパイプラインに分散機械学習、ディープラーニング、Azure AIサービスを追加するオープンソースライブラリ。

GitHub で見る公式サイト
スター
5,254
フォーク
869
未解決の Issue
144
最終コミット
3 日前

これは何？

SynapseML（旧MMLSpark）は、Apache Spark上で大規模な機械学習パイプラインを構築するためのライブラリです。Spark MLlibと同じスタイルの組み合わせ可能なAPIを提供するため、既存のSparkワークフローにそのままEstimatorやTransformerを組み込めます。対応するタスクには、テキスト分析、コンピュータービジョン、異常検知、LightGBMによる勾配ブースティング、Vowpal Wabbitなどがあります。

モデルの学習に加えて、Sparkの計算処理をWebサービスとして公開するSpark Serving、ONNXを使った分散モデル推論、クラスターから任意のWeb APIを呼び出すHTTP-on-Sparkも備えています。また、Azure Cognitive ServicesをSpark DataFrameから大規模に呼び出すためのラッパーも提供します。

このライブラリは、SparkのバージョンごとにJVMアーティファクトとして公開されています（Spark 3.5はScala 2.12、Spark 4.0と4.1はScala 2.13）。PythonラッパーはPyPIで提供されています。Microsoft Fabric、Azure Synapse、Databricks、EMR、HDInsight、スタンドアロンのSparkで動作します。

主な機能

  • 01SparkML/MLlib APIに準拠したEstimatorとTransformer
  • 02Spark上で動作するLightGBMの勾配ブースティングとVowpal Wabbitのテキストモデル
  • 03Sparkの計算処理を低レイテンシのWebサービスとして公開するSpark Serving
  • 04Spark上での分散ONNXモデル推論
  • 05DataFrameから呼び出せるAzure Cognitive Servicesのラッパー
  • 06分散異常検知のためのIsolation Forest

ユースケース

  • 既存のSparkクラスターで、非常に大規模なデータセットを使って勾配ブースティングモデルを学習する
  • データレイクに保存された大規模なテーブルに対して、テキスト分析や画像認識サービスを実行する
  • Sparkパイプラインをオンラインスコアリング用のHTTPエンドポイントとしてデプロイする
  • Sparkジョブ内でONNXモデルを大規模にスコアリングする

トピック

#apache-spark#machine-learning#distributed-computing#deep-learning#lightgbm#onnx#big-data#pyspark#ai#azure

よくある質問

SynapseML とは？
Apache Sparkのパイプラインに分散機械学習、ディープラーニング、Azure AIサービスを追加するオープンソースライブラリ。 SynapseML（旧MMLSpark）は、Apache Spark上で大規模な機械学習パイプラインを構築するためのライブラリです。Spark MLlibと同じスタイルの組み合わせ可能なAPIを提供するため、既存のSparkワークフローにそのままEstimatorやTransformerを組み込めます。対応するタスクには、テキスト分析、コンピュータービジョン、異常検知、LightGBMによる勾配ブースティング、Vowpal Wabbitなどがあります。
SynapseML は無料で使えますか？ライセンスは？
SynapseML は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
SynapseML は今もメンテナンスされていますか？
活発にメンテナンス中。SynapseML の最終コミットは 2026年11月4日 です。
SynapseML は何に使えますか？
既存のSparkクラスターで、非常に大規模なデータセットを使って勾配ブースティングモデルを学習する データレイクに保存された大規模なテーブルに対して、テキスト分析や画像認識サービスを実行する Sparkパイプラインをオンラインスコアリング用のHTTPエンドポイントとしてデプロイする Sparkジョブ内でONNXモデルを大規模にスコアリングする
SynapseML はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/microsoft/SynapseML

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト