Repolode
提交项目
microsoft

microsoft/SynapseML

一个开源库，为 Apache Spark 流水线提供分布式机器学习、深度学习和 Azure AI 服务能力。

在 GitHub 查看官网
Star
5,254
Fork
869
未关闭 Issue
144
最近提交
3天前

这是什么？

SynapseML（前身为 MMLSpark）是一个在 Apache Spark 上构建大规模机器学习流水线的库。它提供可组合的分布式 API，风格与 Spark MLlib 一致，可直接嵌入现有 Spark 工作流。涵盖的任务包括文本分析、计算机视觉、异常检测，并支持基于 LightGBM 的梯度提升和 Vowpal Wabbit。

除训练外，它还提供 Spark Serving，可将 Spark 计算以 Web 服务形式发布；支持基于 ONNX 的分布式模型推理；并通过 HTTP on Spark 在集群中调用任意 Web API。同时封装了 Azure 认知服务，便于在 Spark DataFrame 上大规模调用。

项目按 Spark 版本发布 JVM 构件（Spark 3.5 对应 Scala 2.12，Spark 4.0 和 4.1 对应 Scala 2.13），并在 PyPI 提供 Python 封装。可运行于 Microsoft Fabric、Azure Synapse、Databricks、EMR、HDInsight 及独立 Spark 集群。

核心功能

  • 01遵循 SparkML/MLlib API 风格的 Estimator 与 Transformer
  • 02在 Spark 上运行 LightGBM 梯度提升和 Vowpal Wabbit 文本模型
  • 03通过 Spark Serving 将 Spark 计算发布为低延迟 Web 服务
  • 04在 Spark 上进行分布式 ONNX 模型推理
  • 05在 DataFrame 中调用 Azure 认知服务
  • 06基于 Isolation Forest 的分布式异常检测

适用场景

  • 在现有 Spark 集群上对超大数据集训练梯度提升模型
  • 对数据湖中的大表批量执行文本分析或视觉服务
  • 将 Spark 流水线部署为 HTTP 接口以支持在线打分
  • 在 Spark 作业中大规模运行 ONNX 模型

标签

#apache-spark#machine-learning#distributed-computing#deep-learning#lightgbm#onnx#big-data#pyspark#ai#azure

常见问题

SynapseML 是什么？
一个开源库，为 Apache Spark 流水线提供分布式机器学习、深度学习和 Azure AI 服务能力。 SynapseML（前身为 MMLSpark）是一个在 Apache Spark 上构建大规模机器学习流水线的库。它提供可组合的分布式 API，风格与 Spark MLlib 一致，可直接嵌入现有 Spark 工作流。涵盖的任务包括文本分析、计算机视觉、异常检测，并支持基于 LightGBM 的梯度提升和 Vowpal Wabbit。
SynapseML 可以免费使用吗？用的什么许可证？
SynapseML 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
SynapseML 还在维护吗？
活跃维护中。SynapseML 最近一次提交是在 2026年11月4日。
SynapseML 适合用来做什么？
在现有 Spark 集群上对超大数据集训练梯度提升模型 对数据湖中的大表批量执行文本分析或视觉服务 将 Spark 流水线部署为 HTTP 接口以支持在线打分 在 Spark 作业中大规模运行 ONNX 模型
在哪里获取 SynapseML？
源代码和安装说明在 GitHub 上：https://github.com/microsoft/SynapseML

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目