Repolode
Enviar
microsoft

microsoft/SynapseML

Biblioteca open source que adiciona machine learning distribuído, deep learning e serviços de IA do Azure aos pipelines do Apache Spark.

Ver no GitHubSite
Estrelas
5,254
Forks
869
Issues abertas
144
Último commit
há 3 dias

O que é?

SynapseML (anteriormente MMLSpark) é uma biblioteca para criar pipelines de machine learning em larga escala no Apache Spark. Ela oferece APIs combináveis que seguem o mesmo estilo do Spark MLlib, permitindo integrar seus estimators e transformers aos workflows existentes do Spark. Entre as tarefas abrangidas estão análise de texto, visão computacional, detecção de anomalias, gradient boosting com LightGBM e Vowpal Wabbit.

Além do treinamento, a biblioteca inclui o Spark Serving, que permite expor computações do Spark como web services, inferência distribuída de modelos baseada em ONNX e HTTP-on-Spark, para chamar APIs web arbitrárias a partir de um cluster. Ela também oferece wrappers para o Azure Cognitive Services, permitindo chamá-los em escala a partir de Spark DataFrames.

A biblioteca é distribuída como artefatos JVM para versões específicas do Spark (Spark 3.5 com Scala 2.12, Spark 4.0 e 4.1 com Scala 2.13), além de wrappers para Python no PyPI. Ela funciona no Microsoft Fabric, Azure Synapse, Databricks, EMR, HDInsight e em instalações independentes do Spark.

Recursos principais

  • 01Estimators e transformers compatíveis com a API do SparkML/MLlib
  • 02Gradient boosting com LightGBM e modelos de texto com Vowpal Wabbit no Spark
  • 03Spark Serving para expor computações do Spark como web services de baixa latência
  • 04Inferência distribuída de modelos ONNX no Spark
  • 05Wrappers para chamar o Azure Cognitive Services a partir de DataFrames
  • 06Isolation Forest para detecção distribuída de anomalias

Casos de uso

  • Treinar modelos de gradient boosting em conjuntos de dados muito grandes em um cluster Spark existente
  • Executar serviços de análise de texto ou visão computacional sobre tabelas grandes armazenadas em um data lake
  • Implantar pipelines do Spark como endpoints HTTP para scoring online
  • Executar scoring de modelos ONNX em escala dentro de jobs do Spark

Tópicos

#apache-spark#machine-learning#distributed-computing#deep-learning#lightgbm#onnx#big-data#pyspark#ai#azure

Perguntas frequentes

O que é SynapseML?
Biblioteca open source que adiciona machine learning distribuído, deep learning e serviços de IA do Azure aos pipelines do Apache Spark. SynapseML (anteriormente MMLSpark) é uma biblioteca para criar pipelines de machine learning em larga escala no Apache Spark. Ela oferece APIs combináveis que seguem o mesmo estilo do Spark MLlib, permitindo integrar seus estimators e transformers aos workflows existentes do Spark. Entre as tarefas abrangidas estão análise de texto, visão computacional, detecção de anomalias, gradient boosting com LightGBM e Vowpal Wabbit.
SynapseML é gratuito? Qual é a licença?
SynapseML é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
SynapseML ainda é mantido?
Manutenção ativa. O último commit de SynapseML foi em 4 de nov. de 2026.
Para que posso usar SynapseML?
Treinar modelos de gradient boosting em conjuntos de dados muito grandes em um cluster Spark existente Executar serviços de análise de texto ou visão computacional sobre tabelas grandes armazenadas em um data lake Implantar pipelines do Spark como endpoints HTTP para scoring online Executar scoring de modelos ONNX em escala dentro de jobs do Spark
Onde consigo SynapseML?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/microsoft/SynapseML

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados