Biblioteca de Python que explica las predicciones de cualquier modelo de machine learning mediante valores de Shapley de la teoría de juegos.
25,9 mil+14 esta semana3,8 milJupyter NotebookMITBien mantenidoActualizado hace 4 días
microsoft/SynapseML
Biblioteca de código abierto que incorpora aprendizaje automático distribuido, deep learning y servicios de Azure AI a los pipelines de Apache Spark.
- Estrellas
- 5,254
- Forks
- 869
- Issues abiertos
- 144
- Último commit
- hace 23 horas
¿Qué es?
SynapseML (antes MMLSpark) es una biblioteca para crear pipelines de aprendizaje automático a gran escala en Apache Spark. Expone APIs componibles con un estilo similar al de Spark MLlib, por lo que sus estimadores y transformadores se pueden integrar directamente en los flujos de trabajo de Spark existentes. Incluye tareas como análisis de texto, visión por computadora, detección de anomalías, gradient boosting con LightGBM y Vowpal Wabbit.
Además del entrenamiento, incluye Spark Serving para exponer cálculos de Spark como servicios web, inferencia distribuida de modelos basada en ONNX y HTTP-on-Spark para llamar a cualquier API web desde un clúster. También ofrece wrappers para Azure Cognitive Services, que permiten invocarlos a escala desde Spark DataFrames.
La biblioteca se publica como artefactos JVM para versiones específicas de Spark (Spark 3.5 con Scala 2.12, y Spark 4.0 y 4.1 con Scala 2.13), y ofrece wrappers para Python en PyPI. Se ejecuta en Microsoft Fabric, Azure Synapse, Databricks, EMR, HDInsight y Spark independiente.
Funciones clave
- 01Estimadores y transformadores que siguen la API de SparkML/MLlib
- 02Gradient boosting con LightGBM y modelos de texto de Vowpal Wabbit en Spark
- 03Spark Serving para exponer cálculos de Spark como servicios web de baja latencia
- 04Inferencia distribuida de modelos ONNX en Spark
- 05Wrappers para invocar Azure Cognitive Services desde DataFrames
- 06Isolation Forest para la detección distribuida de anomalías
Casos de uso
- Entrenar modelos de gradient boosting con conjuntos de datos muy grandes en un clúster de Spark existente
- Ejecutar servicios de análisis de texto o visión sobre tablas grandes almacenadas en un data lake
- Implementar pipelines de Spark como endpoints HTTP para scoring en línea
- Ejecutar scoring de modelos ONNX a escala dentro de trabajos de Spark
Temas
#apache-spark#machine-learning#distributed-computing#deep-learning#lightgbm#onnx#big-data#pyspark#ai#azure
Preguntas frecuentes
- ¿Qué es SynapseML?
- Biblioteca de código abierto que incorpora aprendizaje automático distribuido, deep learning y servicios de Azure AI a los pipelines de Apache Spark. SynapseML (antes MMLSpark) es una biblioteca para crear pipelines de aprendizaje automático a gran escala en Apache Spark. Expone APIs componibles con un estilo similar al de Spark MLlib, por lo que sus estimadores y transformadores se pueden integrar directamente en los flujos de trabajo de Spark existentes. Incluye tareas como análisis de texto, visión por computadora, detección de anomalías, gradient boosting con LightGBM y Vowpal Wabbit.
- ¿SynapseML es gratuito? ¿Qué licencia tiene?
- SynapseML es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿SynapseML sigue mantenido?
- Mantenimiento activo. El último commit de SynapseML fue el 6 nov 2026.
- ¿Para qué puedo usar SynapseML?
- Entrenar modelos de gradient boosting con conjuntos de datos muy grandes en un clúster de Spark existente Ejecutar servicios de análisis de texto o visión sobre tablas grandes almacenadas en un data lake Implementar pipelines de Spark como endpoints HTTP para scoring en línea Ejecutar scoring de modelos ONNX a escala dentro de trabajos de Spark
- ¿Dónde consigo SynapseML?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/microsoft/SynapseML
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Funciones auxiliares de PySpark para validar DataFrames, transformar columnas y gestionar esquemas, y así agilizar el desarrollo con Spark.
691+1 esta semana95PythonApache-2.0Actualizado hace 13 días
Motor unificado de análisis para procesar datos a gran escala, con API en Scala, Java, Python y R.
44,4 mil+52 esta semana29,6 milScalaApache-2.0Bien mantenidoActualizado hace 4 horas
Visor de modelos de redes neuronales, deep learning y machine learning, compatible con ONNX, TensorFlow, PyTorch, Core ML y muchos otros formatos.
33,7 mil+26 esta semana3,2 milJavaScriptMITBien mantenidoActualizado ayer
Un framework de deep learning para Java independiente del motor que permite crear, entrenar y ejecutar modelos con una API nativa de Java.
4,9 mil+2 esta semana761JavaApache-2.0Actualizado hace 6 días
Un reemplazo directo de Apache Spark escrito en Rust que ejecuta código PySpark existente mediante el protocolo Spark Connect.
3,5 mil+8 esta semana240RustApache-2.0Bien mantenidoActualizado hace 7 horas