Repolode
Предложить
microsoft

microsoft/SynapseML

Библиотека с открытым исходным кодом, которая добавляет в конвейеры Apache Spark распределённое машинное обучение, глубокое обучение и сервисы Azure AI.

Открыть на GitHubСайт
Звёзды
5,254
Форки
869
Открытые issues
144
Последний коммит
3 дня назад

Что это?

SynapseML (ранее MMLSpark) — библиотека для создания крупномасштабных конвейеров машинного обучения на Apache Spark. Она предоставляет компонуемые API в том же стиле, что и Spark MLlib, поэтому её оцениватели и преобразователи можно использовать в существующих процессах Spark. Поддерживаются такие задачи, как анализ текста, компьютерное зрение, обнаружение аномалий, градиентный бустинг с LightGBM и Vowpal Wabbit.

Помимо обучения моделей, библиотека включает Spark Serving для предоставления вычислений Spark в виде веб-сервисов, распределённый инференс моделей на основе ONNX и HTTP-on-Spark для вызова произвольных веб-API из кластера. Также в неё входят обёртки для Azure Cognitive Services, позволяющие вызывать эти сервисы в масштабе из Spark DataFrames.

Библиотека публикуется в виде артефактов JVM для определённых версий Spark (Spark 3.5 со Scala 2.12, Spark 4.0 и 4.1 со Scala 2.13); обёртки для Python доступны на PyPI. Она работает в Microsoft Fabric, Azure Synapse, Databricks, EMR, HDInsight и в автономном Spark.

Ключевые возможности

  • 01Оцениватели и преобразователи, соответствующие API SparkML/MLlib
  • 02Градиентный бустинг LightGBM и текстовые модели Vowpal Wabbit на Spark
  • 03Spark Serving для предоставления вычислений Spark в виде веб-сервисов с низкой задержкой
  • 04Распределённый инференс моделей ONNX на Spark
  • 05Обёртки для вызова Azure Cognitive Services из DataFrames
  • 06Isolation Forest для распределённого обнаружения аномалий

Сценарии использования

  • Обучение моделей градиентного бустинга на очень больших наборах данных в существующем кластере Spark
  • Выполнение сервисов анализа текста или компьютерного зрения над большими таблицами в озере данных
  • Развёртывание конвейеров Spark в виде HTTP-эндпоинтов для онлайн-скоринга
  • Масштабный скоринг моделей ONNX в заданиях Spark

Темы

#apache-spark#machine-learning#distributed-computing#deep-learning#lightgbm#onnx#big-data#pyspark#ai#azure

Частые вопросы

Что такое SynapseML?
Библиотека с открытым исходным кодом, которая добавляет в конвейеры Apache Spark распределённое машинное обучение, глубокое обучение и сервисы Azure AI. SynapseML (ранее MMLSpark) — библиотека для создания крупномасштабных конвейеров машинного обучения на Apache Spark. Она предоставляет компонуемые API в том же стиле, что и Spark MLlib, поэтому её оцениватели и преобразователи можно использовать в существующих процессах Spark. Поддерживаются такие задачи, как анализ текста, компьютерное зрение, обнаружение аномалий, градиентный бустинг с LightGBM и Vowpal Wabbit.
SynapseML можно использовать бесплатно? Какая у него лицензия?
SynapseML распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
SynapseML всё ещё поддерживается?
Активно поддерживается. Последний коммит в SynapseML — 4 нояб. 2026 г..
Для чего можно использовать SynapseML?
Обучение моделей градиентного бустинга на очень больших наборах данных в существующем кластере Spark Выполнение сервисов анализа текста или компьютерного зрения над большими таблицами в озере данных Развёртывание конвейеров Spark в виде HTTP-эндпоинтов для онлайн-скоринга Масштабный скоринг моделей ONNX в заданиях Spark
Где скачать SynapseML?
Исходный код и инструкции по установке — на GitHub: https://github.com/microsoft/SynapseML

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

shap / shap

Библиотека Python, которая объясняет предсказания моделей машинного обучения с помощью значений Шепли из теории игр.

ИИ и машинное обучение#explainability#interpretability#shapley-values
25,9 тыс.+11 за неделю3,8 тыс.Jupyter NotebookMITАктивно поддерживаетсяОбновлён 3 дня назад