Repolode
Предложить
apache

apache/spark

Унифицированный движок аналитики для распределённой обработки больших данных с API для Scala, Java, Python и R.

Открыть на GitHubСайт
Звёзды
44,283
Форки
29,463
Открытые issues
692
Последний коммит
4 часа назад

Что это?

Apache Spark — распределённый движок для обработки больших наборов данных. Он предоставляет высокоуровневые API для Scala, Java, Python и R (поддержка R прекращена) и выполняет графы вычислений общего назначения на оптимизированном движке.

Помимо ядра, Spark включает несколько библиотек: Spark SQL для SQL-запросов и DataFrame, pandas API on Spark для выполнения кода в стиле pandas в масштабе кластера, MLlib для машинного обучения, GraphX для обработки графов и Structured Streaming для потоковой обработки.

Быстрее всего попробовать Spark можно через входящие в комплект оболочки spark-shell (Scala) или pyspark (Python). Примеры можно отправлять в кластер, задав URL мастера, например для автономного кластера Spark или YARN.

Ключевые возможности

  • 01Унифицированные API для Scala, Java, Python и R
  • 02Spark SQL для SQL-запросов и DataFrame
  • 03pandas API on Spark для масштабирования задач в стиле pandas
  • 04MLlib для машинного обучения и GraphX для обработки графов
  • 05Structured Streaming для потоковой обработки

Сценарии использования

  • Запуск крупных пакетных ETL- и аналитических задач над данными в HDFS или другом совместимом с Hadoop хранилище
  • Масштабирование существующего кода pandas для работы с наборами данных, которые не помещаются на одной машине
  • Построение конвейеров машинного обучения на больших данных с помощью MLlib
  • Обработка непрерывных потоков данных с помощью Structured Streaming

Что важно знать

  • Согласно README, API R устарел.
  • Значок в README указывает, что требуется Java 17 или новее.

В подборках

Базы данных и инструменты SQL

Темы

#big-data#distributed-computing#sql#machine-learning#stream-processing#scala#python#data-engineering#java#jdbc

Частые вопросы

Что такое spark?
Унифицированный движок аналитики для распределённой обработки больших данных с API для Scala, Java, Python и R. Apache Spark — распределённый движок для обработки больших наборов данных. Он предоставляет высокоуровневые API для Scala, Java, Python и R (поддержка R прекращена) и выполняет графы вычислений общего назначения на оптимизированном движке.
spark можно использовать бесплатно? Какая у него лицензия?
spark распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
spark всё ещё поддерживается?
Активно поддерживается. Последний коммит в spark — 22 окт. 2026 г..
Для чего можно использовать spark?
Запуск крупных пакетных ETL- и аналитических задач над данными в HDFS или другом совместимом с Hadoop хранилище Масштабирование существующего кода pandas для работы с наборами данных, которые не помещаются на одной машине Построение конвейеров машинного обучения на больших данных с помощью MLlib Обработка непрерывных потоков данных с помощью Structured Streaming
Где скачать spark?
Исходный код и инструкции по установке — на GitHub: https://github.com/apache/spark

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты