lakehq/sail

Что это?

Ключевые возможности

• 01Поддерживает протокол Spark Connect, поэтому клиенты PySpark подключаются без изменений в коде.
• 02Поддерживает Spark SQL и Spark DataFrame API, включая Python UDF, UDAF, UDWF и UDTF.
• 03Нативно читает и записывает таблицы Delta Lake и Apache Iceberg.
• 04Интегрируется с каталогами Iceberg REST, AWS Glue, Unity Catalog и Hive Metastore.
• 05Работает без JVM и построен на Apache Arrow и DataFusion.
• 06Разворачивается как локальный сервер или как кластер в Kubernetes.

Сценарии использования

• Перенос существующих ETL-задач на PySpark на более лёгкий движок без переписывания кода.
• Выполнение пакетной аналитики над таблицами Delta Lake или Iceberg, хранящимися в S3 или Azure.
• Снижение стоимости кластера и времени запуска нагрузок в стиле Spark на Kubernetes.
• Разработка и локальное тестирование кода Spark с помощью сервера, запускаемого одной командой.

Быстрый старт

1. 1

   Установите Sail из PyPI

   pip install pysail
2. 2

   Установите клиент PySpark

   pip install "pyspark-client"
3. 3

   Запустите локальный сервер Sail

   sail spark server --port 50051
4. 4

   Подключите PySpark к серверу по адресу sc://localhost:50051 и запустите код без изменений

Что важно знать

• !Скрипт проверки совместимости с PySpark является экспериментальным и не проверяет соответствие поведения Spark.
• !Для развертывания в Kubernetes в production необходимо собрать образ Docker и написать манифесты.

В подборках

Темы

Частые вопросы

Что такое sail?

Полноценная замена Apache Spark на Rust, запускающая существующий код PySpark через протокол Spark Connect. Sail — распределённый вычислительный движок, который может заменить Apache Spark. Клиенты подключаются к нему по протоколу Spark Connect, поэтому существующий код PySpark с DataFrame и Spark SQL работает с Sail без изменений. Движок полностью написан на Rust и не зависит от JVM.

sail можно использовать бесплатно? Какая у него лицензия?

sail распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

sail всё ещё поддерживается?

Активно поддерживается. Последний коммит в sail — 7 нояб. 2026 г..

Для чего можно использовать sail?

Перенос существующих ETL-задач на PySpark на более лёгкий движок без переписывания кода. Выполнение пакетной аналитики над таблицами Delta Lake или Iceberg, хранящимися в S3 или Azure. Снижение стоимости кластера и времени запуска нагрузок в стиле Spark на Kubernetes. Разработка и локальное тестирование кода Spark с помощью сервера, запускаемого одной командой.

Как установить sail?

Установите Sail из PyPI: pip install pysail Установите клиент PySpark: pip install "pyspark-client" Запустите локальный сервер Sail: sail spark server --port 50051 Подключите PySpark к серверу по адресу sc://localhost:50051 и запустите код без изменений

Где скачать sail?

Исходный код и инструкции по установке — на GitHub: https://github.com/lakehq/sail