Repolode
Предложить
delta-io

delta-io/delta-rs

Нативная библиотека на Rust для чтения и записи таблиц Delta Lake с привязками для Python, pandas и других инструментов работы с данными.

Открыть на GitHubСайт
Звёзды
3,354
Форки
701
Открытые issues
163
Последний коммит
6 часов назад

Что это?

Delta Lake — формат хранения с открытым исходным кодом, который работает поверх существующих озёр данных и добавляет ACID-транзакции, контроль схемы и масштабируемую обработку данных. delta-rs — нативная реализация протокола Delta Lake на Rust. Она предоставляет низкоуровневые API для разработчиков и интеграторов, а также высокоуровневый API для запросов к таблицам, их просмотра и изменения.

В проект входят привязки для Python, опубликованные как пакет `deltalake`: с их помощью можно записать таблицу из pandas DataFrame через `write_deltalake`, а затем загрузить её с помощью `DeltaTable`. Те же таблицы можно открывать из Rust-крейта `deltalake`, опубликованного на crates.io.

Среди перечисленных в проекте интеграций — DataFusion, Polars, DuckDB, Dask, Daft и Ray. Благодаря им с таблицами Delta можно работать в этих движках.

Ключевые возможности

  • 01Чтение и запись таблиц Delta Lake из Python через пакет deltalake
  • 02Нативный Rust-крейт для низко- и высокоуровневых операций с таблицами Delta
  • 03Загрузка таблицы Delta напрямую в pandas с помощью to_pandas()
  • 04Взаимодействие с такими движками, как DataFusion, Polars, DuckDB и Dask

Сценарии использования

  • Хранение pandas DataFrame в виде версионируемых таблиц Delta без кластера Spark
  • Создание сервисов или пайплайнов на Rust, которым нужно читать таблицы Delta или записывать в них данные
  • Запросы к таблицам Delta из Polars, DuckDB или DataFusion

Быстрый старт

  1. 1

    Установите пакет Python из PyPI

    pip install deltalake
  2. 2

    Запишите DataFrame из pandas в таблицу Delta и прочитайте его обратно

  3. 3

    Или добавьте крейт Rust в проект

    cargo add deltalake

Темы

#delta-lake#data-lake#rust#python#pandas#data-engineering#storage-format#databricks#delta#pandas-dataframe

Частые вопросы

Что такое delta-rs?
Нативная библиотека на Rust для чтения и записи таблиц Delta Lake с привязками для Python, pandas и других инструментов работы с данными. Delta Lake — формат хранения с открытым исходным кодом, который работает поверх существующих озёр данных и добавляет ACID-транзакции, контроль схемы и масштабируемую обработку данных. delta-rs — нативная реализация протокола Delta Lake на Rust. Она предоставляет низкоуровневые API для разработчиков и интеграторов, а также высокоуровневый API для запросов к таблицам, их просмотра и изменения.
delta-rs можно использовать бесплатно? Какая у него лицензия?
delta-rs распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
delta-rs всё ещё поддерживается?
Активно поддерживается. Последний коммит в delta-rs — 7 нояб. 2026 г..
Для чего можно использовать delta-rs?
Хранение pandas DataFrame в виде версионируемых таблиц Delta без кластера Spark Создание сервисов или пайплайнов на Rust, которым нужно читать таблицы Delta или записывать в них данные Запросы к таблицам Delta из Polars, DuckDB или DataFusion
Как установить delta-rs?
Установите пакет Python из PyPI: pip install deltalake Запишите DataFrame из pandas в таблицу Delta и прочитайте его обратно Или добавьте крейт Rust в проект: cargo add deltalake
Где скачать delta-rs?
Исходный код и инструкции по установке — на GitHub: https://github.com/delta-io/delta-rs

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты