Repolode
提交项目
delta-io

delta-io/delta-rs

用 Rust 原生实现的 Delta Lake 读写库，提供 Python 绑定，可配合 pandas 等数据工具使用。

在 GitHub 查看官网
Star
3,354
Fork
700
未关闭 Issue
163
最近提交
23小时前

这是什么？

Delta Lake 是一种运行在现有数据湖之上的开源存储格式，提供 ACID 事务、schema 约束和可扩展的数据处理能力。delta-rs 是 Delta Lake 协议的 Rust 原生实现，既提供面向开发者和集成方的底层 API，也提供用于查询、查看和操作表的高层接口。

项目提供 Python 绑定，发布为 `deltalake` 包，可以用 `write_deltalake` 将 pandas DataFrame 写入 Delta 表，再通过 `DeltaTable` 读取回来。同一张表也可以通过 crates.io 上的 Rust crate `deltalake` 打开。

项目支持与 DataFusion、Polars、DuckDB、Dask、Daft、Ray 等引擎集成，便于这些工具直接读取 Delta 表。

核心功能

  • 01通过 deltalake Python 包读写 Delta Lake 表
  • 02提供原生 Rust crate，支持底层与高层的 Delta 表操作
  • 03可用 to_pandas() 将 Delta 表直接加载为 pandas DataFrame
  • 04与 DataFusion、Polars、DuckDB、Dask 等引擎互通

适用场景

  • 在没有 Spark 集群的情况下，将 pandas DataFrame 存为 Delta 表
  • 构建需要读写 Delta 表的 Rust 服务或数据管道
  • 在 Polars、DuckDB 或 DataFusion 中查询 Delta 表

快速上手

  1. 1

    从 PyPI 安装 Python 包

    pip install deltalake
  2. 2

    将 pandas DataFrame 写入 Delta 表并读回

  3. 3

    或将 Rust crate 添加到你的项目中

    cargo add deltalake

标签

#delta-lake#data-lake#rust#python#pandas#data-engineering#storage-format#databricks#delta#pandas-dataframe

常见问题

delta-rs 是什么？
用 Rust 原生实现的 Delta Lake 读写库，提供 Python 绑定，可配合 pandas 等数据工具使用。 Delta Lake 是一种运行在现有数据湖之上的开源存储格式，提供 ACID 事务、schema 约束和可扩展的数据处理能力。delta-rs 是 Delta Lake 协议的 Rust 原生实现，既提供面向开发者和集成方的底层 API，也提供用于查询、查看和操作表的高层接口。
delta-rs 可以免费使用吗？用的什么许可证？
delta-rs 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
delta-rs 还在维护吗？
活跃维护中。delta-rs 最近一次提交是在 2026年11月6日。
delta-rs 适合用来做什么？
在没有 Spark 集群的情况下，将 pandas DataFrame 存为 Delta 表 构建需要读写 Delta 表的 Rust 服务或数据管道 在 Polars、DuckDB 或 DataFusion 中查询 Delta 表
delta-rs 怎么安装和运行？
从 PyPI 安装 Python 包: pip install deltalake 将 pandas DataFrame 写入 Delta 表并读回 或将 Rust crate 添加到你的项目中: cargo add deltalake
在哪里获取 delta-rs？
源代码和安装说明在 GitHub 上：https://github.com/delta-io/delta-rs

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目