Repolode
delta-io

delta-io/delta-rs

pandasなどのデータツールと連携できる、Delta Lakeテーブルの読み書き用ネイティブRustライブラリ

スター
3,354
フォーク
701
未解決の Issue
163
最終コミット
5 時間前

これは何?

Delta Lakeは、既存のデータレイク上に構築し、ACIDトランザクション、スキーマ制約、スケーラブルなデータ処理を実現するオープンソースのストレージ形式です。delta-rsはDelta LakeプロトコルのネイティブRust実装で、開発者やインテグレーター向けの低レベルAPIに加え、テーブルのクエリ、調査、変更に使える高レベルの操作APIを提供します。

Pythonバインディングは`deltalake`パッケージとして公開されており、`write_deltalake`でpandasのDataFrameを書き込み、`DeltaTable`で読み戻せます。同じテーブルは、crates.ioのRustクレート`deltalake`からも開けます。

プロジェクトに記載されている連携先にはDataFusion、Polars、DuckDB、Dask、Daft、Rayがあり、これらのエンジンからDeltaテーブルを利用できます。

主な機能

  • 01`deltalake`パッケージを使い、PythonからDelta Lakeテーブルを読み書き
  • 02低レベルから高レベルまでのDeltaテーブル操作に対応するネイティブRustクレート
  • 03`to_pandas()`でDeltaテーブルをpandasに直接読み込み
  • 04DataFusion、Polars、DuckDB、Daskなどのエンジンと連携

ユースケース

  • Sparkクラスターを使わずにpandasのDataFrameをバージョン管理されたDeltaテーブルとして保存
  • Deltaテーブルの読み書きが必要なRustサービスやパイプラインの構築
  • Polars、DuckDB、DataFusionからDeltaテーブルをクエリ

クイックスタート

  1. 1

    PyPIからPythonパッケージをインストールする

    pip install deltalake
  2. 2

    pandasのDataFrameをDeltaテーブルに書き込み、読み戻す

  3. 3

    またはRustクレートをプロジェクトに追加する

    cargo add deltalake

トピック

#delta-lake#data-lake#rust#python#pandas#data-engineering#storage-format#databricks#delta#pandas-dataframe

よくある質問

delta-rs とは?
pandasなどのデータツールと連携できる、Delta Lakeテーブルの読み書き用ネイティブRustライブラリ Delta Lakeは、既存のデータレイク上に構築し、ACIDトランザクション、スキーマ制約、スケーラブルなデータ処理を実現するオープンソースのストレージ形式です。delta-rsはDelta LakeプロトコルのネイティブRust実装で、開発者やインテグレーター向けの低レベルAPIに加え、テーブルのクエリ、調査、変更に使える高レベルの操作APIを提供します。
delta-rs は無料で使えますか?ライセンスは?
delta-rs は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
delta-rs は今もメンテナンスされていますか?
活発にメンテナンス中。delta-rs の最終コミットは 2026年11月7日 です。
delta-rs は何に使えますか?
Sparkクラスターを使わずにpandasのDataFrameをバージョン管理されたDeltaテーブルとして保存 Deltaテーブルの読み書きが必要なRustサービスやパイプラインの構築 Polars、DuckDB、DataFusionからDeltaテーブルをクエリ
delta-rs のインストール方法は?
PyPIからPythonパッケージをインストールする: pip install deltalake pandasのDataFrameをDeltaテーブルに書き込み、読み戻す またはRustクレートをプロジェクトに追加する: cargo add deltalake
delta-rs はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/delta-io/delta-rs

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト