大規模データセットをネットワーク越しに移動せず、データのある場所で計算ジョブを実行するオープンソースフレームワーク。
Eventual-Inc/Daft
画像、音声、動画、埋め込み、構造化データを大規模に処理する、Rustコアを備えた高性能なPythonデータエンジン。
- スター
- 5,832
- フォーク
- 586
- 未解決の Issue
- 434
- 最終コミット
- 3 日前
これは何?
Daftは、AIやマルチモーダルのワークロード向けデータエンジンです。画像、音声、動画、埋め込み、構造化テーブルをDataFrame形式の単一のフレームワークで処理できるため、データの種類ごとに別々のツールを使う必要がありません。
Daftには、LLMプロンプトの実行、埋め込みの生成、OpenAIやHugging Face Transformers、カスタムモデルを使ったデータの分類など、AI向けの組み込み処理が用意されています。エンジンはRustで実装され、Python APIを備えています。単一マシンで使い始め、RayやKubernetes上の分散クラスターへスケールアウトできます。
S3、GCS、Iceberg、Delta Lake、Hugging Face、Unity Catalogからデータを直接読み込めます。インストールにはpipを使い、Python 3.10以上が必要です。
主な機能
- 01画像、音声、動画、埋め込み、構造化データを単一のフレームワークで処理します。
- 02LLMプロンプトの実行、埋め込みの生成、分類を大規模に実行します。
- 03Rust製の実行エンジンとPython APIを備えています。
- 04ローカルマシンからRayやKubernetesのクラスターまでスケールできます。
- 05S3、GCS、Iceberg、Delta Lake、Hugging Face、Unity Catalogからデータを読み込みます。
ユースケース
- 大規模な画像・動画コレクションの埋め込みやキャプションを生成する。
- データパイプライン内で、テキスト列に対するLLM推論をバッチ実行する。
- マルチモーダルファイルと並んで配置されたIcebergやParquetのテーブルをクエリする。
- Pythonのデータ前処理ジョブを、ノートPCからRayクラスターへスケールさせる。
クイックスタート
- 1
PyPIからDaftをインストールします(Python 3.10以降)
pip install daft - 2
ドキュメントのクイックスタートガイドを読んで、最初のサンプルを実行します
使う前に知っておきたいこと
- Python 3.10以降が必要です。
トピック
よくある質問
- Daft とは?
- 画像、音声、動画、埋め込み、構造化データを大規模に処理する、Rustコアを備えた高性能なPythonデータエンジン。 Daftは、AIやマルチモーダルのワークロード向けデータエンジンです。画像、音声、動画、埋め込み、構造化テーブルをDataFrame形式の単一のフレームワークで処理できるため、データの種類ごとに別々のツールを使う必要がありません。
- Daft は無料で使えますか?ライセンスは?
- Daft は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- Daft は今もメンテナンスされていますか?
- 活発にメンテナンス中。Daft の最終コミットは 2026年11月4日 です。
- Daft は何に使えますか?
- 大規模な画像・動画コレクションの埋め込みやキャプションを生成する。 データパイプライン内で、テキスト列に対するLLM推論をバッチ実行する。 マルチモーダルファイルと並んで配置されたIcebergやParquetのテーブルをクエリする。 Pythonのデータ前処理ジョブを、ノートPCからRayクラスターへスケールさせる。
- Daft のインストール方法は?
- PyPIからDaftをインストールします(Python 3.10以降): pip install daft ドキュメントのクイックスタートガイドを読んで、最初のサンプルを実行します
- Daft はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/Eventual-Inc/Daft
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
Pythonが動く環境ならどこでも実行できる、テスト可能で自己文書化されたDAGとしてデータ変換を定義する軽量なPythonライブラリ。
RayCluster、RayJob、RayServiceリソースを通じてRayアプリケーションをデプロイ、管理するKubernetesオペレーター。
Scala、Java、Python、RのAPIを備えた、大規模データ処理向けの統合分析エンジン。
既存のPySparkコードをSpark Connectプロトコル経由で実行できる、Rust製のApache Spark互換エンジン。