Repolode
Eventual-Inc

Eventual-Inc/Daft

画像、音声、動画、埋め込み、構造化データを大規模に処理する、Rustコアを備えた高性能なPythonデータエンジン。

スター
5,832
フォーク
586
未解決の Issue
434
最終コミット
3 日前

これは何?

Daftは、AIやマルチモーダルのワークロード向けデータエンジンです。画像、音声、動画、埋め込み、構造化テーブルをDataFrame形式の単一のフレームワークで処理できるため、データの種類ごとに別々のツールを使う必要がありません。

Daftには、LLMプロンプトの実行、埋め込みの生成、OpenAIやHugging Face Transformers、カスタムモデルを使ったデータの分類など、AI向けの組み込み処理が用意されています。エンジンはRustで実装され、Python APIを備えています。単一マシンで使い始め、RayやKubernetes上の分散クラスターへスケールアウトできます。

S3、GCS、Iceberg、Delta Lake、Hugging Face、Unity Catalogからデータを直接読み込めます。インストールにはpipを使い、Python 3.10以上が必要です。

主な機能

  • 01画像、音声、動画、埋め込み、構造化データを単一のフレームワークで処理します。
  • 02LLMプロンプトの実行、埋め込みの生成、分類を大規模に実行します。
  • 03Rust製の実行エンジンとPython APIを備えています。
  • 04ローカルマシンからRayやKubernetesのクラスターまでスケールできます。
  • 05S3、GCS、Iceberg、Delta Lake、Hugging Face、Unity Catalogからデータを読み込みます。

ユースケース

  • 大規模な画像・動画コレクションの埋め込みやキャプションを生成する。
  • データパイプライン内で、テキスト列に対するLLM推論をバッチ実行する。
  • マルチモーダルファイルと並んで配置されたIcebergやParquetのテーブルをクエリする。
  • Pythonのデータ前処理ジョブを、ノートPCからRayクラスターへスケールさせる。

クイックスタート

  1. 1

    PyPIからDaftをインストールします(Python 3.10以降)

    pip install daft
  2. 2

    ドキュメントのクイックスタートガイドを読んで、最初のサンプルを実行します

使う前に知っておきたいこと

  • Python 3.10以降が必要です。

トピック

よくある質問

Daft とは?
画像、音声、動画、埋め込み、構造化データを大規模に処理する、Rustコアを備えた高性能なPythonデータエンジン。 Daftは、AIやマルチモーダルのワークロード向けデータエンジンです。画像、音声、動画、埋め込み、構造化テーブルをDataFrame形式の単一のフレームワークで処理できるため、データの種類ごとに別々のツールを使う必要がありません。
Daft は無料で使えますか?ライセンスは?
Daft は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
Daft は今もメンテナンスされていますか?
活発にメンテナンス中。Daft の最終コミットは 2026年11月4日 です。
Daft は何に使えますか?
大規模な画像・動画コレクションの埋め込みやキャプションを生成する。 データパイプライン内で、テキスト列に対するLLM推論をバッチ実行する。 マルチモーダルファイルと並んで配置されたIcebergやParquetのテーブルをクエリする。 Pythonのデータ前処理ジョブを、ノートPCからRayクラスターへスケールさせる。
Daft のインストール方法は?
PyPIからDaftをインストールします(Python 3.10以降): pip install daft ドキュメントのクイックスタートガイドを読んで、最初のサンプルを実行します
Daft はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/Eventual-Inc/Daft

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト

DataFusionを基盤とするRustエンジンでApache Arrowのカラムナーデータ上でSpark SQLとDataFrameの演算子を実行し、コード変更なしでSparkを高速化します。

データ・分析#spark#arrow#datafusion
1316+7 今週414ScalaApache-2.0更新 5 時間前