Repolode
提交项目
Eventual-Inc

Eventual-Inc/Daft

基于 Python 与 Rust 构建的高性能数据引擎，用于大规模处理图像、音视频、向量与结构化数据。

在 GitHub 查看官网
Star
5,832
Fork
586
未关闭 Issue
434
最近提交
3天前

这是什么？

Daft 是一个面向 AI 与多模态工作负载的数据引擎。它在同一套 DataFrame 风格的接口中处理图像、音频、视频、向量和结构化表格，不必为每种数据类型分别使用不同工具。

框架内置 AI 算子，可以使用 OpenAI、Transformers 或自定义模型大规模执行 LLM 提示词、生成 embedding 和数据分类。引擎核心由 Rust 实现，对外提供 Python API；单机即可启动，也能通过 Ray 或 Kubernetes 扩展到分布式集群。

它可以直接读取 S3、GCS、Iceberg、Delta Lake、Hugging Face 和 Unity Catalog 中的数据。通过 pip 安装，要求 Python 3.10 及以上版本。

核心功能

  • 01在同一框架中处理图像、音频、视频、向量和结构化数据。
  • 02大规模执行 LLM 提示词、embedding 生成和数据分类。
  • 03提供 Python API，底层由 Rust 执行引擎驱动。
  • 04可从单机扩展到 Ray 或 Kubernetes 集群。
  • 05支持读取 S3、GCS、Iceberg、Delta Lake、Hugging Face 和 Unity Catalog 的数据。

适用场景

  • 为大规模图片或视频集合批量生成 embedding 或描述文本。
  • 在数据流水线中对文本字段批量执行 LLM 推理。
  • 查询与多模态文件并存的 Iceberg 或 Parquet 表。
  • 将 Python 数据预处理任务从笔记本扩展到 Ray 集群运行。

快速上手

  1. 1

    从 PyPI 安装 Daft（需要 Python 3.10 或更高版本）

    pip install daft
  2. 2

    阅读文档中的快速入门指南，运行第一个示例

使用前须知

  • 需要 Python 3.10 或更高版本。

标签

#data-engineering#multimodal#embeddings#llm#distributed-computing#dataframe#parquet#ray#ai-engineering#ai-pipeline

常见问题

Daft 是什么？
基于 Python 与 Rust 构建的高性能数据引擎，用于大规模处理图像、音视频、向量与结构化数据。 Daft 是一个面向 AI 与多模态工作负载的数据引擎。它在同一套 DataFrame 风格的接口中处理图像、音频、视频、向量和结构化表格，不必为每种数据类型分别使用不同工具。
Daft 可以免费使用吗？用的什么许可证？
Daft 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
Daft 还在维护吗？
活跃维护中。Daft 最近一次提交是在 2026年11月4日。
Daft 适合用来做什么？
为大规模图片或视频集合批量生成 embedding 或描述文本。 在数据流水线中对文本字段批量执行 LLM 推理。 查询与多模态文件并存的 Iceberg 或 Parquet 表。 将 Python 数据预处理任务从笔记本扩展到 Ray 集群运行。
Daft 怎么安装和运行？
从 PyPI 安装 Daft（需要 Python 3.10 或更高版本）: pip install daft 阅读文档中的快速入门指南，运行第一个示例
在哪里获取 Daft？
源代码和安装说明在 GitHub 上：https://github.com/Eventual-Inc/Daft

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目