Repolode
Eventual-Inc

Eventual-Inc/Daft

Высокопроизводительный движок обработки данных на Python с ядром на Rust для работы с изображениями, аудио, видео, эмбеддингами и структурированными данными в больших масштабах.

Звёзды
5,829
Форки
586
Открытые issues
434
Последний коммит
3 дня назад

Что это?

Daft — движок обработки данных для AI- и мультимодальных задач. Он позволяет обрабатывать изображения, аудио, видео, эмбеддинги и структурированные таблицы в едином фреймворке в стиле DataFrame, поэтому для разных типов данных не нужны отдельные инструменты.

В Daft есть встроенные AI-операции: запуск запросов к LLM, генерация эмбеддингов и классификация данных с помощью OpenAI, Hugging Face Transformers или собственных моделей. Движок написан на Rust и предоставляет Python API. Он работает на одной машине, а при необходимости масштабируется на распределённые кластеры Ray или Kubernetes.

Daft читает данные напрямую из S3, GCS, Iceberg, Delta Lake, Hugging Face и Unity Catalog. Установить его можно через pip; требуется Python версии 3.10 или новее.

Ключевые возможности

  • 01Обрабатывает изображения, аудио, видео, эмбеддинги и структурированные данные в едином фреймворке.
  • 02Выполняет запросы к LLM, генерирует эмбеддинги и классифицирует данные в больших масштабах.
  • 03Предоставляет Python API и использует движок выполнения на Rust.
  • 04Масштабируется от одной машины до кластеров Ray или Kubernetes.
  • 05Читает данные из S3, GCS, Iceberg, Delta Lake, Hugging Face и Unity Catalog.

Сценарии использования

  • Генерация эмбеддингов или подписей для больших коллекций изображений и видео.
  • Пакетный инференс LLM по текстовым столбцам в конвейере обработки данных.
  • Выполнение запросов к таблицам Iceberg или Parquet, расположенным рядом с мультимодальными файлами.
  • Масштабирование задачи предобработки данных на Python с ноутбука до кластера Ray.

Быстрый старт

  1. 1

    Установите Daft из PyPI (Python 3.10 или выше)

    pip install daft
  2. 2

    Прочитайте руководство по быстрому старту в документации, чтобы запустить свой первый пример

Что важно знать

  • Требуется Python 3.10 или выше.

Темы

Частые вопросы

Что такое Daft?
Высокопроизводительный движок обработки данных на Python с ядром на Rust для работы с изображениями, аудио, видео, эмбеддингами и структурированными данными в больших масштабах. Daft — движок обработки данных для AI- и мультимодальных задач. Он позволяет обрабатывать изображения, аудио, видео, эмбеддинги и структурированные таблицы в едином фреймворке в стиле DataFrame, поэтому для разных типов данных не нужны отдельные инструменты.
Daft можно использовать бесплатно? Какая у него лицензия?
Daft распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
Daft всё ещё поддерживается?
Активно поддерживается. Последний коммит в Daft — 4 нояб. 2026 г..
Для чего можно использовать Daft?
Генерация эмбеддингов или подписей для больших коллекций изображений и видео. Пакетный инференс LLM по текстовым столбцам в конвейере обработки данных. Выполнение запросов к таблицам Iceberg или Parquet, расположенным рядом с мультимодальными файлами. Масштабирование задачи предобработки данных на Python с ноутбука до кластера Ray.
Как установить Daft?
Установите Daft из PyPI (Python 3.10 или выше): pip install daft Прочитайте руководство по быстрому старту в документации, чтобы запустить свой первый пример
Где скачать Daft?
Исходный код и инструкции по установке — на GitHub: https://github.com/Eventual-Inc/Daft

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Ускоритель Apache Spark, выполняющий операторы Spark SQL и DataFrame над колоночными данными Apache Arrow с помощью движка на Rust и DataFusion — без изменений кода.

1,3 тыс.+9 за неделю413ScalaApache-2.0Обновлён 24 часа назад