Open-source-фреймворк для запуска вычислительных задач рядом с данными, без передачи больших наборов данных по сети.
Eventual-Inc/Daft
Высокопроизводительный движок обработки данных на Python с ядром на Rust для работы с изображениями, аудио, видео, эмбеддингами и структурированными данными в больших масштабах.
- Звёзды
- 5,829
- Форки
- 586
- Открытые issues
- 434
- Последний коммит
- 3 дня назад
Что это?
Daft — движок обработки данных для AI- и мультимодальных задач. Он позволяет обрабатывать изображения, аудио, видео, эмбеддинги и структурированные таблицы в едином фреймворке в стиле DataFrame, поэтому для разных типов данных не нужны отдельные инструменты.
В Daft есть встроенные AI-операции: запуск запросов к LLM, генерация эмбеддингов и классификация данных с помощью OpenAI, Hugging Face Transformers или собственных моделей. Движок написан на Rust и предоставляет Python API. Он работает на одной машине, а при необходимости масштабируется на распределённые кластеры Ray или Kubernetes.
Daft читает данные напрямую из S3, GCS, Iceberg, Delta Lake, Hugging Face и Unity Catalog. Установить его можно через pip; требуется Python версии 3.10 или новее.
Ключевые возможности
- 01Обрабатывает изображения, аудио, видео, эмбеддинги и структурированные данные в едином фреймворке.
- 02Выполняет запросы к LLM, генерирует эмбеддинги и классифицирует данные в больших масштабах.
- 03Предоставляет Python API и использует движок выполнения на Rust.
- 04Масштабируется от одной машины до кластеров Ray или Kubernetes.
- 05Читает данные из S3, GCS, Iceberg, Delta Lake, Hugging Face и Unity Catalog.
Сценарии использования
- Генерация эмбеддингов или подписей для больших коллекций изображений и видео.
- Пакетный инференс LLM по текстовым столбцам в конвейере обработки данных.
- Выполнение запросов к таблицам Iceberg или Parquet, расположенным рядом с мультимодальными файлами.
- Масштабирование задачи предобработки данных на Python с ноутбука до кластера Ray.
Быстрый старт
- 1
Установите Daft из PyPI (Python 3.10 или выше)
pip install daft - 2
Прочитайте руководство по быстрому старту в документации, чтобы запустить свой первый пример
Что важно знать
- Требуется Python 3.10 или выше.
Темы
Частые вопросы
- Что такое Daft?
- Высокопроизводительный движок обработки данных на Python с ядром на Rust для работы с изображениями, аудио, видео, эмбеддингами и структурированными данными в больших масштабах. Daft — движок обработки данных для AI- и мультимодальных задач. Он позволяет обрабатывать изображения, аудио, видео, эмбеддинги и структурированные таблицы в едином фреймворке в стиле DataFrame, поэтому для разных типов данных не нужны отдельные инструменты.
- Daft можно использовать бесплатно? Какая у него лицензия?
- Daft распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- Daft всё ещё поддерживается?
- Активно поддерживается. Последний коммит в Daft — 4 нояб. 2026 г..
- Для чего можно использовать Daft?
- Генерация эмбеддингов или подписей для больших коллекций изображений и видео. Пакетный инференс LLM по текстовым столбцам в конвейере обработки данных. Выполнение запросов к таблицам Iceberg или Parquet, расположенным рядом с мультимодальными файлами. Масштабирование задачи предобработки данных на Python с ноутбука до кластера Ray.
- Как установить Daft?
- Установите Daft из PyPI (Python 3.10 или выше): pip install daft Прочитайте руководство по быстрому старту в документации, чтобы запустить свой первый пример
- Где скачать Daft?
- Исходный код и инструкции по установке — на GitHub: https://github.com/Eventual-Inc/Daft
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Лёгкая библиотека Python для описания преобразований данных в виде тестируемых, документируемых DAG, которые можно запускать везде, где работает Python.
Оператор Kubernetes для развёртывания и управления приложениями Ray с помощью ресурсов RayCluster, RayJob и RayService.
Ускоритель Apache Spark, выполняющий операторы Spark SQL и DataFrame над колоночными данными Apache Arrow с помощью движка на Rust и DataFusion — без изменений кода.
Унифицированный движок аналитики для распределённой обработки больших данных с API для Scala, Java, Python и R.
Полноценная замена Apache Spark на Rust, запускающая существующий код PySpark через протокол Spark Connect.