Repolode
Enviar
Eventual-Inc

Eventual-Inc/Daft

Motor de datos de alto rendimiento en Python, con un núcleo en Rust, para procesar imágenes, audio, video, embeddings y datos estructurados a gran escala.

Ver en GitHubSitio web
Estrellas
5,832
Forks
586
Issues abiertos
434
Último commit
hace 3 días

¿Qué es?

Daft es un motor de datos para cargas de trabajo de IA y multimodales. Permite procesar imágenes, audio, video, embeddings y tablas estructuradas en un único framework al estilo DataFrame, sin tener que usar herramientas distintas para cada tipo de dato.

Daft incluye operaciones de IA integradas, como ejecutar prompts de LLM, generar embeddings y clasificar datos con OpenAI, Hugging Face Transformers o modelos personalizados. El motor está escrito en Rust y ofrece una API de Python. Puede ejecutarse en una sola máquina y escalar a clústeres distribuidos en Ray o Kubernetes.

Lee datos directamente de S3, GCS, Iceberg, Delta Lake, Hugging Face y Unity Catalog. Se instala con pip y requiere Python 3.10 o una versión posterior.

Funciones clave

  • 01Procesa imágenes, audio, video, embeddings y datos estructurados en un único framework.
  • 02Ejecuta prompts de LLM, genera embeddings y clasifica datos a gran escala.
  • 03API de Python con un motor de ejecución en Rust.
  • 04Escala desde una máquina local hasta clústeres de Ray o Kubernetes.
  • 05Lee datos de S3, GCS, Iceberg, Delta Lake, Hugging Face y Unity Catalog.

Casos de uso

  • Generar embeddings o descripciones para colecciones grandes de imágenes o videos.
  • Ejecutar inferencias por lotes con LLM sobre columnas de texto en una canalización de datos.
  • Consultar tablas de Iceberg o Parquet junto con archivos multimodales.
  • Escalar un trabajo de preprocesamiento de datos en Python desde una laptop hasta un clúster de Ray.

Inicio rápido

  1. 1

    Instala Daft desde PyPI (Python 3.10 o posterior)

    pip install daft
  2. 2

    Lee la guía de inicio rápido en la documentación para ejecutar tu primer ejemplo

Antes de usarlo

  • Se requiere Python 3.10 o posterior.

Temas

#data-engineering#multimodal#embeddings#llm#distributed-computing#dataframe#parquet#ray#ai-engineering#ai-pipeline

Preguntas frecuentes

¿Qué es Daft?
Motor de datos de alto rendimiento en Python, con un núcleo en Rust, para procesar imágenes, audio, video, embeddings y datos estructurados a gran escala. Daft es un motor de datos para cargas de trabajo de IA y multimodales. Permite procesar imágenes, audio, video, embeddings y tablas estructuradas en un único framework al estilo DataFrame, sin tener que usar herramientas distintas para cada tipo de dato.
¿Daft es gratuito? ¿Qué licencia tiene?
Daft es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿Daft sigue mantenido?
Mantenimiento activo. El último commit de Daft fue el 4 nov 2026.
¿Para qué puedo usar Daft?
Generar embeddings o descripciones para colecciones grandes de imágenes o videos. Ejecutar inferencias por lotes con LLM sobre columnas de texto en una canalización de datos. Consultar tablas de Iceberg o Parquet junto con archivos multimodales. Escalar un trabajo de preprocesamiento de datos en Python desde una laptop hasta un clúster de Ray.
¿Cómo se instala Daft?
Instala Daft desde PyPI (Python 3.10 o posterior): pip install daft Lee la guía de inicio rápido en la documentación para ejecutar tu primer ejemplo
¿Dónde consigo Daft?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/Eventual-Inc/Daft

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados

apache / datafusion-comet

Un acelerador de Spark que ejecuta operadores de Spark SQL y DataFrame sobre datos columnares de Apache Arrow mediante un motor Rust basado en DataFusion, sin cambios en el código.

Datos y analítica#spark#arrow#datafusion
1,3 mil+7 esta semana414ScalaApache-2.0Actualizado hace 4 horas