Repolode
Enviar
Eventual-Inc

Eventual-Inc/Daft

Um mecanismo de dados de alto desempenho em Python, com núcleo em Rust, para processar imagens, áudio, vídeo, embeddings e dados estruturados em grande escala.

Ver no GitHubSite
Estrelas
5,832
Forks
586
Issues abertas
434
Último commit
há 3 dias

O que é?

Daft é um mecanismo de dados para cargas de trabalho de IA e multimodais. Ele permite processar imagens, áudio, vídeo, embeddings e tabelas estruturadas em um único framework no estilo DataFrame, sem precisar de ferramentas separadas para cada tipo de dado.

O Daft inclui operações de IA integradas, como executar prompts de LLM, gerar embeddings e classificar dados com OpenAI, Hugging Face Transformers ou modelos personalizados. O mecanismo é escrito em Rust e oferece uma API em Python; ele começa rodando em uma única máquina e pode escalar para clusters distribuídos no Ray ou Kubernetes.

Ele lê dados diretamente do S3, GCS, Iceberg, Delta Lake, Hugging Face e Unity Catalog. A instalação é feita via pip e requer Python 3.10 ou superior.

Recursos principais

  • 01Processa imagens, áudio, vídeo, embeddings e dados estruturados em um único framework.
  • 02Executa prompts de LLM, gera embeddings e classifica dados em grande escala.
  • 03API em Python com mecanismo de execução em Rust.
  • 04Escala de uma máquina local para clusters do Ray ou Kubernetes.
  • 05Lê dados do S3, GCS, Iceberg, Delta Lake, Hugging Face e Unity Catalog.

Casos de uso

  • Gerar embeddings ou legendas para grandes coleções de imagens ou vídeos.
  • Executar inferência em lote com LLM sobre colunas de texto em um pipeline de dados.
  • Consultar tabelas Iceberg ou Parquet armazenadas junto a arquivos multimodais.
  • Escalar um trabalho de pré-processamento de dados em Python de um laptop para um cluster do Ray.

Início rápido

  1. 1

    Instale o Daft pelo PyPI (Python 3.10 ou superior)

    pip install daft
  2. 2

    Leia o guia de início rápido na documentação para executar seu primeiro exemplo

Antes de usar

  • É necessário ter Python 3.10 ou superior.

Tópicos

#data-engineering#multimodal#embeddings#llm#distributed-computing#dataframe#parquet#ray#ai-engineering#ai-pipeline

Perguntas frequentes

O que é Daft?
Um mecanismo de dados de alto desempenho em Python, com núcleo em Rust, para processar imagens, áudio, vídeo, embeddings e dados estruturados em grande escala. Daft é um mecanismo de dados para cargas de trabalho de IA e multimodais. Ele permite processar imagens, áudio, vídeo, embeddings e tabelas estruturadas em um único framework no estilo DataFrame, sem precisar de ferramentas separadas para cada tipo de dado.
Daft é gratuito? Qual é a licença?
Daft é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
Daft ainda é mantido?
Manutenção ativa. O último commit de Daft foi em 4 de nov. de 2026.
Para que posso usar Daft?
Gerar embeddings ou legendas para grandes coleções de imagens ou vídeos. Executar inferência em lote com LLM sobre colunas de texto em um pipeline de dados. Consultar tabelas Iceberg ou Parquet armazenadas junto a arquivos multimodais. Escalar um trabalho de pré-processamento de dados em Python de um laptop para um cluster do Ray.
Como instalar Daft?
Instale o Daft pelo PyPI (Python 3.10 ou superior): pip install daft Leia o guia de início rápido na documentação para executar seu primeiro exemplo
Onde consigo Daft?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/Eventual-Inc/Daft

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados

apache / datafusion-comet

Um acelerador para Spark que executa operadores de Spark SQL e DataFrame sobre dados colunares do Apache Arrow com um mecanismo Rust baseado em DataFusion, sem alterações no código.

Dados e análise#spark#arrow#datafusion
1,3 mil+7 esta semana414ScalaApache-2.0Atualizado há 3 horas