Repolode
Enviar
OpenDCAI

OpenDCAI/DataFlow

Framework Python para gerar, limpar e preparar dados de treinamento para LLMs com operadores e pipelines combináveis, além de uma WebUI visual.

Ver no GitHubSite
Estrelas
8,250
Forks
1,200
Issues abertas
30
Último commit
há 4 dias

O que é?

DataFlow é um sistema de preparação de dados para modelos de linguagem de grande porte. Ele transforma fontes ruidosas, como PDFs, texto simples e pares de pergunta e resposta de baixa qualidade, em conjuntos de dados mais limpos para pré-treinamento, ajuste fino supervisionado, aprendizado por reforço ou geração aumentada por recuperação. O trabalho é organizado em operadores (etapas individuais de processamento, como geração, avaliação, filtragem ou refinamento), encadeados em pipelines reutilizáveis e compartilháveis.

O projeto inclui pipelines prontos para mineração de perguntas e respostas em texto, aprimoramento de raciocínio, Text2SQL, limpeza de bases de conhecimento e dados para RAG agêntico, além de um agente que pode montar pipelines usando operadores existentes ou recém-criados. Os operadores aceitam entradas em JSON, JSONL e CSV e podem usar LLMs via API ou inferência local com vLLM. A instalação pode ser feita via pip (open-dataflow), Docker ou Google Colab, e o comando dataflow webui inicia um construtor visual de pipelines no navegador.

O repositório também inclui o DataFlow-Instruct-10K, um conjunto de dados de instruções produzido com o framework, e tabelas de benchmark que comparam modelos ajustados com ele a modelos ajustados com outros conjuntos de dados.

Recursos principais

  • 01Design baseado em operadores, em que cada etapa de processamento é uma unidade reutilizável que pode ser encadeada em pipelines.
  • 02Pipelines integrados para mineração de perguntas e respostas em texto, aprimoramento de raciocínio, Text2SQL, limpeza de bases de conhecimento e RAG agêntico.
  • 03Compatibilidade com entradas e saídas em JSON, JSONL e CSV.
  • 04Compatibilidade com LLMs via API e inferência local com vLLM.
  • 05WebUI visual no navegador, iniciada com um único comando.
  • 06Operadores personalizados podem ser empacotados e distribuídos pelo GitHub ou PyPI.

Casos de uso

  • Transformar PDFs brutos ou texto da web em pares de pergunta e resposta para ajuste fino supervisionado.
  • Gerar e filtrar conjuntos de dados de instruções ou raciocínio para treinamento de modelos.
  • Criar dados de treinamento para Text2SQL com contexto de esquema e explicações.
  • Preparar entradas limpas para bases de conhecimento usadas em geração aumentada por recuperação.

Início rápido

  1. 1

    Instale o pacote open-dataflow pelo PyPI

  2. 2

    Inicie a WebUI do pipeline visual

    dataflow webui

Antes de usar

  • Muitos operadores chamam APIs de LLM ou modelos grandes, então você precisa ter acesso a modelos para executá-los.

Tópicos

#llm#data-cleaning#data-synthesis#data-pipelines#training-data#vllm#python#data#data-agent#data-processing

Perguntas frequentes

O que é DataFlow?
Framework Python para gerar, limpar e preparar dados de treinamento para LLMs com operadores e pipelines combináveis, além de uma WebUI visual. DataFlow é um sistema de preparação de dados para modelos de linguagem de grande porte. Ele transforma fontes ruidosas, como PDFs, texto simples e pares de pergunta e resposta de baixa qualidade, em conjuntos de dados mais limpos para pré-treinamento, ajuste fino supervisionado, aprendizado por reforço ou geração aumentada por recuperação. O trabalho é organizado em operadores (etapas individuais de processamento, como geração, avaliação, filtragem ou refinamento), encadeados em pipelines reutilizáveis e compartilháveis.
DataFlow é gratuito? Qual é a licença?
DataFlow é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
DataFlow ainda é mantido?
Manutenção ativa. O último commit de DataFlow foi em 19 de out. de 2026.
Para que posso usar DataFlow?
Transformar PDFs brutos ou texto da web em pares de pergunta e resposta para ajuste fino supervisionado. Gerar e filtrar conjuntos de dados de instruções ou raciocínio para treinamento de modelos. Criar dados de treinamento para Text2SQL com contexto de esquema e explicações. Preparar entradas limpas para bases de conhecimento usadas em geração aumentada por recuperação.
Como instalar DataFlow?
Instale o pacote open-dataflow pelo PyPI Inicie a WebUI do pipeline visual: dataflow webui
Onde consigo DataFlow?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/OpenDCAI/DataFlow

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados