Repolode
Enviar
OpenDCAI

OpenDCAI/DataFlow

Framework de Python para generar, limpiar y preparar datos de entrenamiento para LLM mediante operadores y pipelines componibles, con una WebUI visual.

Ver en GitHubSitio web
Estrellas
8,250
Forks
1,200
Issues abiertos
30
Último commit
hace 4 días

¿Qué es?

DataFlow es un sistema de preparación de datos para modelos de lenguaje grandes. Convierte fuentes ruidosas, como PDF, texto sin formato y pares de preguntas y respuestas de baja calidad, en conjuntos de datos más limpios para preentrenamiento, ajuste fino supervisado, aprendizaje por refuerzo o generación aumentada por recuperación. El trabajo se organiza en operadores (pasos individuales de procesamiento, como generación, evaluación, filtrado o refinamiento) que se encadenan en pipelines reutilizables y compartibles.

El proyecto incluye pipelines listos para usar para extraer preguntas y respuestas de textos, mejorar el razonamiento, Text2SQL, limpiar bases de conocimiento y preparar datos para RAG agéntico, además de un agente que puede ensamblar pipelines con operadores existentes o recién creados. Los operadores aceptan entradas en JSON, JSONL y CSV, y pueden ejecutarse con LLM basados en API o mediante inferencia local con vLLM. Se puede instalar con pip (open-dataflow), Docker o Google Colab, y el comando dataflow webui inicia un creador visual de pipelines en el navegador.

El repositorio también incluye DataFlow-Instruct-10K, un conjunto de datos de instrucciones producido con el framework, y tablas de benchmarks que comparan modelos ajustados con este conjunto frente a otros conjuntos de datos.

Funciones clave

  • 01Diseño basado en operadores: cada paso de procesamiento es una unidad reutilizable que puede encadenarse en pipelines.
  • 02Pipelines integrados para extraer preguntas y respuestas de textos, mejorar el razonamiento, Text2SQL, limpiar bases de conocimiento y preparar datos para RAG agéntico.
  • 03Admite entradas y salidas en JSON, JSONL y CSV.
  • 04Funciona con LLM basados en API y con inferencia local mediante vLLM.
  • 05WebUI visual en el navegador, que se inicia con un solo comando.
  • 06Los operadores personalizados se pueden empaquetar y distribuir mediante GitHub o PyPI.

Casos de uso

  • Convertir archivos PDF sin procesar o textos de la web en pares de preguntas y respuestas para el ajuste fino supervisado.
  • Generar y filtrar conjuntos de datos de instrucciones o razonamiento para entrenar modelos.
  • Crear datos de entrenamiento para Text2SQL con contexto del esquema y explicaciones.
  • Preparar entradas limpias de bases de conocimiento para la generación aumentada por recuperación.

Inicio rápido

  1. 1

    Instala el paquete open-dataflow desde PyPI

  2. 2

    Inicia la WebUI del pipeline visual

    dataflow webui

Antes de usarlo

  • Muchos operadores llaman a API de LLM o a modelos grandes, por lo que necesitas acceso a modelos para ejecutarlos.

Temas

#llm#data-cleaning#data-synthesis#data-pipelines#training-data#vllm#python#data#data-agent#data-processing

Preguntas frecuentes

¿Qué es DataFlow?
Framework de Python para generar, limpiar y preparar datos de entrenamiento para LLM mediante operadores y pipelines componibles, con una WebUI visual. DataFlow es un sistema de preparación de datos para modelos de lenguaje grandes. Convierte fuentes ruidosas, como PDF, texto sin formato y pares de preguntas y respuestas de baja calidad, en conjuntos de datos más limpios para preentrenamiento, ajuste fino supervisado, aprendizaje por refuerzo o generación aumentada por recuperación. El trabajo se organiza en operadores (pasos individuales de procesamiento, como generación, evaluación, filtrado o refinamiento) que se encadenan en pipelines reutilizables y compartibles.
¿DataFlow es gratuito? ¿Qué licencia tiene?
DataFlow es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿DataFlow sigue mantenido?
Mantenimiento activo. El último commit de DataFlow fue el 19 oct 2026.
¿Para qué puedo usar DataFlow?
Convertir archivos PDF sin procesar o textos de la web en pares de preguntas y respuestas para el ajuste fino supervisado. Generar y filtrar conjuntos de datos de instrucciones o razonamiento para entrenar modelos. Crear datos de entrenamiento para Text2SQL con contexto del esquema y explicaciones. Preparar entradas limpias de bases de conocimiento para la generación aumentada por recuperación.
¿Cómo se instala DataFlow?
Instala el paquete open-dataflow desde PyPI Inicia la WebUI del pipeline visual: dataflow webui
¿Dónde consigo DataFlow?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/OpenDCAI/DataFlow

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados