Repolode
提交项目
OpenDCAI

OpenDCAI/DataFlow

一个基于可组合算子和流水线的 Python 框架，用于生成、清洗和准备大模型训练数据，并提供可视化 WebUI。

在 GitHub 查看官网
Star
8,249
Fork
1,200
未关闭 Issue
30
最近提交
3天前

这是什么？

DataFlow 是面向大语言模型的数据准备系统，可将 PDF、纯文本和质量较低的问答对等原始数据，处理成适用于预训练、监督微调、强化学习或 RAG 的高质量数据集。整体以算子为基本单位，每个算子完成生成、评估、过滤或精炼等一个处理步骤，多个算子组合成可复用、可分享的流水线。

项目内置文本问答挖掘、推理增强、Text2SQL、知识库清洗和 Agentic RAG 数据等流水线，并提供能够基于已有或新编写算子自动组装流水线的智能体。算子支持 JSON、JSONL 和 CSV 输入，既可调用 API 形式的大模型，也可通过 vLLM 进行本地推理。安装方式包括 pip（open-dataflow）、Docker 和 Google Colab，执行 dataflow webui 即可启动浏览器中的可视化流水线编辑器。

仓库还包含用该框架生成的 DataFlow-Instruct-10K 指令数据集，以及模型在该数据集与其他数据集上微调后的对比基准结果。

核心功能

  • 01基于算子的设计，每个处理步骤都是可复用单元，可串联成流水线。
  • 02内置文本问答挖掘、推理增强、Text2SQL、知识库清洗和 Agentic RAG 等流水线。
  • 03支持 JSON、JSONL 和 CSV 格式的输入与输出。
  • 04既可调用 API 形式的大模型，也可通过 vLLM 进行本地推理。
  • 05通过 dataflow webui 命令启动浏览器可视化界面。
  • 06自定义算子可打包，并通过 GitHub 或 PyPI 分发。

适用场景

  • 将原始 PDF 或网页文本转换为用于监督微调的问答对。
  • 生成并过滤用于模型训练的指令或推理数据集。
  • 构建包含 schema 上下文和解释的 Text2SQL 训练数据。
  • 为检索增强生成（RAG）整理清洗后的知识库条目。

快速上手

  1. 1

    从 PyPI 安装 open-dataflow 包

  2. 2

    启动可视化流水线 WebUI

    dataflow webui

使用前须知

  • 许多算子需要调用 LLM API 或大模型，因此运行前需要具备模型访问条件。

标签

#llm#data-cleaning#data-synthesis#data-pipelines#training-data#vllm#python#data#data-agent#data-processing

常见问题

DataFlow 是什么？
一个基于可组合算子和流水线的 Python 框架，用于生成、清洗和准备大模型训练数据，并提供可视化 WebUI。 DataFlow 是面向大语言模型的数据准备系统，可将 PDF、纯文本和质量较低的问答对等原始数据，处理成适用于预训练、监督微调、强化学习或 RAG 的高质量数据集。整体以算子为基本单位，每个算子完成生成、评估、过滤或精炼等一个处理步骤，多个算子组合成可复用、可分享的流水线。
DataFlow 可以免费使用吗？用的什么许可证？
DataFlow 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
DataFlow 还在维护吗？
活跃维护中。DataFlow 最近一次提交是在 2026年10月19日。
DataFlow 适合用来做什么？
将原始 PDF 或网页文本转换为用于监督微调的问答对。 生成并过滤用于模型训练的指令或推理数据集。 构建包含 schema 上下文和解释的 Text2SQL 训练数据。 为检索增强生成（RAG）整理清洗后的知识库条目。
DataFlow 怎么安装和运行？
从 PyPI 安装 open-dataflow 包 启动可视化流水线 WebUI: dataflow webui
在哪里获取 DataFlow？
源代码和安装说明在 GitHub 上：https://github.com/OpenDCAI/DataFlow

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目