Repolode
Предложить
OpenDCAI

OpenDCAI/DataFlow

Python-фреймворк для генерации, очистки и подготовки обучающих данных для LLM с помощью компонуемых операторов и пайплайнов, а также визуальным WebUI.

Открыть на GitHubСайт
Звёзды
8,249
Форки
1,200
Открытые issues
30
Последний коммит
3 дня назад

Что это?

DataFlow — система подготовки данных для больших языковых моделей. Она превращает зашумлённые источники — например, PDF-файлы, обычный текст и пары «вопрос–ответ» низкого качества — в более чистые наборы данных для предобучения, supervised fine-tuning, обучения с подкреплением или генерации с дополнением из поиска. Работа строится на операторах — отдельных этапах обработки, таких как генерация, оценка, фильтрация или доработка, — которые объединяются в повторно используемые пайплайны, которыми можно делиться.

В проект входят готовые пайплайны для извлечения текстовых пар «вопрос–ответ», улучшения рассуждений, Text2SQL, очистки базы знаний и подготовки данных для agentic RAG, а также агент, который может собирать пайплайны из существующих или написанных им операторов. Операторы принимают данные в форматах JSON, JSONL и CSV и могут работать с LLM через API или локальным инференсом через vLLM. Установить DataFlow можно через pip (open-dataflow), Docker или Google Colab, а команда dataflow webui запускает визуальный конструктор пайплайнов в браузере.

В репозитории также есть DataFlow-Instruct-10K — набор инструкций, созданный с помощью фреймворка, — и таблицы бенчмарков, сравнивающие модели, дообученные на нём, с моделями на других наборах данных.

Ключевые возможности

  • 01Архитектура на основе операторов: каждый этап обработки — повторно используемый блок, который можно включать в пайплайны.
  • 02Готовые пайплайны для извлечения текстовых пар «вопрос–ответ», улучшения рассуждений, Text2SQL, очистки базы знаний и agentic RAG.
  • 03Поддержка форматов входных и выходных данных JSON, JSONL и CSV.
  • 04Работа с LLM через API и локальным инференсом через vLLM.
  • 05Визуальный WebUI в браузере, который запускается одной командой.
  • 06Пользовательские операторы можно упаковывать и распространять через GitHub или PyPI.

Сценарии использования

  • Преобразование исходных PDF-файлов или текста из интернета в пары «вопрос–ответ» для supervised fine-tuning.
  • Генерация и фильтрация наборов инструкций или данных для обучения рассуждениям.
  • Создание обучающих данных для Text2SQL с контекстом схемы и пояснениями.
  • Подготовка очищенных записей базы знаний для генерации с дополнением из поиска.

Быстрый старт

  1. 1

    Установите пакет open-dataflow из PyPI

  2. 2

    Запустите WebUI визуального конвейера

    dataflow webui

Что важно знать

  • Многие операторы вызывают API LLM или большие модели, поэтому для их запуска нужен доступ к моделям.

Темы

#llm#data-cleaning#data-synthesis#data-pipelines#training-data#vllm#python#data#data-agent#data-processing

Частые вопросы

Что такое DataFlow?
Python-фреймворк для генерации, очистки и подготовки обучающих данных для LLM с помощью компонуемых операторов и пайплайнов, а также визуальным WebUI. DataFlow — система подготовки данных для больших языковых моделей. Она превращает зашумлённые источники — например, PDF-файлы, обычный текст и пары «вопрос–ответ» низкого качества — в более чистые наборы данных для предобучения, supervised fine-tuning, обучения с подкреплением или генерации с дополнением из поиска. Работа строится на операторах — отдельных этапах обработки, таких как генерация, оценка, фильтрация или доработка, — которые объединяются в повторно используемые пайплайны, которыми можно делиться.
DataFlow можно использовать бесплатно? Какая у него лицензия?
DataFlow распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
DataFlow всё ещё поддерживается?
Активно поддерживается. Последний коммит в DataFlow — 19 окт. 2026 г..
Для чего можно использовать DataFlow?
Преобразование исходных PDF-файлов или текста из интернета в пары «вопрос–ответ» для supervised fine-tuning. Генерация и фильтрация наборов инструкций или данных для обучения рассуждениям. Создание обучающих данных для Text2SQL с контекстом схемы и пояснениями. Подготовка очищенных записей базы знаний для генерации с дополнением из поиска.
Как установить DataFlow?
Установите пакет open-dataflow из PyPI Запустите WebUI визуального конвейера: dataflow webui
Где скачать DataFlow?
Исходный код и инструкции по установке — на GitHub: https://github.com/OpenDCAI/DataFlow

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

NVIDIA-NeMo / Curator

Набор инструментов с GPU-ускорением для создания воспроизводимых конвейеров фильтрации, дедупликации и преобразования больших текстовых, графических, видео- и аудиодатасетов для обучения ИИ.

Данные и аналитика#data-curation#llm#data-processing
1,8 тыс.351PythonApache-2.0Обновлён 3 часа назад

datajuicer / data-juicer

Система обработки данных с более чем 200 комбинируемыми операторами для очистки, фильтрации, дедупликации и генерации текста, изображений, аудио и видео для обучения foundation-моделей.

Данные и аналитика#data-processing#llm#foundation-models
7,2 тыс.437PythonApache-2.0Обновлён вчера