Repolode
投稿する
OpenDCAI

OpenDCAI/DataFlow

合成可能なオペレーターとパイプライン、視覚的なWebUIを備えた、LLMの学習データを生成・クリーニング・準備するPythonフレームワーク。

GitHub で見る公式サイト
スター
8,250
フォーク
1,200
未解決の Issue
30
最終コミット
4 日前

これは何？

DataFlowは、大規模言語モデル向けのデータ準備システムです。PDF、プレーンテキスト、品質の低い質問と回答のペアなど、ノイズを含むソースを、事前学習、教師ありファインチューニング、強化学習、検索拡張生成に使える、よりクリーンなデータセットに変換します。作業は、生成、評価、フィルタリング、改善などの単一の処理ステップを担うオペレーターを、再利用・共有できるパイプラインに連結して進めます。

このプロジェクトには、テキストからの質問と回答の抽出、推論の強化、Text2SQL、ナレッジベースのクリーニング、エージェント型RAG向けのデータを扱う既製のパイプラインが付属します。また、既存または新規作成したオペレーターからパイプラインを組み立てるエージェントも備えています。オペレーターはJSON、JSONL、CSV形式の入力を受け付け、API経由のLLMやvLLMを使ったローカル推論で実行できます。pip（open-dataflow）、Docker、Google Colabからインストールでき、dataflow webuiコマンドを実行すると、ブラウザ上で操作できるビジュアルパイプラインビルダーが起動します。

リポジトリには、このフレームワークで作成された指示データセットDataFlow-Instruct-10Kと、それを使ってファインチューニングしたモデルを他のデータセットで学習したモデルと比較するベンチマーク表も含まれています。

主な機能

  • 01オペレーターを処理ステップごとに再利用可能な単位として扱い、連結してパイプラインを構成できます。
  • 02テキストからのQA抽出、推論の強化、Text2SQL、ナレッジベースのクリーニング、エージェント型RAG向けの組み込みパイプラインを備えています。
  • 03JSON、JSONL、CSV形式の入出力に対応しています。
  • 04API経由のLLMと、vLLMによるローカル推論に対応しています。
  • 051つのコマンドで起動できる、ブラウザベースのビジュアルWebUIを備えています。
  • 06カスタムオペレーターをパッケージ化し、GitHubやPyPI経由で配布できます。

ユースケース

  • PDFやWeb上のテキストを、教師ありファインチューニング用の質問と回答のペアに変換する。
  • モデル学習用の指示データセットや推論データセットを生成・フィルタリングする。
  • スキーマのコンテキストと説明を含むText2SQL学習データを構築する。
  • 検索拡張生成向けに、クリーニング済みのナレッジベースエントリーを準備する。

クイックスタート

  1. 1

    PyPIからopen-dataflowパッケージをインストールします

  2. 2

    ビジュアルパイプラインのWebUIを起動します

    dataflow webui

使う前に知っておきたいこと

  • 多くのオペレーターはLLM APIや大規模モデルを呼び出すため、実行するにはモデルへのアクセスが必要です。

トピック

#llm#data-cleaning#data-synthesis#data-pipelines#training-data#vllm#python#data#data-agent#data-processing

よくある質問

DataFlow とは？
合成可能なオペレーターとパイプライン、視覚的なWebUIを備えた、LLMの学習データを生成・クリーニング・準備するPythonフレームワーク。 DataFlowは、大規模言語モデル向けのデータ準備システムです。PDF、プレーンテキスト、品質の低い質問と回答のペアなど、ノイズを含むソースを、事前学習、教師ありファインチューニング、強化学習、検索拡張生成に使える、よりクリーンなデータセットに変換します。作業は、生成、評価、フィルタリング、改善などの単一の処理ステップを担うオペレーターを、再利用・共有できるパイプラインに連結して進めます。
DataFlow は無料で使えますか？ライセンスは？
DataFlow は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
DataFlow は今もメンテナンスされていますか？
活発にメンテナンス中。DataFlow の最終コミットは 2026年10月19日 です。
DataFlow は何に使えますか？
PDFやWeb上のテキストを、教師ありファインチューニング用の質問と回答のペアに変換する。 モデル学習用の指示データセットや推論データセットを生成・フィルタリングする。 スキーマのコンテキストと説明を含むText2SQL学習データを構築する。 検索拡張生成向けに、クリーニング済みのナレッジベースエントリーを準備する。
DataFlow のインストール方法は？
PyPIからopen-dataflowパッケージをインストールします ビジュアルパイプラインのWebUIを起動します: dataflow webui
DataFlow はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/OpenDCAI/DataFlow

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト