Repolode
제출하기
OpenDCAI

OpenDCAI/DataFlow

조합 가능한 오퍼레이터와 파이프라인, 시각적 WebUI를 통해 LLM 학습 데이터를 생성·정제·준비하는 Python 프레임워크입니다.

GitHub에서 보기웹사이트
스타
8,246
포크
1,200
열린 이슈
30
마지막 커밋
3일 전

어떤 프로젝트인가요?

DataFlow는 대규모 언어 모델을 위한 데이터 준비 시스템입니다. PDF, 일반 텍스트, 품질이 낮은 질의응답 쌍 같은 노이즈가 있는 소스를 사전 학습, 지도 미세 조정, 강화 학습 또는 검색 증강 생성에 사용할 수 있는 더 정제된 데이터셋으로 변환합니다. 작업은 생성, 평가, 필터링, 개선과 같은 단일 처리 단계인 오퍼레이터로 구성하며, 이를 연결해 재사용하고 공유할 수 있는 파이프라인을 만듭니다.

이 프로젝트에는 텍스트 질의응답 마이닝, 추론 강화, Text2SQL, 지식 베이스 정제, 에이전트형 RAG를 위한 즉시 사용 가능한 파이프라인과 기존 오퍼레이터 또는 새로 작성한 오퍼레이터를 조합해 파이프라인을 구성하는 에이전트가 포함되어 있습니다. 오퍼레이터는 JSON, JSONL, CSV 입력을 받고 API 기반 LLM이나 vLLM을 통한 로컬 추론으로 실행할 수 있습니다. pip(open-dataflow), Docker 또는 Google Colab으로 설치할 수 있으며, dataflow webui 명령을 실행하면 브라우저 기반 시각적 파이프라인 빌더가 열립니다.

저장소에는 이 프레임워크로 만든 지시 데이터셋 DataFlow-Instruct-10K와, 이 데이터셋으로 미세 조정한 모델을 다른 데이터셋으로 학습한 모델과 비교하는 벤치마크 표도 포함되어 있습니다.

핵심 기능

  • 01각 처리 단계를 재사용 가능한 단위로 구성하고 연결해 파이프라인을 만들 수 있는 오퍼레이터 기반 설계입니다.
  • 02텍스트 QA 마이닝, 추론 강화, Text2SQL, 지식 베이스 정제, 에이전트형 RAG를 위한 내장 파이프라인을 제공합니다.
  • 03JSON, JSONL, CSV 입출력을 지원합니다.
  • 04API 기반 LLM과 vLLM을 통한 로컬 추론을 지원합니다.
  • 05명령 하나로 실행하는 브라우저 기반 시각적 WebUI를 제공합니다.
  • 06사용자 지정 오퍼레이터를 패키징해 GitHub 또는 PyPI로 배포할 수 있습니다.

활용 사례

  • 원시 PDF나 웹 텍스트를 지도 미세 조정용 질의응답 쌍으로 변환합니다.
  • 모델 학습에 사용할 지시 또는 추론 데이터셋을 생성하고 필터링합니다.
  • 스키마 맥락과 설명을 포함한 Text2SQL 학습 데이터를 구축합니다.
  • 검색 증강 생성에 사용할 지식 베이스 항목을 정제합니다.

빠른 시작

  1. 1

    PyPI에서 open-dataflow 패키지를 설치합니다

  2. 2

    시각적 파이프라인 WebUI를 실행합니다

    dataflow webui

사용 전 알아둘 점

  • 많은 오퍼레이터가 LLM API나 대규모 모델을 호출하므로, 이를 실행하려면 모델에 액세스할 수 있어야 합니다.

토픽

#llm#data-cleaning#data-synthesis#data-pipelines#training-data#vllm#python#data#data-agent#data-processing

자주 묻는 질문

DataFlow은(는) 무엇인가요?
조합 가능한 오퍼레이터와 파이프라인, 시각적 WebUI를 통해 LLM 학습 데이터를 생성·정제·준비하는 Python 프레임워크입니다. DataFlow는 대규모 언어 모델을 위한 데이터 준비 시스템입니다. PDF, 일반 텍스트, 품질이 낮은 질의응답 쌍 같은 노이즈가 있는 소스를 사전 학습, 지도 미세 조정, 강화 학습 또는 검색 증강 생성에 사용할 수 있는 더 정제된 데이터셋으로 변환합니다. 작업은 생성, 평가, 필터링, 개선과 같은 단일 처리 단계인 오퍼레이터로 구성하며, 이를 연결해 재사용하고 공유할 수 있는 파이프라인을 만듭니다.
DataFlow은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
DataFlow은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
DataFlow은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. DataFlow의 마지막 커밋은 2026년 10월 19일입니다.
DataFlow은(는) 어디에 사용할 수 있나요?
원시 PDF나 웹 텍스트를 지도 미세 조정용 질의응답 쌍으로 변환합니다. 모델 학습에 사용할 지시 또는 추론 데이터셋을 생성하고 필터링합니다. 스키마 맥락과 설명을 포함한 Text2SQL 학습 데이터를 구축합니다. 검색 증강 생성에 사용할 지식 베이스 항목을 정제합니다.
DataFlow는 어떻게 설치하나요?
PyPI에서 open-dataflow 패키지를 설치합니다 시각적 파이프라인 WebUI를 실행합니다: dataflow webui
DataFlow은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/OpenDCAI/DataFlow

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트