datajuicer/data-juicer

어떤 프로젝트인가요?

핵심 기능

• 01텍스트, 이미지, 오디오, 비디오 및 멀티모달 데이터를 위한 200개 이상의 연산자
• 02재현 및 공유가 가능한 파이프라인용 YAML 레시피
• 03데이터셋에 연산자를 조합할 수 있는 Python API
• 04대규모 처리를 위한 Ray 기반 분할 실행
• 05데이터셋 분석, 시각화 및 샘플 추적
• 06로컬, S3 및 HDFS에서 데이터 로드 및 내보내기

활용 사례

• 웹 규모 사전 학습 코퍼스의 중복 제거 및 필터링
• LLM용 지시 미세 조정 또는 합성 데이터셋 준비
• 추출, 청킹 및 정제를 통한 RAG 인덱스 구축
• 멀티모달 모델 학습을 위한 비디오 또는 이미지 데이터셋 큐레이션

빠른 시작

1. 1

   uv로 패키지를 설치합니다

   uv pip install py-data-juicer
2. 2

   설정 파일에서 예제 파이프라인을 실행합니다

   dj-process --config demos/process_simple/process.yaml

사용 전 알아둘 점

• !GPU 가속 및 대규모 Ray 실행과 같은 일부 고급 기능을 사용하려면 추가 설정과 하드웨어가 필요합니다.

토픽

자주 묻는 질문

data-juicer은(는) 무엇인가요?

기초 모델 학습을 위해 텍스트, 이미지, 오디오, 비디오 데이터를 정제·필터링·중복 제거·합성할 수 있는 200개 이상의 조합형 연산자를 제공하는 데이터 처리 시스템입니다. Data-Juicer는 대규모 언어 모델과 기타 기초 모델의 학습 및 검색용 데이터를 준비하는 데이터 처리 프레임워크입니다. 텍스트, 이미지, 오디오, 비디오 및 멀티모달 입력을 대상으로 정제, 필터링, 중복 제거, 합성 데이터 생성, 프로파일링 등의 작업을 수행할 수 있는 모듈형 연산자를 제공합니다.

data-juicer은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

data-juicer은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

data-juicer은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. data-juicer의 마지막 커밋은 2026년 10월 21일입니다.

data-juicer은(는) 어디에 사용할 수 있나요?

웹 규모 사전 학습 코퍼스의 중복 제거 및 필터링 LLM용 지시 미세 조정 또는 합성 데이터셋 준비 추출, 청킹 및 정제를 통한 RAG 인덱스 구축 멀티모달 모델 학습을 위한 비디오 또는 이미지 데이터셋 큐레이션

data-juicer는 어떻게 설치하나요?

uv로 패키지를 설치합니다: uv pip install py-data-juicer 설정 파일에서 예제 파이프라인을 실행합니다: dj-process --config demos/process_simple/process.yaml

data-juicer은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/datajuicer/data-juicer