data-prep-kit/data-prep-kit

어떤 프로젝트인가요?

핵심 기능

• 01자연어, 코드, 이미지 데이터를 위한 모듈형 변환 기능
• 02정확 및 퍼지 중복 제거, PII 마스킹, 품질 주석 추가
• 03로컬에서는 Python으로, 대규모 처리에는 Ray로 실행
• 04Parquet, ZIP, NDJSON, JSONL 파일을 처리하는 사용자 지정 변환 프레임워크
• 05여러 변환을 연결하는 Tekton 파이프라인이 포함된 Kubernetes 배포 예제

활용 사례

• LLM 사전 학습 또는 파인튜닝을 위해 문서나 코드 코퍼스 준비
• HTML 또는 PDF 콘텐츠를 청킹하고 정제하는 RAG 파이프라인 구축
• 학습 데이터에서 중복을 제거하고 개인 정보를 마스킹
• Ray 또는 Kubernetes 클러스터에서 대규모 데이터 정제 작업 실행

빠른 시작

1. 1

   uv 패키지 관리자를 설치합니다

   pip install uv
2. 2

   PyPI에서 사용 가능한 모든 transform을 설치합니다

   uv pip install 'data-prep-toolkit-transforms[all]'
3. 3

   Colab 노트북을 열어 첫 번째 transform(PDF 추출)을 실행하거나, 다운로드하여 로컬에서 실행합니다

사용 전 알아둘 점

• !일부 transform은 Python 또는 Ray에서만 실행되므로 모든 모듈이 같은 방식으로 확장되지는 않습니다.
• !일부 모듈은 아직 개발 중이며 프로젝트가 발전하면서 변경될 수 있습니다.

토픽

자주 묻는 질문

data-prep-kit은(는) 무엇인가요?

LLM 학습과 RAG 애플리케이션에 사용할 비정형 데이터를 정제·필터링·보강하는 모듈형 변환 도구 모음입니다. Data-Prep-Kit은 LLM 애플리케이션에 사용할 비정형 데이터를 준비하는 도구 모음입니다. 개발자는 사전 학습, 파인튜닝, instruction tuning 또는 검색 증강 생성(RAG) 시스템 구축을 위해 특정 용도에 맞는 데이터를 정제하고 변환하며 보강할 수 있습니다.

data-prep-kit은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

data-prep-kit은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

data-prep-kit은(는) 아직 유지보수되고 있나요?

6개월 이내 업데이트. data-prep-kit의 마지막 커밋은 2026년 9월 29일입니다.

data-prep-kit은(는) 어디에 사용할 수 있나요?

LLM 사전 학습 또는 파인튜닝을 위해 문서나 코드 코퍼스 준비 HTML 또는 PDF 콘텐츠를 청킹하고 정제하는 RAG 파이프라인 구축 학습 데이터에서 중복을 제거하고 개인 정보를 마스킹 Ray 또는 Kubernetes 클러스터에서 대규모 데이터 정제 작업 실행

data-prep-kit는 어떻게 설치하나요?

uv 패키지 관리자를 설치합니다: pip install uv PyPI에서 사용 가능한 모든 transform을 설치합니다: uv pip install 'data-prep-toolkit-transforms[all]' Colab 노트북을 열어 첫 번째 transform(PDF 추출)을 실행하거나, 다운로드하여 로컬에서 실행합니다

data-prep-kit은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/data-prep-kit/data-prep-kit