Curator은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

Curator은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

Curator은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. Curator의 마지막 커밋은 2026년 10월 21일입니다.

Curator은(는) 어디에 사용할 수 있나요?

LLM 사전 학습 전에 웹 텍스트의 중복을 제거하고 품질을 기준으로 필터링합니다. 학습 데이터셋에 사용할 대규모 이미지 컬렉션을 필터링하고 임베딩합니다. 장면 감지와 움직임 필터링을 적용해 비디오 클립을 준비합니다. 오디오 모델 학습을 위해 음성 데이터를 전사하고 필터링합니다.

Curator는 어떻게 설치하나요?

uv 패키지 관리자를 설치합니다(README의 설치 스크립트는 sh에 파이프로 전달되므로 여기에는 명령을 제공하지 않습니다) 가상 환경을 만들고 CPU 텍스트용 추가 패키지를 설치합니다: uv venv && source .venv/bin/activate uv pip install "nemo-curator[text_cpu]" 버전을 출력해 설치를 확인합니다: python -c "import nemo_curator; print(nemo_curator.__version__)"

Curator은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/NVIDIA-NeMo/Curator

NVIDIA-NeMo/Curator

AI 학습용 대규모 텍스트, 이미지, 비디오, 오디오 데이터셋을 필터링·중복 제거·변환하는 재현 가능한 파이프라인을 구축하기 위한 GPU 가속 툴킷입니다.

GitHub에서 보기

스타: 1,818
포크: 351
열린 이슈: 297
마지막 커밋: 7시간 전

어떤 프로젝트인가요?

NeMo Curator는 AI 모델 학습에 사용할 대규모 데이터셋을 준비하는 Python 툴킷입니다. ML 엔지니어와 데이터 팀은 텍스트, 이미지, 비디오, 오디오별 빌딩 블록을 사용해 데이터를 로드하고, 필터링하고, 중복 제거 및 분류한 뒤 저장하는 여러 단계로 파이프라인을 구성할 수 있습니다.

파이프라인 단계는 각 단계에서 필요한 CPU, GPU, 복제본 수를 선언하며, 플러그형 실행기가 리소스 전반에 걸쳐 실행 규모를 확장합니다. 동일한 파이프라인 정의를 단일 머신이나 Slurm이 관리하는 HPC 환경을 포함한 멀티노드 Ray 클러스터에서 실행할 수 있습니다. 프로젝트 문서에서는 Xenna executor를 프로덕션 기본값으로 안내하며, Ray 기반 백엔드는 실험용 옵션으로 제공합니다.

이 툴킷은 NVIDIA NeMo 제품군의 일부이며, Nemotron 및 Nemotron-CC 데이터셋에 대해 설명된 데이터 파이프라인에서 사용됩니다. uv 또는 Docker로 설치할 수 있으며, Linux에서 GPU 텍스트 워크로드를 실행하기 위한 CUDA 12 경로도 제공됩니다.

핵심 기능

01데이터를 로드하고, 필터링하고, 중복 제거 및 분류한 뒤 저장하는 모듈형 단계입니다.
02RAPIDS를 사용해 GPU 가속으로 중복 제거 및 분류를 수행합니다.
03동일한 파이프라인을 노트북 한 대나 멀티노드 Ray 클러스터에서 실행합니다.
04텍스트, 이미지, 비디오, 오디오용 모달리티 플러그인을 제공합니다.
05합성 데이터 워크플로를 위한 OpenAI 호환 추론 서버를 포함합니다.

활용 사례

LLM 사전 학습 전에 웹 텍스트의 중복을 제거하고 품질을 기준으로 필터링합니다.
학습 데이터셋에 사용할 대규모 이미지 컬렉션을 필터링하고 임베딩합니다.
장면 감지와 움직임 필터링을 적용해 비디오 클립을 준비합니다.
오디오 모델 학습을 위해 음성 데이터를 전사하고 필터링합니다.

빠른 시작

1
uv 패키지 관리자를 설치합니다(README의 설치 스크립트는 sh에 파이프로 전달되므로 여기에는 명령을 제공하지 않습니다)
2
가상 환경을 만들고 CPU 텍스트용 추가 패키지를 설치합니다
uv venv && source .venv/bin/activate uv pip install "nemo-curator[text_cpu]"
3
버전을 출력해 설치를 확인합니다
python -c "import nemo_curator; print(nemo_curator.__version__)"

사용 전 알아둘 점

GPU 텍스트 처리에는 Linux x86_64에서 CUDA 12와 약 16GB의 GPU 메모리가 필요합니다.
CUDA 12 텍스트 추가 패키지는 일반 pip install을 지원하지 않으며, 전용 uv 오버라이드 파일이 필요합니다.
오디오 및 비디오 워크플로에는 FFmpeg가 필요하며, 사용자 지정 컨테이너 빌드로 처리하는 것이 가장 좋습니다.
NVIDIA는 26.09부터 NGC에 새 NeMo Curator 컨테이너 이미지를 게시하지 않습니다.

토픽

#data-curation #llm #data-processing #deduplication #gpu #ray #data-quality #python #data #data-prep

자주 묻는 질문

Curator은(는) 무엇인가요?: AI 학습용 대규모 텍스트, 이미지, 비디오, 오디오 데이터셋을 필터링·중복 제거·변환하는 재현 가능한 파이프라인을 구축하기 위한 GPU 가속 툴킷입니다. NeMo Curator는 AI 모델 학습에 사용할 대규모 데이터셋을 준비하는 Python 툴킷입니다. ML 엔지니어와 데이터 팀은 텍스트, 이미지, 비디오, 오디오별 빌딩 블록을 사용해 데이터를 로드하고, 필터링하고, 중복 제거 및 분류한 뒤 저장하는 여러 단계로 파이프라인을 구성할 수 있습니다.
Curator은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: Curator은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
Curator은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. Curator의 마지막 커밋은 2026년 10월 21일입니다.
Curator은(는) 어디에 사용할 수 있나요?: LLM 사전 학습 전에 웹 텍스트의 중복을 제거하고 품질을 기준으로 필터링합니다. 학습 데이터셋에 사용할 대규모 이미지 컬렉션을 필터링하고 임베딩합니다. 장면 감지와 움직임 필터링을 적용해 비디오 클립을 준비합니다. 오디오 모델 학습을 위해 음성 데이터를 전사하고 필터링합니다.
Curator는 어떻게 설치하나요?: uv 패키지 관리자를 설치합니다(README의 설치 스크립트는 sh에 파이프로 전달되므로 여기에는 명령을 제공하지 않습니다) 가상 환경을 만들고 CPU 텍스트용 추가 패키지를 설치합니다: uv venv && source .venv/bin/activate uv pip install "nemo-curator[text_cpu]" 버전을 출력해 설치를 확인합니다: python -c "import nemo_curator; print(nemo_curator.__version__)"
Curator은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/NVIDIA-NeMo/Curator

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.