Repolode
제출하기
Lightning-AI

Lightning-AI/litData

모델 학습 중 클라우드나 로컬 저장소에서 데이터를 빠르게 스트리밍할 수 있도록 데이터셋을 청크 형식으로 최적화하는 Python 라이브러리입니다.

GitHub에서 보기
스타
617
포크
111
열린 이슈
53
마지막 커밋
6일 전

어떤 프로젝트인가요?

LitData는 데이터 로딩으로 인해 모델 학습이 느려지는 문제를 해결합니다. 대규모 데이터셋이나 수백만 개의 작은 파일, 느린 클라우드 읽기 속도 때문에 GPU가 대기할 수 있습니다. LitData는 데이터셋을 자체 청크 바이너리 형식으로 전처리해 S3, GCS, Azure, R2, Hugging Face Hub 또는 로컬 디스크에서 효율적으로 스트리밍할 수 있는 도구를 제공합니다.

이 라이브러리는 여러 가지 사용 방법을 지원합니다. 이미지, 오디오, JSONL 같은 원시 파일은 변환 단계 없이 StreamingRawDataset과 일반 PyTorch DataLoader로 바로 스트리밍할 수 있습니다. 처리량을 극대화하려면 optimize()로 데이터를 청크로 변환한 뒤 StreamingDataset과 StreamingDataLoader로 읽으면 되며, 셔플링, drop_last, 스트리밍 재개를 지원합니다. map() 연산자는 이미지 크기 조정, 임베딩 생성, 추론 실행 같은 일반 처리 작업을 여러 머신에 분산합니다.

LitData에는 Hugging Face 데이터셋용 헬퍼, 이미지·오디오·비디오·PDF를 위한 타입이 지정된 미디어 래퍼, 사용자 지정 시리얼라이저, PyTorch Geometric 그래프 지원도 포함되어 있습니다.

핵심 기능

  • 01데이터셋을 스트리밍에 최적화된 청크 바이너리 형식으로 변환합니다.
  • 02S3, GCS, Azure, R2, Hugging Face Hub 및 로컬 경로에서 데이터를 스트리밍합니다.
  • 03전처리 단계 없이 이미지나 오디오 같은 원시 파일을 스트리밍합니다.
  • 04에포크 도중 데이터 스트리밍을 일시 중지하고 재개할 수 있습니다.
  • 05머신 간 병렬 처리를 위한 map 연산자를 제공합니다.

활용 사례

  • 로컬 디스크에 저장하기 어려울 만큼 큰 데이터셋을 클라우드 저장소에서 스트리밍해 학습합니다.
  • 수백만 개의 작은 이미지 파일을 청크 데이터로 바꿔 I/O 오버헤드를 줄입니다.
  • 학습 전에 이미지 크기 조정이나 임베딩 생성 같은 전처리 작업을 분산 처리합니다.
  • 반복 학습에 적합한 더 빠른 형식으로 Hugging Face 데이터셋을 불러옵니다.

빠른 시작

  1. 1

    pip으로 LitData를 설치합니다

    pip install litdata
  2. 2

    기존 파일을 StreamingRawDataset으로 직접 스트리밍하거나, 데이터셋을 청크로 최적화해 StreamingDataset으로 사용합니다

사용 전 알아둘 점

  • PyTorch 2.4 이상이 필요합니다.
  • 가장 빠르게 스트리밍하려면 먼저 데이터를 한 번 전처리해야 합니다.

토픽

#pytorch#data-loading#streaming#deep-learning#machine-learning#cloud-storage#data-processing

자주 묻는 질문

litData은(는) 무엇인가요?
모델 학습 중 클라우드나 로컬 저장소에서 데이터를 빠르게 스트리밍할 수 있도록 데이터셋을 청크 형식으로 최적화하는 Python 라이브러리입니다. LitData는 데이터 로딩으로 인해 모델 학습이 느려지는 문제를 해결합니다. 대규모 데이터셋이나 수백만 개의 작은 파일, 느린 클라우드 읽기 속도 때문에 GPU가 대기할 수 있습니다. LitData는 데이터셋을 자체 청크 바이너리 형식으로 전처리해 S3, GCS, Azure, R2, Hugging Face Hub 또는 로컬 디스크에서 효율적으로 스트리밍할 수 있는 도구를 제공합니다.
litData은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
litData은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
litData은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. litData의 마지막 커밋은 2026년 10월 15일입니다.
litData은(는) 어디에 사용할 수 있나요?
로컬 디스크에 저장하기 어려울 만큼 큰 데이터셋을 클라우드 저장소에서 스트리밍해 학습합니다. 수백만 개의 작은 이미지 파일을 청크 데이터로 바꿔 I/O 오버헤드를 줄입니다. 학습 전에 이미지 크기 조정이나 임베딩 생성 같은 전처리 작업을 분산 처리합니다. 반복 학습에 적합한 더 빠른 형식으로 Hugging Face 데이터셋을 불러옵니다.
litData는 어떻게 설치하나요?
pip으로 LitData를 설치합니다: pip install litdata 기존 파일을 StreamingRawDataset으로 직접 스트리밍하거나, 데이터셋을 청크로 최적화해 StreamingDataset으로 사용합니다
litData은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/Lightning-AI/litData

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트