huggingface/datasets

어떤 프로젝트인가요?

핵심 기능

• 01load_dataset() 호출 한 번으로 Hub 데이터셋 불러오기
• 02전체 데이터를 다운로드하지 않고 원격 데이터를 순회하는 스트리밍 모드
• 03대용량 데이터셋을 RAM에 올리지 않는 Apache Arrow 메모리 매핑 저장 방식
• 04결과를 자동으로 캐시하는 병렬 map() 처리
• 05오디오, 이미지, 비디오, PDF, NIfTI를 포함한 CSV, JSON, Parquet, XML, 텍스트 및 멀티미디어 파일 읽기
• 06NumPy, Pandas, Polars, PyTorch, TensorFlow, JAX 형식으로 변환

활용 사례

• 공개 벤치마크 데이터셋으로 NLP 모델을 파인튜닝하거나 평가
• 학습 중 매우 큰 이미지 또는 음성 코퍼스를 스트리밍
• 모델 학습을 위해 로컬 CSV 또는 Parquet 데이터를 전처리하고 토큰화
• FAISS로 임베딩의 유사도 검색 인덱스 구축

빠른 시작

1. 1

   pip으로 라이브러리 설치하기

   pip install datasets
2. 2

   Python에서 Hub의 데이터셋 불러오기

   python -c "from datasets import load_dataset; squad_dataset = load_dataset('rajpurkar/squad'); print(squad_dataset['train'][0])"

사용 전 알아둘 점

• !오디오, 비전, PDF 또는 NIfTI 지원과 같은 일부 기능은 선택적 추가 패키지가 필요합니다.
• !Hub의 많은 데이터셋은 서드파티가 제공하므로 라이선스와 이용 약관은 데이터셋마다 다릅니다.

토픽

자주 묻는 질문

datasets은(는) 무엇인가요?

Hugging Face가 제공하는 Python 라이브러리로, 한 줄의 코드로 Hub의 공개 AI 데이터셋을 불러오고 Arrow 기반 도구로 효율적으로 전처리합니다. Datasets는 두 가지 주요 기능을 제공하는 경량 Python 라이브러리입니다. Hugging Face Hub에 호스팅된 다양한 공개 데이터셋을 한 줄의 코드로 불러올 수 있습니다. 텍스트, 이미지, 오디오, 비디오, PDF, NIfTI 의료 데이터를 지원하며, NumPy, Pandas, PyTorch, TensorFlow, JAX 또는 Polars 워크플로에 바로 사용할 수 있는 형태로 반환합니다. 또한 Hub 데이터셋과 CSV, JSON, Parquet, XML, WAV, JPEG, PDF 등의 형식으로 저장된 로컬 파일을 위한 전처리 도구도 제공합니다.

datasets은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

datasets은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

datasets은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. datasets의 마지막 커밋은 2026년 10월 19일입니다.

datasets은(는) 어디에 사용할 수 있나요?

공개 벤치마크 데이터셋으로 NLP 모델을 파인튜닝하거나 평가 학습 중 매우 큰 이미지 또는 음성 코퍼스를 스트리밍 모델 학습을 위해 로컬 CSV 또는 Parquet 데이터를 전처리하고 토큰화 FAISS로 임베딩의 유사도 검색 인덱스 구축

datasets는 어떻게 설치하나요?

pip으로 라이브러리 설치하기: pip install datasets Python에서 Hub의 데이터셋 불러오기: python -c "from datasets import load_dataset; squad_dataset = load_dataset('rajpurkar/squad'); print(squad_dataset['train'][0])"

datasets은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/huggingface/datasets