huggingface/datasets

Что это?

Ключевые возможности

• 01Загрузка датасетов с Hub одним вызовом load_dataset()
• 02В режиме streaming удалённые данные перебираются без полной загрузки
• 03Хранение в Apache Arrow с memory mapping позволяет не загружать большие датасеты в RAM
• 04Параллельная обработка через map() с автоматическим кэшированием результатов
• 05Чтение CSV, JSON, Parquet, XML, текстовых и мультимедийных файлов, включая аудио, изображения, видео, PDF и NIfTI
• 06Преобразование данных в форматы NumPy, Pandas, Polars, PyTorch, TensorFlow и JAX

Сценарии использования

• Дообучение или оценка NLP-модели на публичном бенчмарк-датасете
• Потоковая обработка очень большого корпуса изображений или речи во время обучения
• Предобработка и токенизация локальных данных CSV или Parquet для обучения модели
• Создание индекса для поиска по сходству на основе эмбеддингов с помощью FAISS

Быстрый старт

1. 1

   Установите библиотеку с помощью pip

   pip install datasets
2. 2

   Загрузите набор данных с Hub в Python

   python -c "from datasets import load_dataset; squad_dataset = load_dataset('rajpurkar/squad'); print(squad_dataset['train'][0])"

Что важно знать

• !Для некоторых функций нужны дополнительные компоненты, например поддержка аудио, изображений, PDF или NIfTI.
• !Многие наборы данных на Hub предоставлены третьими сторонами, поэтому лицензии и условия использования различаются для каждого набора.

Темы

Частые вопросы

Что такое datasets?

Python-библиотека Hugging Face для загрузки публичных AI-датасетов с Hub одной строкой и эффективной предобработки с помощью инструментов на базе Arrow. Datasets — лёгкая Python-библиотека с двумя основными задачами. Она позволяет одной строкой загружать множество публичных датасетов с Hugging Face Hub, включая текстовые, графические, аудио- и видеоданные, PDF и медицинские данные NIfTI, а затем использовать их в рабочих процессах с NumPy, Pandas, PyTorch, TensorFlow, JAX или Polars. Кроме того, в библиотеке есть инструменты предобработки датасетов с Hub и локальных файлов в таких форматах, как CSV, JSON, Parquet, XML, WAV, JPEG и PDF.

datasets можно использовать бесплатно? Какая у него лицензия?

datasets распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

datasets всё ещё поддерживается?

Активно поддерживается. Последний коммит в datasets — 19 окт. 2026 г..

Для чего можно использовать datasets?

Дообучение или оценка NLP-модели на публичном бенчмарк-датасете Потоковая обработка очень большого корпуса изображений или речи во время обучения Предобработка и токенизация локальных данных CSV или Parquet для обучения модели Создание индекса для поиска по сходству на основе эмбеддингов с помощью FAISS

Как установить datasets?

Установите библиотеку с помощью pip: pip install datasets Загрузите набор данных с Hub в Python: python -c "from datasets import load_dataset; squad_dataset = load_dataset('rajpurkar/squad'); print(squad_dataset['train'][0])"

Где скачать datasets?

Исходный код и инструкции по установке — на GitHub: https://github.com/huggingface/datasets