huggingface/datasets

这是什么？

核心功能

• 01通过一次 load_dataset() 调用加载 Hub 数据集
• 02流式模式无需完整下载即可遍历远程数据
• 03基于 Apache Arrow 的内存映射存储，大数据集无需全部载入内存
• 04map() 支持并行处理，并自动缓存结果
• 05支持 CSV、JSON、Parquet、XML、文本及音频、图像、视频、PDF、NIfTI 等多媒体文件
• 06可转换为 NumPy、Pandas、Polars、PyTorch、TensorFlow、JAX 等格式

适用场景

• 在公开基准数据集上微调或评估 NLP 模型
• 训练时流式读取超大规模图像或语音语料
• 为模型训练预处理和分词本地 CSV 或 Parquet 数据
• 基于 FAISS 为向量嵌入构建相似度搜索索引

快速上手

1. 1

   使用 pip 安装该库

   pip install datasets
2. 2

   在 Python 中从 Hub 加载数据集

   python -c "from datasets import load_dataset; squad_dataset = load_dataset('rajpurkar/squad'); print(squad_dataset['train'][0])"

使用前须知

• !部分功能需要安装可选依赖，例如音频、图像、PDF 或 NIfTI 支持。
• !Hub 上的许多数据集由第三方提供，其许可和条款因数据集而异。

标签

常见问题

datasets 是什么？

Hugging Face 推出的 Python 库，一行代码即可加载 Hub 上的公开 AI 数据集，并用基于 Arrow 的工具高效预处理。 Datasets 是一个轻量级 Python 库，主要做两件事。一是为 Hugging Face Hub 上托管的大量公开数据集提供一行代码加载的能力，涵盖文本、图像、音频、视频、PDF 以及 NIfTI 医学影像，并可直接转换为 NumPy、Pandas、PyTorch、TensorFlow、JAX 或 Polars 格式使用。二是为 Hub 数据集和本地文件（如 CSV、JSON、Parquet、XML、WAV、JPEG、PDF 等）提供预处理工具。

datasets 可以免费使用吗？用的什么许可证？

datasets 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

datasets 还在维护吗？

活跃维护中。datasets 最近一次提交是在 2026年10月19日。

datasets 适合用来做什么？

在公开基准数据集上微调或评估 NLP 模型 训练时流式读取超大规模图像或语音语料 为模型训练预处理和分词本地 CSV 或 Parquet 数据 基于 FAISS 为向量嵌入构建相似度搜索索引

datasets 怎么安装和运行？

使用 pip 安装该库: pip install datasets 在 Python 中从 Hub 加载数据集: python -c "from datasets import load_dataset; squad_dataset = load_dataset('rajpurkar/squad'); print(squad_dataset['train'][0])"

在哪里获取 datasets？

源代码和安装说明在 GitHub 上：https://github.com/huggingface/datasets