huggingface/datasets

これは何？

主な機能

• 01load_dataset()を1回呼び出すだけでHub上のデータセットを読み込める
• 02ストリーミングモードで、データをすべてダウンロードせずにリモートデータを順次処理できる
• 03Apache Arrowのメモリマッピングストレージにより、大規模なデータセットをRAMに載せずに扱える
• 04map()による並列処理と、結果の自動キャッシュに対応
• 05CSV、JSON、Parquet、XML、テキストのほか、音声、画像、動画、PDF、NIfTIなどのファイルを読み込める
• 06NumPy、Pandas、Polars、PyTorch、TensorFlow、JAX形式に変換できる

ユースケース

• 公開ベンチマークデータセットを使ってNLPモデルをファインチューニングまたは評価する
• 学習中に大規模な画像コーパスや音声コーパスをストリーミングする
• モデル学習向けにローカルのCSVやParquetデータを前処理・トークナイズする
• FAISSを使って埋め込みベクトルの類似検索インデックスを構築する

クイックスタート

1. 1

   pipでライブラリをインストールする

   pip install datasets
2. 2

   PythonでHubからデータセットを読み込む

   python -c "from datasets import load_dataset; squad_dataset = load_dataset('rajpurkar/squad'); print(squad_dataset['train'][0])"

使う前に知っておきたいこと

• !音声、画像、PDF、NIfTIのサポートなど、一部の機能にはオプションの追加パッケージが必要です。
• !Hub上のデータセットの多くはサードパーティが提供しているため、ライセンスや利用条件はデータセットごとに異なります。

トピック

よくある質問

datasets とは？

Hugging FaceのPythonライブラリ。Hub上の公開AIデータセットを1行で読み込み、Arrowベースのツールで効率よく前処理できます。 Datasetsは、主に2つの役割を担う軽量なPythonライブラリです。Hugging Face Hubで公開されている多くのデータセットを1行で読み込めます。テキスト、画像、音声、動画、PDF、NIfTI形式の医療データに対応し、NumPy、Pandas、PyTorch、TensorFlow、JAX、Polarsでそのまま扱える形で返します。また、Hub上のデータセットだけでなく、CSV、JSON、Parquet、XML、WAV、JPEG、PDFなどの形式のローカルファイル向けにも前処理ツールを提供します。

datasets は無料で使えますか？ライセンスは？

datasets は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

datasets は今もメンテナンスされていますか？

活発にメンテナンス中。datasets の最終コミットは 2026年10月19日 です。

datasets は何に使えますか？

公開ベンチマークデータセットを使ってNLPモデルをファインチューニングまたは評価する 学習中に大規模な画像コーパスや音声コーパスをストリーミングする モデル学習向けにローカルのCSVやParquetデータを前処理・トークナイズする FAISSを使って埋め込みベクトルの類似検索インデックスを構築する

datasets のインストール方法は？

pipでライブラリをインストールする: pip install datasets PythonでHubからデータセットを読み込む: python -c "from datasets import load_dataset; squad_dataset = load_dataset('rajpurkar/squad'); print(squad_dataset['train'][0])"

datasets はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/huggingface/datasets