mlcommons/croissant

これは何？

主な機能

• 01メタデータ、リソースファイル、レコード構造、ML上の意味を1つのJSON-LDファイルにまとめます。
• 02schema.orgのDataset語彙を基盤とし、データセットをウェブ上で検索可能にします。
• 03Croissantデータセットの読み込みと確認に使えるPythonパッケージmlcroissantを提供します。
• 04Hugging Face APIエンドポイントを含む、ローカルファイルやリモートURLからの読み込みに対応します。
• 05TensorFlow Datasets向けのCroissantBuilder連携機能を備えています。

ユースケース

• 標準化された機械可読メタデータを付けて、機械学習データセットを公開する。
• Croissantファイルで記述されたデータセットをTensorFlowまたはPyTorchのパイプラインに読み込む。
• 検索エンジンやデータセットカタログからデータセットを見つけられるようにする。
• 共通形式のデータセットメタデータを解析または生成するツールを構築する。

クイックスタート

1. 1

   mlcroissant Python パッケージをインストールする（Python 3.10 以降が必要）

   pip install mlcroissant
2. 2

   サンプルデータセットを読み込み、メタデータとレコードを出力する

使う前に知っておきたいこと

• !Croissant はコミュニティ主導で開発中のため、mlcroissant API は変更される可能性があります。
• !サンプルのワークフローで一部のデータセットを読み込むには、追加の依存関係である TensorFlow Datasets が必要です。

トピック

よくある質問

croissant とは？

schema.org JSON-LDを基盤とする機械学習データセット向けの高水準メタデータ形式。ファイル、構造、ML上の意味を1つのファイルで記述します。 Croissantは、機械学習データセット向けのメタデータ形式です。責任あるMLに関する情報を含むデータセットのメタデータ、リソースファイルの説明、生データをレコードとフィールドに整理する構造、データの一般的な使われ方を示すML上の意味という4つの層を、単一のJSON-LDファイルにまとめます。既存のデータセットを置き換えるのではなく、それらと連携するよう設計されているため、データセットの発見、読み込み、ツールによるサポートが容易になります。

croissant は無料で使えますか？ライセンスは？

croissant は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

croissant は今もメンテナンスされていますか？

活発にメンテナンス中。croissant の最終コミットは 2026年10月5日 です。

croissant は何に使えますか？

標準化された機械可読メタデータを付けて、機械学習データセットを公開する。 Croissantファイルで記述されたデータセットをTensorFlowまたはPyTorchのパイプラインに読み込む。 検索エンジンやデータセットカタログからデータセットを見つけられるようにする。 共通形式のデータセットメタデータを解析または生成するツールを構築する。

croissant のインストール方法は？

mlcroissant Python パッケージをインストールする（Python 3.10 以降が必要）: pip install mlcroissant サンプルデータセットを読み込み、メタデータとレコードを出力する

croissant はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/mlcommons/croissant