mlcommons/croissant

Что это?

Ключевые возможности

• 01Объединяет метаданные, файлы ресурсов, структуру записей и семантику ML в одном JSON-LD-файле.
• 02Использует словарь Dataset из schema.org, чтобы наборы данных можно было находить в интернете.
• 03Предоставляет пакет Python mlcroissant для загрузки и изучения наборов данных Croissant.
• 04Поддерживает загрузку из локальных файлов и удалённых URL, включая API-эндпоинты Hugging Face.
• 05Включает интеграцию CroissantBuilder для TensorFlow Datasets.

Сценарии использования

• Публикация набора данных для машинного обучения со стандартными машиночитаемыми метаданными.
• Загрузка набора данных, описанного файлом Croissant, в конвейер TensorFlow или PyTorch.
• Повышение доступности наборов данных для поиска через поисковые системы и каталоги наборов данных.
• Создание инструментов для разбора и генерации метаданных наборов данных в едином формате.

Быстрый старт

1. 1

   Установите пакет Python mlcroissant (требуется Python 3.10 или новее).

   pip install mlcroissant
2. 2

   Загрузите пример набора данных и выведите его метаданные и записи.

Что важно знать

• !Croissant разрабатывается сообществом, поэтому API mlcroissant может измениться.
• !Загрузка некоторых наборов данных в примере рабочего процесса зависит от TensorFlow Datasets — дополнительной зависимости.

Темы

Частые вопросы

Что такое croissant?

Формат метаданных высокого уровня для наборов данных машинного обучения на основе schema.org JSON-LD: описывает файлы, структуру и семантику ML в одном файле. Croissant — формат метаданных для наборов данных машинного обучения. Он объединяет в одном JSON-LD-файле четыре уровня: метаданные набора данных, включая сведения об ответственном использовании ML; описания файлов ресурсов; структуру, которая организует исходные данные в записи и поля; и семантику ML, описывающую типичное использование данных. Формат рассчитан на работу с существующими наборами данных, а не на их замену, чтобы их было проще находить, загружать и поддерживать с помощью инструментов.

croissant можно использовать бесплатно? Какая у него лицензия?

croissant распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

croissant всё ещё поддерживается?

Активно поддерживается. Последний коммит в croissant — 5 окт. 2026 г..

Для чего можно использовать croissant?

Публикация набора данных для машинного обучения со стандартными машиночитаемыми метаданными. Загрузка набора данных, описанного файлом Croissant, в конвейер TensorFlow или PyTorch. Повышение доступности наборов данных для поиска через поисковые системы и каталоги наборов данных. Создание инструментов для разбора и генерации метаданных наборов данных в едином формате.

Как установить croissant?

Установите пакет Python mlcroissant (требуется Python 3.10 или новее).: pip install mlcroissant Загрузите пример набора данных и выведите его метаданные и записи.

Где скачать croissant?

Исходный код и инструкции по установке — на GitHub: https://github.com/mlcommons/croissant