Repolode
Enviar
mlcommons

mlcommons/croissant

Formato de metadatos de alto nivel para conjuntos de datos de machine learning, basado en schema.org JSON-LD, que describe archivos, estructura y semántica de ML en un solo archivo.

Ver en GitHubSitio web
Estrellas
915
Forks
128
Issues abiertos
226
Último commit
hace 17 días

¿Qué es?

Croissant es un formato de metadatos para conjuntos de datos de machine learning. Combina cuatro capas en un único archivo JSON-LD: metadatos del conjunto de datos, incluida información sobre ML responsable; descripciones de los archivos de recursos; la estructura que organiza los datos sin procesar en registros y campos; y la semántica de ML, que describe cómo se suelen utilizar los datos. Está diseñado para funcionar con conjuntos de datos existentes, no para reemplazarlos, y así facilitar su búsqueda, carga y compatibilidad con herramientas.

El formato amplía el vocabulario Dataset de schema.org, lo que permite que los motores de búsqueda web indexen los archivos Croissant. El paquete de Python mlcroissant puede leer un archivo Croissant desde una ruta local o una URL, mostrar sus metadatos e iterar sobre los registros. Varias plataformas ya ofrecen metadatos Croissant, entre ellas Kaggle, Hugging Face, OpenML y Dataverse, y TensorFlow Datasets incluye un CroissantBuilder para cargarlos.

La especificación está desarrollada por un grupo de trabajo de la Datasets Working Group de la MLCommons Association. La implementación y los ejemplos tienen licencia Apache 2.0, y la especificación se publica bajo la licencia CC BY-ND 4.0.

Funciones clave

  • 01Combina metadatos, archivos de recursos, estructura de registros y semántica de ML en un único archivo JSON-LD.
  • 02Se basa en el vocabulario Dataset de schema.org para que los conjuntos de datos sigan siendo localizables en la web.
  • 03Ofrece el paquete de Python mlcroissant para cargar e inspeccionar conjuntos de datos Croissant.
  • 04Permite cargar datos desde archivos locales o URL remotas, incluidos los endpoints de la API de Hugging Face.
  • 05Incluye una integración CroissantBuilder para TensorFlow Datasets.

Casos de uso

  • Publicar un conjunto de datos de machine learning con metadatos estándar legibles por máquinas.
  • Cargar en un pipeline de TensorFlow o PyTorch un conjunto de datos descrito mediante un archivo Croissant.
  • Facilitar que los motores de búsqueda y los catálogos de conjuntos de datos encuentren conjuntos de datos.
  • Crear herramientas que analicen o generen metadatos de conjuntos de datos en un formato común.

Inicio rápido

  1. 1

    Instala el paquete de Python mlcroissant (requiere Python 3.10 o superior).

    pip install mlcroissant
  2. 2

    Carga un conjunto de datos de ejemplo e imprime sus metadatos y registros.

Antes de usarlo

  • Croissant está en desarrollo por la comunidad, por lo que la API de mlcroissant puede cambiar.
  • La carga de algunos conjuntos de datos en el flujo de trabajo de ejemplo depende de TensorFlow Datasets, una dependencia adicional.

Temas

#datasets#metadata#json-ld#schema-org#machine-learning#data-format

Preguntas frecuentes

¿Qué es croissant?
Formato de metadatos de alto nivel para conjuntos de datos de machine learning, basado en schema.org JSON-LD, que describe archivos, estructura y semántica de ML en un solo archivo. Croissant es un formato de metadatos para conjuntos de datos de machine learning. Combina cuatro capas en un único archivo JSON-LD: metadatos del conjunto de datos, incluida información sobre ML responsable; descripciones de los archivos de recursos; la estructura que organiza los datos sin procesar en registros y campos; y la semántica de ML, que describe cómo se suelen utilizar los datos. Está diseñado para funcionar con conjuntos de datos existentes, no para reemplazarlos, y así facilitar su búsqueda, carga y compatibilidad con herramientas.
¿croissant es gratuito? ¿Qué licencia tiene?
croissant es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿croissant sigue mantenido?
Mantenimiento activo. El último commit de croissant fue el 5 oct 2026.
¿Para qué puedo usar croissant?
Publicar un conjunto de datos de machine learning con metadatos estándar legibles por máquinas. Cargar en un pipeline de TensorFlow o PyTorch un conjunto de datos descrito mediante un archivo Croissant. Facilitar que los motores de búsqueda y los catálogos de conjuntos de datos encuentren conjuntos de datos. Crear herramientas que analicen o generen metadatos de conjuntos de datos en un formato común.
¿Cómo se instala croissant?
Instala el paquete de Python mlcroissant (requiere Python 3.10 o superior).: pip install mlcroissant Carga un conjunto de datos de ejemplo e imprime sus metadatos y registros.
¿Dónde consigo croissant?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/mlcommons/croissant

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados