Repolode
Enviar
mlcommons

mlcommons/croissant

Um formato de metadados de alto nível para datasets de machine learning, baseado em JSON-LD do schema.org, que descreve arquivos, estrutura e semântica de ML em um único arquivo.

Ver no GitHubSite
Estrelas
915
Forks
128
Issues abertas
226
Último commit
há 17 dias

O que é?

Croissant é um formato de metadados para datasets de machine learning. Ele reúne quatro camadas em um único arquivo JSON-LD: metadados do dataset, incluindo informações de responsible ML; descrições dos arquivos de recursos; a estrutura que organiza os dados brutos em registros e campos; e a semântica de ML, que descreve como os dados costumam ser usados. O formato foi projetado para funcionar com datasets existentes, em vez de substituí-los, facilitando sua descoberta, carregamento e suporte por ferramentas.

O formato estende o vocabulário Dataset do schema.org, o que permite que arquivos Croissant sejam indexados por mecanismos de busca da web. O pacote Python mlcroissant pode ler um arquivo Croissant de um caminho local ou URL, exibir seus metadados e iterar pelos registros. Várias plataformas já expõem metadados Croissant, incluindo Kaggle, Hugging Face, OpenML e Dataverse, e o TensorFlow Datasets inclui um CroissantBuilder para carregá-los.

A especificação é desenvolvida por uma Task Force do Datasets Working Group da MLCommons Association. A implementação e os exemplos estão licenciados sob Apache 2.0, e a especificação é publicada sob CC BY-ND 4.0.

Recursos principais

  • 01Reúne metadados, arquivos de recursos, estrutura de registros e semântica de ML em um único arquivo JSON-LD.
  • 02Baseia-se no vocabulário Dataset do schema.org para manter os datasets pesquisáveis na web.
  • 03Disponibiliza o pacote Python mlcroissant para carregar e inspecionar datasets Croissant.
  • 04Permite carregar dados de arquivos locais ou URLs remotas, incluindo endpoints da API do Hugging Face.
  • 05Inclui integração CroissantBuilder para o TensorFlow Datasets.

Casos de uso

  • Publicar um dataset de machine learning com metadados padronizados e legíveis por máquina.
  • Carregar um dataset descrito por um arquivo Croissant em um pipeline de TensorFlow ou PyTorch.
  • Facilitar a descoberta de datasets por mecanismos de busca e catálogos de datasets.
  • Criar ferramentas que analisem ou gerem metadados de datasets em um formato comum.

Início rápido

  1. 1

    Instale o pacote Python mlcroissant (requer Python 3.10 ou superior).

    pip install mlcroissant
  2. 2

    Carregue um conjunto de dados de exemplo e imprima os metadados e registros.

Antes de usar

  • Croissant está em desenvolvimento pela comunidade, então a API do mlcroissant pode mudar.
  • O carregamento de alguns conjuntos de dados no fluxo de trabalho de exemplo depende do TensorFlow Datasets, uma dependência extra.

Tópicos

#datasets#metadata#json-ld#schema-org#machine-learning#data-format

Perguntas frequentes

O que é croissant?
Um formato de metadados de alto nível para datasets de machine learning, baseado em JSON-LD do schema.org, que descreve arquivos, estrutura e semântica de ML em um único arquivo. Croissant é um formato de metadados para datasets de machine learning. Ele reúne quatro camadas em um único arquivo JSON-LD: metadados do dataset, incluindo informações de responsible ML; descrições dos arquivos de recursos; a estrutura que organiza os dados brutos em registros e campos; e a semântica de ML, que descreve como os dados costumam ser usados. O formato foi projetado para funcionar com datasets existentes, em vez de substituí-los, facilitando sua descoberta, carregamento e suporte por ferramentas.
croissant é gratuito? Qual é a licença?
croissant é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
croissant ainda é mantido?
Manutenção ativa. O último commit de croissant foi em 5 de out. de 2026.
Para que posso usar croissant?
Publicar um dataset de machine learning com metadados padronizados e legíveis por máquina. Carregar um dataset descrito por um arquivo Croissant em um pipeline de TensorFlow ou PyTorch. Facilitar a descoberta de datasets por mecanismos de busca e catálogos de datasets. Criar ferramentas que analisem ou gerem metadados de datasets em um formato comum.
Como instalar croissant?
Instale o pacote Python mlcroissant (requer Python 3.10 ou superior).: pip install mlcroissant Carregue um conjunto de dados de exemplo e imprima os metadados e registros.
Onde consigo croissant?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/mlcommons/croissant

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados