mlcommons/croissant

어떤 프로젝트인가요?

핵심 기능

• 01메타데이터, 리소스 파일, 레코드 구조, ML 의미를 하나의 JSON-LD 파일에 담습니다.
• 02schema.org Dataset 어휘를 기반으로 하여 데이터셋을 웹에서 검색할 수 있도록 합니다.
• 03Croissant 데이터셋을 로드하고 살펴볼 수 있는 mlcroissant Python 패키지를 제공합니다.
• 04Hugging Face API 엔드포인트를 포함해 로컬 파일이나 원격 URL에서 로드할 수 있습니다.
• 05TensorFlow Datasets용 CroissantBuilder 통합을 제공합니다.

활용 사례

• 표준화된 기계 판독 가능 메타데이터를 사용해 머신러닝 데이터셋을 게시합니다.
• Croissant 파일에 기술된 데이터셋을 TensorFlow 또는 PyTorch 파이프라인에 로드합니다.
• 검색 엔진과 데이터셋 카탈로그에서 데이터셋을 쉽게 찾을 수 있도록 합니다.
• 공통 형식의 데이터셋 메타데이터를 파싱하거나 생성하는 도구를 개발합니다.

빠른 시작

1. 1

   mlcroissant Python 패키지를 설치합니다(Python 3.10 이상 필요).

   pip install mlcroissant
2. 2

   예제 데이터셋을 로드하고 메타데이터와 레코드를 출력합니다.

사용 전 알아둘 점

• !Croissant는 커뮤니티 주도로 개발 중이므로 mlcroissant API가 변경될 수 있습니다.
• !예제 워크플로에서 일부 데이터셋을 로드하려면 추가 종속성인 TensorFlow Datasets가 필요합니다.

토픽

자주 묻는 질문

croissant은(는) 무엇인가요?

schema.org JSON-LD를 기반으로 파일, 구조, ML 의미를 한 파일에 설명하는 머신러닝 데이터셋용 고수준 메타데이터 형식입니다. Croissant는 머신러닝 데이터셋을 위한 메타데이터 형식입니다. 책임 있는 ML 관련 정보를 포함한 데이터셋 메타데이터, 리소스 파일 설명, 원시 데이터를 레코드와 필드로 구성하는 구조, 데이터의 일반적인 사용 방식을 설명하는 ML 의미라는 네 가지 계층을 하나의 JSON-LD 파일에 담습니다. 기존 데이터셋을 대체하지 않고 함께 사용할 수 있도록 설계되어, 데이터셋을 더 쉽게 찾고 로드하며 도구에서 지원할 수 있습니다.

croissant은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

croissant은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

croissant은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. croissant의 마지막 커밋은 2026년 10월 5일입니다.

croissant은(는) 어디에 사용할 수 있나요?

표준화된 기계 판독 가능 메타데이터를 사용해 머신러닝 데이터셋을 게시합니다. Croissant 파일에 기술된 데이터셋을 TensorFlow 또는 PyTorch 파이프라인에 로드합니다. 검색 엔진과 데이터셋 카탈로그에서 데이터셋을 쉽게 찾을 수 있도록 합니다. 공통 형식의 데이터셋 메타데이터를 파싱하거나 생성하는 도구를 개발합니다.

croissant는 어떻게 설치하나요?

mlcroissant Python 패키지를 설치합니다(Python 3.10 이상 필요).: pip install mlcroissant 예제 데이터셋을 로드하고 메타데이터와 레코드를 출력합니다.

croissant은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/mlcommons/croissant