NVIDIA/cosmos-framework

어떤 프로젝트인가요?

핵심 기능

• 01FSDP, 텐서·컨텍스트·파이프라인 병렬화를 지원하는 분산 학습.
• 02HuggingFace safetensors 가져오기 및 내보내기를 지원하는 네이티브 체크포인트.
• 03JSONL, WebDataset, LeRobot 형식용 데이터셋 어댑터.
• 04Diffusers, Transformers, vLLM 백엔드를 통한 오프라인 배치 및 온라인 서빙 추론.
• 05SFT, DPO, GRPO, PPO 및 증류를 포함한 후처리 학습 알고리즘.

활용 사례

• 사용자 정의 비디오 또는 로봇 데이터로 Cosmos3 월드 모델 미세 조정.
• 서버-클라이언트 파이프라인을 통해 로봇 제어용 Cosmos3 정책 서빙.
• Qwen 또는 GR00T 모델에서 멀티 GPU 강화 학습이나 증류 실행.

빠른 시작

1. 1

   시스템 종속 항목 설치

   sudo apt-get install -y --no-install-recommends curl ffmpeg git-lfs libgl1 libglib2.0-0 libx11-dev tree wget
2. 2

   uv로 패키지 설치(CUDA 13.0 권장)

   uv sync --all-extras --group=cu130-train
3. 3

   가상 환경 활성화

   source .venv/bin/activate
4. 4

   다운로드한 Cosmos3-Nano 체크포인트로 단일 GPU 추론 실행

   python -m cosmos_framework.scripts.inference --parallelism-preset=latency -i "inputs/omni/t2v.json" -o outputs/omni_nano --checkpoint-path Cosmos3-Nano --seed=0

사용 전 알아둘 점

• !학습 레시피는 H100 80GB GPU 8개에서 테스트되었으므로 고성능 GPU 하드웨어가 필요합니다.
• !CUDA 드라이버가 설치된 NVIDIA GPU와 특정 uv 버전(0.11.29)이 필요합니다.
• !설정 과정에 모델 가중치 다운로드와 CUDA 환경 구성이 포함되어 복잡할 수 있습니다.

포함된 컬렉션

토픽

자주 묻는 질문

cosmos-framework은(는) 무엇인가요?

분산 학습, 여러 추론 백엔드, RL 후처리 학습을 지원하는 NVIDIA Cosmos3 옴니모달 월드 모델 학습 및 추론 프레임워크입니다. Cosmos-Framework는 언어, 이미지, 비디오, 오디오, 액션 시퀀스를 함께 처리하는 Cosmos3 계열 옴니모달 월드 모델을 학습하고 서빙하기 위한 NVIDIA의 코드베이스입니다. 모든 코드는 학습과 추론을 위한 별도 진입점을 갖춘 단일 Python 패키지 cosmos_framework에 들어 있습니다.

cosmos-framework은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

cosmos-framework은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

cosmos-framework은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. cosmos-framework의 마지막 커밋은 2026년 11월 6일입니다.

cosmos-framework은(는) 어디에 사용할 수 있나요?

사용자 정의 비디오 또는 로봇 데이터로 Cosmos3 월드 모델 미세 조정. 서버-클라이언트 파이프라인을 통해 로봇 제어용 Cosmos3 정책 서빙. Qwen 또는 GR00T 모델에서 멀티 GPU 강화 학습이나 증류 실행.

cosmos-framework는 어떻게 설치하나요?

시스템 종속 항목 설치: sudo apt-get install -y --no-install-recommends curl ffmpeg git-lfs libgl1 libglib2.0-0 libx11-dev tree wget uv로 패키지 설치(CUDA 13.0 권장): uv sync --all-extras --group=cu130-train 가상 환경 활성화: source .venv/bin/activate 다운로드한 Cosmos3-Nano 체크포인트로 단일 GPU 추론 실행: python -m cosmos_framework.scripts.inference --parallelism-preset=latency -i "inputs/omni/t2v.json" -o outputs/omni_nano --checkpoint-path Cosmos3-Nano --seed=0

cosmos-framework은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/NVIDIA/cosmos-framework