NVIDIA/cosmos

어떤 프로젝트인가요?

핵심 기능

• 01비전 및 텍스트 이해, 그라운딩, 체화형 작업 계획을 위한 Reasoner 모델
• 02멀티모달 입력에서 비디오, 사운드, 로봇 액션을 생성하는 Generator 모델
• 03서로 다른 하드웨어 등급에 맞춘 4B Edge부터 64B까지의 세 가지 모델 크기
• 04생성, 전이, 액션 정책, 추론을 다루는 실행 가능한 쿡북 노트북
• 05PAIBench, Physics-IQ, VLMEvalKit을 포함한 평가 도구 모음
• 06Diffusers, Transformers, vLLM, SGLang, TensorRT-LLM, NIM에서 실행

활용 사례

• 시뮬레이션 환경에서 자율주행 또는 로봇 학습용 합성 비디오 생성
• Jetson 같은 엣지 하드웨어에서 로봇 조작 정책 실행
• 체화형 애플리케이션을 위한 OpenAI 호환 시각 추론 API 제공
• 표준 물리 및 품질 벤치마크를 기준으로 월드 모델 출력 평가

빠른 시작

1. 1

   Python 3.13 가상 환경을 만들고 활성화합니다

   uv venv --python 3.13 --seed --managed-python && source .venv/bin/activate
2. 2

   uv로 필요한 패키지를 설치합니다

   uv pip install --torch-backend=auto "diffusers @ git+https://github.com/huggingface/diffusers.git" accelerate av cosmos_guardrail huggingface_hub imageio imageio-ffmpeg torch torchvision transformers
3. 3

   접근이 제한된 Guardrail 저장소에 액세스하려면 Hugging Face에 로그인합니다(먼저 액세스를 신청하세요)

   uvx hf@latest auth login
4. 4

   README의 Python 예제를 실행해 첫 동영상을 생성합니다

사용 전 알아둘 점

• !코드를 실행하기 전에 접근이 제한된 nvidia/Cosmos-1.0-Guardrail 저장소에 대한 액세스를 신청하고 승인을 받아야 합니다.
• !Nano 체크포인트는 파라미터가 16B이며 RTX Pro 6000, H100 또는 B200과 같은 고급 GPU가 필요합니다.
• !소스 코드와 모델에는 OpenMDW-1.1 라이선스가 적용되며, NVIDIA에 문의하면 맞춤형 라이선스를 이용할 수 있습니다.

토픽

자주 묻는 질문

cosmos은(는) 무엇인가요?

로봇, 자율주행차, 스마트 인프라의 physical AI 구축을 위한 NVIDIA의 오픈 월드 파운데이션 모델, 데이터셋 및 도구입니다. NVIDIA Cosmos는 physical AI 개발자를 위한 오픈 플랫폼입니다. 현재 모델 제품군인 Cosmos 3은 두 가지 형태로 제공되는 옴니모달 월드 모델입니다. 텍스트와 비전을 입력받아 장면 이해와 작업 계획을 위한 텍스트를 출력하는 Reasoner, 그리고 텍스트, 비전, 사운드, 액션을 입력받아 시뮬레이션, 미래 예측, 합성 데이터 생성을 위한 비디오, 사운드 또는 로봇 액션을 출력하는 Generator로 구성됩니다.

cosmos은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

cosmos은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

cosmos은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. cosmos의 마지막 커밋은 2026년 10월 16일입니다.

cosmos은(는) 어디에 사용할 수 있나요?

시뮬레이션 환경에서 자율주행 또는 로봇 학습용 합성 비디오 생성 Jetson 같은 엣지 하드웨어에서 로봇 조작 정책 실행 체화형 애플리케이션을 위한 OpenAI 호환 시각 추론 API 제공 표준 물리 및 품질 벤치마크를 기준으로 월드 모델 출력 평가

cosmos는 어떻게 설치하나요?

Python 3.13 가상 환경을 만들고 활성화합니다: uv venv --python 3.13 --seed --managed-python && source .venv/bin/activate uv로 필요한 패키지를 설치합니다: uv pip install --torch-backend=auto "diffusers @ git+https://github.com/huggingface/diffusers.git" accelerate av cosmos_guardrail huggingface_hub imageio imageio-ffmpeg torch torchvision transformers 접근이 제한된 Guardrail 저장소에 액세스하려면 Hugging Face에 로그인합니다(먼저 액세스를 신청하세요): uvx hf@latest auth login README의 Python 예제를 실행해 첫 동영상을 생성합니다

cosmos은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/NVIDIA/cosmos