Um framework de serving que amplia o vLLM para executar modelos omni-modality que geram texto, imagens, áudio, vídeo e ações.
7,3 mil1,9 milPythonApache-2.0Atualizado há 22 horas
NVIDIA/cosmos
Modelos de base, datasets e ferramentas open world da NVIDIA para criar IA física em robôs, veículos autônomos e infraestrutura inteligente.
- Estrelas
- 12,077
- Forks
- 920
- Issues abertas
- 67
- Último commit
- há 4 dias
O que é?
NVIDIA Cosmos é uma plataforma aberta para desenvolvedores de IA física. Sua família atual de modelos, Cosmos 3, reúne modelos de mundo omnimodais em duas modalidades: o Reasoner, que recebe texto e imagens e gera texto para compreensão de cenas e planejamento de tarefas; e o Generator, que recebe texto, imagens, áudio e ações e gera vídeos, áudio ou ações de robôs para simulação, previsão do futuro e criação de dados sintéticos.
A família de modelos está disponível em três tamanhos: Super, com 64B, para máxima qualidade; Nano, com 16B, para equilibrar velocidade e qualidade; e Edge, com 4B, para implantação em tempo real no dispositivo, em Jetson e hardware semelhante. Checkpoints de exemplo com pós-treinamento, incluindo texto para imagem, imagem para vídeo e políticas para robôs DROID, mostram como pode ser a especialização com pós-treinamento.
Este repositório reúne os modelos, notebooks executáveis e conjuntos de avaliação, como PAIBench e Physics-IQ. O treinamento e o pós-treinamento ficam no projeto separado Cosmos Framework, enquanto a curadoria de dados e a avaliação de resultados são feitas pelo Cosmos Curator e pelo Cosmos Evaluator.
Recursos principais
- 01Modelo Reasoner para compreensão visual e textual, grounding e planejamento de tarefas incorporadas
- 02Modelo Generator para gerar vídeos, áudio e ações de robôs a partir de entradas multimodais
- 03Três tamanhos de modelo, de 4B para edge a 64B, para diferentes categorias de hardware
- 04Notebooks executáveis do cookbook que abrangem geração, transferência, políticas de ação e raciocínio
- 05Conjuntos de avaliação, incluindo PAIBench, Physics-IQ e VLMEvalKit
- 06Funciona com Diffusers, Transformers, vLLM, SGLang, TensorRT-LLM e NIM
Casos de uso
- Gerar vídeos sintéticos de direção ou treinamento de robôs em cenários simulados
- Executar uma política de manipulação de robôs em hardware edge, como Jetson
- Disponibilizar uma API de raciocínio visual compatível com OpenAI para aplicações incorporadas
- Avaliar os resultados de modelos de mundo com benchmarks padrão de física e qualidade
Início rápido
- 1
Crie e ative um ambiente virtual do Python 3.13
uv venv --python 3.13 --seed --managed-python && source .venv/bin/activate - 2
Instale os pacotes necessários com uv
uv pip install --torch-backend=auto "diffusers @ git+https://github.com/huggingface/diffusers.git" accelerate av cosmos_guardrail huggingface_hub imageio imageio-ffmpeg torch torchvision transformers - 3
Faça login no Hugging Face para acessar o repositório Guardrail com acesso restrito (solicite acesso primeiro)
uvx hf@latest auth login - 4
Execute o exemplo em Python do README para gerar seu primeiro vídeo
Antes de usar
- É necessário solicitar e obter aprovação para acessar o repositório nvidia/Cosmos-1.0-Guardrail, que tem acesso restrito, antes de executar o código.
- O checkpoint Nano tem 16B de parâmetros e precisa de uma GPU de ponta, como uma RTX Pro 6000, H100 ou B200.
- O código-fonte e os modelos usam a licença OpenMDW-1.1. É possível obter uma licença personalizada entrando em contato com a NVIDIA.
Tópicos
Perguntas frequentes
- O que é cosmos?
- Modelos de base, datasets e ferramentas open world da NVIDIA para criar IA física em robôs, veículos autônomos e infraestrutura inteligente. NVIDIA Cosmos é uma plataforma aberta para desenvolvedores de IA física. Sua família atual de modelos, Cosmos 3, reúne modelos de mundo omnimodais em duas modalidades: o Reasoner, que recebe texto e imagens e gera texto para compreensão de cenas e planejamento de tarefas; e o Generator, que recebe texto, imagens, áudio e ações e gera vídeos, áudio ou ações de robôs para simulação, previsão do futuro e criação de dados sintéticos.
- cosmos é gratuito? Qual é a licença?
- cosmos é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
- cosmos ainda é mantido?
- Manutenção ativa. O último commit de cosmos foi em 16 de out. de 2026.
- Para que posso usar cosmos?
- Gerar vídeos sintéticos de direção ou treinamento de robôs em cenários simulados Executar uma política de manipulação de robôs em hardware edge, como Jetson Disponibilizar uma API de raciocínio visual compatível com OpenAI para aplicações incorporadas Avaliar os resultados de modelos de mundo com benchmarks padrão de física e qualidade
- Como instalar cosmos?
- Crie e ative um ambiente virtual do Python 3.13: uv venv --python 3.13 --seed --managed-python && source .venv/bin/activate Instale os pacotes necessários com uv: uv pip install --torch-backend=auto "diffusers @ git+https://github.com/huggingface/diffusers.git" accelerate av cosmos_guardrail huggingface_hub imageio imageio-ffmpeg torch torchvision transformers Faça login no Hugging Face para acessar o repositório Guardrail com acesso restrito (solicite acesso primeiro): uvx hf@latest auth login Execute o exemplo em Python do README para gerar seu primeiro vídeo
- Onde consigo cosmos?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/NVIDIA/cosmos
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Engine unificado de treinamento para modelos multimodais, com suporte a treinamento de VLMs, modelos de difusão e LLMs usando FSDP2, Muon e kernels Liger.
83238PythonSem licençaAtualizado anteontem
Modelos multimodais de código aberto (MiniCPM-V 4.7 e MiniCPM-o 4.5) para entender imagens, vídeos, documentos e fala em hardware local e dispositivos móveis.
26,9 mil2,1 milPythonApache-2.0Atualizado há 4 dias
Arquivos de skill para orientar assistentes de IA na criação de prompts para o modelo de geração de vídeos Seedance 2.0 da ByteDance.
4,3 mil350MITAtualizado mês passado
Monorepositório de pesquisa da NVIDIA com quatro projetos para geração de vídeos longos, modelos de mundo e modelos de mundo-ação para robótica, cada um em seu próprio diretório.
2,8 mil266PythonApache-2.0Atualizado ontem
NEO é uma família de modelos nativos de visão e linguagem que processam pixels e palavras em uma única arquitetura densa sem encoder, com código de treinamento e avaliação.
90433PythonApache-2.0Atualizado há 3 meses