Repolode
Enviar
NVIDIA

NVIDIA/cosmos-framework

Framework de treinamento e inferência para os modelos de mundo omnimodais Cosmos3 da NVIDIA, com treinamento distribuído, vários backends de inferência e pós-treinamento com RL.

Ver no GitHubSite
Estrelas
618
Forks
204
Issues abertas
50
Último commit
ontem

O que é?

Cosmos-Framework é a base de código da NVIDIA para treinar e servir a família de modelos de mundo omnimodais Cosmos3, que processam em conjunto linguagem, imagens, vídeo, áudio e sequências de ações. Todo o código fica em um único pacote Python, cosmos_framework, com pontos de entrada separados para treinamento e inferência.

Para treinamento, o framework oferece um trainer distribuído que usa FSDP e paralelismo de tensor, contexto e pipeline, além de checkpoints distribuídos nativos, importação e exportação de safetensors do HuggingFace e adaptadores de datasets nos formatos JSONL, WebDataset e LeRobot. A inferência oferece suporte aos backends Diffusers, Transformers e vLLM para geração em lote offline e serving online com Ray e Gradio. Também inclui um pipeline cliente-servidor para implantar políticas do Cosmos3.

O repositório também inclui um módulo de pós-treinamento com SFT, DPO, GRPO, PPO, destilação on-policy e DiffusionNFT para geradores de difusão, além de integrações com modelos do Hugging Face, como Qwen e GR00T.

Recursos principais

  • 01Treinamento distribuído com FSDP e paralelismo de tensor, contexto e pipeline.
  • 02Checkpoints nativos com importação e exportação de safetensors do HuggingFace.
  • 03Adaptadores de datasets nos formatos JSONL, WebDataset e LeRobot.
  • 04Inferência para geração em lote offline e serving online, usando os backends Diffusers, Transformers e vLLM.
  • 05Algoritmos de pós-treinamento, incluindo SFT, DPO, GRPO, PPO e destilação.

Casos de uso

  • Ajustar modelos de mundo Cosmos3 com dados personalizados de vídeo ou robótica.
  • Servir políticas do Cosmos3 para controle de robôs por meio de um pipeline cliente-servidor.
  • Executar aprendizado por reforço ou destilação em várias GPUs com modelos Qwen ou GR00T.

Início rápido

  1. 1

    Instalar as dependências do sistema

    sudo apt-get install -y --no-install-recommends curl ffmpeg git-lfs libgl1 libglib2.0-0 libx11-dev tree wget
  2. 2

    Instalar o pacote com uv (CUDA 13.0 recomendado)

    uv sync --all-extras --group=cu130-train
  3. 3

    Ativar o ambiente virtual

    source .venv/bin/activate
  4. 4

    Executar inferência em uma única GPU com um checkpoint do Cosmos3-Nano baixado

    python -m cosmos_framework.scripts.inference --parallelism-preset=latency -i "inputs/omni/t2v.json" -o outputs/omni_nano --checkpoint-path Cosmos3-Nano --seed=0

Antes de usar

  • As receitas de treinamento foram testadas em 8 GPUs H100 de 80 GB, portanto é necessário hardware com GPUs de alto desempenho.
  • Requer GPUs NVIDIA com drivers CUDA e uma versão específica do uv (0.11.29).
  • A configuração envolve baixar os pesos do modelo e configurar o ambiente CUDA, o que pode ser complexo.

Em coleções

Frameworks e ambientes de aprendizado por reforçoProjetos de robótica e IA corporificada

Tópicos

#world-model#training#inference#distributed-training#diffusion#robotics#reinforcement-learning

Perguntas frequentes

O que é cosmos-framework?
Framework de treinamento e inferência para os modelos de mundo omnimodais Cosmos3 da NVIDIA, com treinamento distribuído, vários backends de inferência e pós-treinamento com RL. Cosmos-Framework é a base de código da NVIDIA para treinar e servir a família de modelos de mundo omnimodais Cosmos3, que processam em conjunto linguagem, imagens, vídeo, áudio e sequências de ações. Todo o código fica em um único pacote Python, cosmos_framework, com pontos de entrada separados para treinamento e inferência.
cosmos-framework é gratuito? Qual é a licença?
cosmos-framework é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
cosmos-framework ainda é mantido?
Manutenção ativa. O último commit de cosmos-framework foi em 6 de nov. de 2026.
Para que posso usar cosmos-framework?
Ajustar modelos de mundo Cosmos3 com dados personalizados de vídeo ou robótica. Servir políticas do Cosmos3 para controle de robôs por meio de um pipeline cliente-servidor. Executar aprendizado por reforço ou destilação em várias GPUs com modelos Qwen ou GR00T.
Como instalar cosmos-framework?
Instalar as dependências do sistema: sudo apt-get install -y --no-install-recommends curl ffmpeg git-lfs libgl1 libglib2.0-0 libx11-dev tree wget Instalar o pacote com uv (CUDA 13.0 recomendado): uv sync --all-extras --group=cu130-train Ativar o ambiente virtual: source .venv/bin/activate Executar inferência em uma única GPU com um checkpoint do Cosmos3-Nano baixado: python -m cosmos_framework.scripts.inference --parallelism-preset=latency -i "inputs/omni/t2v.json" -o outputs/omni_nano --checkpoint-path Cosmos3-Nano --seed=0
Onde consigo cosmos-framework?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/NVIDIA/cosmos-framework

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados