Repolode
Enviar
NVIDIA

NVIDIA/cosmos-framework

Framework de entrenamiento e inferencia para los modelos de mundo omnimodales Cosmos3 de NVIDIA, con entrenamiento distribuido, varios backends de inferencia y postentrenamiento con RL.

Ver en GitHubSitio web
Estrellas
618
Forks
204
Issues abiertos
50
Último commit
ayer

¿Qué es?

Cosmos-Framework es la base de código de NVIDIA para entrenar y servir la familia de modelos de mundo omnimodales Cosmos3, que procesan conjuntamente lenguaje, imágenes, video, audio y secuencias de acciones. Todo el código está en un único paquete de Python, cosmos_framework, con puntos de entrada separados para entrenamiento e inferencia.

Para el entrenamiento, ofrece un entrenador distribuido que usa FSDP y paralelismo de tensores, de contexto y de pipeline, con checkpoints distribuidos nativos, importación y exportación de safetensors de HuggingFace y adaptadores de conjuntos de datos para los formatos JSONL, WebDataset y LeRobot. La inferencia admite los backends Diffusers, Transformers y vLLM para generar lotes sin conexión y ofrecer servicio en línea con Ray y Gradio. También incluye un pipeline de servidor y cliente para desplegar políticas de Cosmos3.

El repositorio también incluye un módulo de postentrenamiento que abarca SFT, DPO, GRPO, PPO, destilación on-policy y DiffusionNFT para generadores de difusión, con integraciones de modelos de Hugging Face como Qwen y GR00T.

Funciones clave

  • 01Entrenamiento distribuido con FSDP y paralelismo de tensores, de contexto y de pipeline.
  • 02Checkpoints nativos con importación y exportación de safetensors de HuggingFace.
  • 03Adaptadores de conjuntos de datos para los formatos JSONL, WebDataset y LeRobot.
  • 04Inferencia por lotes sin conexión y servicio en línea mediante los backends Diffusers, Transformers y vLLM.
  • 05Algoritmos de postentrenamiento, como SFT, DPO, GRPO, PPO y destilación.

Casos de uso

  • Ajustar modelos de mundo Cosmos3 con datos propios de video o robótica.
  • Ofrecer políticas de Cosmos3 para el control de robots mediante un pipeline de servidor y cliente.
  • Ejecutar aprendizaje por refuerzo o destilación en varias GPU con modelos Qwen o GR00T.

Inicio rápido

  1. 1

    Instalar las dependencias del sistema

    sudo apt-get install -y --no-install-recommends curl ffmpeg git-lfs libgl1 libglib2.0-0 libx11-dev tree wget
  2. 2

    Instalar el paquete con uv (se recomienda CUDA 13.0)

    uv sync --all-extras --group=cu130-train
  3. 3

    Activar el entorno virtual

    source .venv/bin/activate
  4. 4

    Ejecutar inferencia con una sola GPU usando un checkpoint de Cosmos3-Nano descargado

    python -m cosmos_framework.scripts.inference --parallelism-preset=latency -i "inputs/omni/t2v.json" -o outputs/omni_nano --checkpoint-path Cosmos3-Nano --seed=0

Antes de usarlo

  • Las recetas de entrenamiento se han probado con 8 GPU H100 de 80 GB, por lo que se necesita hardware con GPU de gran capacidad.
  • Se requieren GPU NVIDIA con controladores CUDA y una versión específica de uv (0.11.29).
  • La configuración incluye descargar los pesos del modelo y configurar el entorno CUDA, lo que puede resultar complejo.

En colecciones

Frameworks y entornos de aprendizaje por refuerzoProyectos de robótica e IA encarnada

Temas

#world-model#training#inference#distributed-training#diffusion#robotics#reinforcement-learning

Preguntas frecuentes

¿Qué es cosmos-framework?
Framework de entrenamiento e inferencia para los modelos de mundo omnimodales Cosmos3 de NVIDIA, con entrenamiento distribuido, varios backends de inferencia y postentrenamiento con RL. Cosmos-Framework es la base de código de NVIDIA para entrenar y servir la familia de modelos de mundo omnimodales Cosmos3, que procesan conjuntamente lenguaje, imágenes, video, audio y secuencias de acciones. Todo el código está en un único paquete de Python, cosmos_framework, con puntos de entrada separados para entrenamiento e inferencia.
¿cosmos-framework es gratuito? ¿Qué licencia tiene?
cosmos-framework es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿cosmos-framework sigue mantenido?
Mantenimiento activo. El último commit de cosmos-framework fue el 6 nov 2026.
¿Para qué puedo usar cosmos-framework?
Ajustar modelos de mundo Cosmos3 con datos propios de video o robótica. Ofrecer políticas de Cosmos3 para el control de robots mediante un pipeline de servidor y cliente. Ejecutar aprendizaje por refuerzo o destilación en varias GPU con modelos Qwen o GR00T.
¿Cómo se instala cosmos-framework?
Instalar las dependencias del sistema: sudo apt-get install -y --no-install-recommends curl ffmpeg git-lfs libgl1 libglib2.0-0 libx11-dev tree wget Instalar el paquete con uv (se recomienda CUDA 13.0): uv sync --all-extras --group=cu130-train Activar el entorno virtual: source .venv/bin/activate Ejecutar inferencia con una sola GPU usando un checkpoint de Cosmos3-Nano descargado: python -m cosmos_framework.scripts.inference --parallelism-preset=latency -i "inputs/omni/t2v.json" -o outputs/omni_nano --checkpoint-path Cosmos3-Nano --seed=0
¿Dónde consigo cosmos-framework?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/NVIDIA/cosmos-framework

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados