Framework de serving que amplía vLLM para ejecutar modelos omnimodales que generan texto, imágenes, audio, video y acciones.
7,3 mil1,9 milPythonApache-2.0Actualizado hace 22 horas
NVIDIA/cosmos
Modelos fundacionales, conjuntos de datos y herramientas de NVIDIA para crear IA física en robots, vehículos autónomos e infraestructura inteligente.
- Estrellas
- 12,077
- Forks
- 920
- Issues abiertos
- 67
- Último commit
- hace 4 días
¿Qué es?
NVIDIA Cosmos es una plataforma abierta para desarrolladores de IA física. Su familia de modelos actual, Cosmos 3, consta de modelos de mundo omnimodales disponibles en dos variantes: Reasoner, que recibe texto e imágenes y genera texto para comprender escenas y planificar tareas, y Generator, que recibe texto, imágenes, sonido y acciones, y genera video, sonido o acciones robóticas para simulación, predicción del futuro y datos sintéticos.
La familia de modelos está disponible en tres tamaños: Super, de 64B, para la máxima calidad; Nano, de 16B, para equilibrar velocidad y calidad; y Edge, de 4B, para implementaciones en el dispositivo y en tiempo real en Jetson y hardware similar. Los checkpoints de ejemplo con postentrenamiento, incluidos los de texto a imagen, imagen a video y políticas robóticas DROID, muestran lo que se puede lograr al especializar los modelos mediante postentrenamiento.
Este repositorio contiene los modelos, notebooks ejecutables y conjuntos de evaluación como PAIBench y Physics-IQ. El entrenamiento y el postentrenamiento se realizan en el proyecto independiente Cosmos Framework, mientras que la curación de datos y la evaluación de resultados están a cargo de Cosmos Curator y Cosmos Evaluator.
Funciones clave
- 01Modelo Reasoner para comprender texto e imágenes, fundamentar la interpretación y planificar tareas corporizadas
- 02Modelo Generator para generar video, sonido y acciones robóticas a partir de entradas multimodales
- 03Tres tamaños de modelo, desde 4B para dispositivos edge hasta 64B, para distintos niveles de hardware
- 04Notebooks ejecutables de la guía práctica sobre generación, transferencia, políticas de acción y razonamiento
- 05Conjuntos de evaluación que incluyen PAIBench, Physics-IQ y VLMEvalKit
- 06Funciona con Diffusers, Transformers, vLLM, SGLang, TensorRT-LLM y NIM
Casos de uso
- Generar videos sintéticos de conducción o entrenamiento robótico en escenarios simulados
- Ejecutar una política de manipulación robótica en hardware edge, como Jetson
- Ofrecer una API de razonamiento visual compatible con OpenAI para aplicaciones corporizadas
- Evaluar los resultados de modelos de mundo con pruebas de referencia estándar de física y calidad
Inicio rápido
- 1
Crea un entorno virtual de Python 3.13 y actívalo
uv venv --python 3.13 --seed --managed-python && source .venv/bin/activate - 2
Instala los paquetes necesarios con uv
uv pip install --torch-backend=auto "diffusers @ git+https://github.com/huggingface/diffusers.git" accelerate av cosmos_guardrail huggingface_hub imageio imageio-ffmpeg torch torchvision transformers - 3
Inicia sesión en Hugging Face para acceder al repositorio restringido Guardrail (solicita acceso primero)
uvx hf@latest auth login - 4
Ejecuta el ejemplo de Python del README para generar tu primer vídeo
Antes de usarlo
- Debes solicitar y obtener aprobación para acceder al repositorio restringido nvidia/Cosmos-1.0-Guardrail antes de ejecutar el código.
- El checkpoint Nano tiene 16B de parámetros y requiere una GPU de gama alta, como una RTX Pro 6000, H100 o B200.
- El código fuente y los modelos utilizan la licencia OpenMDW-1.1. Puedes solicitar una licencia personalizada poniéndote en contacto con NVIDIA.
Temas
Preguntas frecuentes
- ¿Qué es cosmos?
- Modelos fundacionales, conjuntos de datos y herramientas de NVIDIA para crear IA física en robots, vehículos autónomos e infraestructura inteligente. NVIDIA Cosmos es una plataforma abierta para desarrolladores de IA física. Su familia de modelos actual, Cosmos 3, consta de modelos de mundo omnimodales disponibles en dos variantes: Reasoner, que recibe texto e imágenes y genera texto para comprender escenas y planificar tareas, y Generator, que recibe texto, imágenes, sonido y acciones, y genera video, sonido o acciones robóticas para simulación, predicción del futuro y datos sintéticos.
- ¿cosmos es gratuito? ¿Qué licencia tiene?
- cosmos es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿cosmos sigue mantenido?
- Mantenimiento activo. El último commit de cosmos fue el 16 oct 2026.
- ¿Para qué puedo usar cosmos?
- Generar videos sintéticos de conducción o entrenamiento robótico en escenarios simulados Ejecutar una política de manipulación robótica en hardware edge, como Jetson Ofrecer una API de razonamiento visual compatible con OpenAI para aplicaciones corporizadas Evaluar los resultados de modelos de mundo con pruebas de referencia estándar de física y calidad
- ¿Cómo se instala cosmos?
- Crea un entorno virtual de Python 3.13 y actívalo: uv venv --python 3.13 --seed --managed-python && source .venv/bin/activate Instala los paquetes necesarios con uv: uv pip install --torch-backend=auto "diffusers @ git+https://github.com/huggingface/diffusers.git" accelerate av cosmos_guardrail huggingface_hub imageio imageio-ffmpeg torch torchvision transformers Inicia sesión en Hugging Face para acceder al repositorio restringido Guardrail (solicita acceso primero): uvx hf@latest auth login Ejecuta el ejemplo de Python del README para generar tu primer vídeo
- ¿Dónde consigo cosmos?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/NVIDIA/cosmos
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Motor de entrenamiento unificado para modelos multimodales, compatible con VLM, difusión y entrenamiento de LLM con FSDP2, Muon y kernels de Liger.
83238PythonSin licenciaActualizado anteayer
Modelos multimodales de código abierto (MiniCPM-V 4.7 y MiniCPM-o 4.5) para comprender imágenes, videos, documentos y voz en hardware local y dispositivos.
26,9 mil2,1 milPythonApache-2.0Actualizado hace 4 días
Archivos de skills para agentes que guían a asistentes de IA en la redacción de prompts para el modelo de generación de video Seedance 2.0 de ByteDance.
4,3 mil350MITActualizado el mes pasado
Monorepositorio de investigación de NVIDIA con cuatro proyectos para generar videos largos, crear modelos de mundo y modelos de mundo-acción para robots, cada uno en su propio directorio.
2,8 mil266PythonApache-2.0Actualizado ayer
NEO es una familia de modelos nativos de visión y lenguaje que procesan píxeles y palabras en una arquitectura densa sin encoder, e incluye código de entrenamiento y evaluación.
90433PythonApache-2.0Actualizado hace 3 meses