NVIDIA/cosmos

Что это?

Ключевые возможности

• 01Модель Reasoner для понимания визуальных данных и текста, привязки к объектам и планирования задач с учётом физического взаимодействия
• 02Модель Generator для генерации видео, звука и действий робота на основе мультимодальных входных данных
• 03Три размера моделей — от 4B для периферийных устройств до 64B — для разных классов оборудования
• 04Запускаемые кулинарные ноутбуки с примерами генерации, переноса, политик действий и рассуждений
• 05Наборы для оценки, включая PAIBench, Physics-IQ и VLMEvalKit
• 06Работает с Diffusers, Transformers, vLLM, SGLang, TensorRT-LLM и NIM

Сценарии использования

• Генерация синтетических обучающих видео для автономного транспорта или роботов в симулируемых сценариях
• Запуск политики манипулирования робота на периферийном оборудовании, например Jetson
• Развёртывание API визуального рассуждения, совместимого с OpenAI, для приложений с физическим взаимодействием
• Оценка результатов моделей мира по стандартным тестам на понимание физики и качество

Быстрый старт

1. 1

   Создайте и активируйте виртуальное окружение Python 3.13

   uv venv --python 3.13 --seed --managed-python && source .venv/bin/activate
2. 2

   Установите необходимые пакеты с помощью uv

   uv pip install --torch-backend=auto "diffusers @ git+https://github.com/huggingface/diffusers.git" accelerate av cosmos_guardrail huggingface_hub imageio imageio-ffmpeg torch torchvision transformers
3. 3

   Войдите в Hugging Face, чтобы получить доступ к закрытому репозиторию Guardrail (сначала запросите доступ)

   uvx hf@latest auth login
4. 4

   Запустите пример Python из README, чтобы создать первое видео

Что важно знать

• !Перед запуском кода необходимо запросить доступ к закрытому репозиторию nvidia/Cosmos-1.0-Guardrail и получить одобрение.
• !Чекпойнт Nano содержит 16B параметров и требует высокопроизводительный GPU, например RTX Pro 6000, H100 или B200.
• !На исходный код и модели распространяется лицензия OpenMDW-1.1. Чтобы получить индивидуальную лицензию, свяжитесь с NVIDIA.

Темы

Частые вопросы

Что такое cosmos?

Открытые модели мира, датасеты и инструменты NVIDIA для разработчиков физического ИИ в робототехнике, автономном транспорте и умной инфраструктуре. NVIDIA Cosmos — открытая платформа для разработчиков физического ИИ. Текущее семейство моделей Cosmos 3 включает омнимодальные модели мира двух типов: Reasoner принимает текст и визуальные данные и выдаёт текст для понимания сцен и планирования задач, а Generator принимает текст, визуальные данные, звук и действия и генерирует видео, звук или действия робота для симуляции, предсказания будущего и создания синтетических данных.

cosmos можно использовать бесплатно? Какая у него лицензия?

cosmos распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.

cosmos всё ещё поддерживается?

Активно поддерживается. Последний коммит в cosmos — 16 окт. 2026 г..

Для чего можно использовать cosmos?

Генерация синтетических обучающих видео для автономного транспорта или роботов в симулируемых сценариях Запуск политики манипулирования робота на периферийном оборудовании, например Jetson Развёртывание API визуального рассуждения, совместимого с OpenAI, для приложений с физическим взаимодействием Оценка результатов моделей мира по стандартным тестам на понимание физики и качество

Как установить cosmos?

Создайте и активируйте виртуальное окружение Python 3.13: uv venv --python 3.13 --seed --managed-python && source .venv/bin/activate Установите необходимые пакеты с помощью uv: uv pip install --torch-backend=auto "diffusers @ git+https://github.com/huggingface/diffusers.git" accelerate av cosmos_guardrail huggingface_hub imageio imageio-ffmpeg torch torchvision transformers Войдите в Hugging Face, чтобы получить доступ к закрытому репозиторию Guardrail (сначала запросите доступ): uvx hf@latest auth login Запустите пример Python из README, чтобы создать первое видео

Где скачать cosmos?

Исходный код и инструкции по установке — на GitHub: https://github.com/NVIDIA/cosmos