NVIDIA/cosmos-framework

Что это?

Ключевые возможности

• 01Распределённое обучение с FSDP, тензорным, контекстным и конвейерным параллелизмом.
• 02Встроенные чекпойнты с импортом и экспортом HuggingFace safetensors.
• 03Адаптеры наборов данных в форматах JSONL, WebDataset и LeRobot.
• 04Офлайн-инференс для пакетной обработки и онлайн-сервинг через бэкенды Diffusers, Transformers и vLLM.
• 05Алгоритмы постобучения, включая SFT, DPO, GRPO, PPO и дистилляцию.

Сценарии использования

• Дообучение world model Cosmos3 на собственных данных о видео или роботах.
• Сервинг политик Cosmos3 для управления роботами через конвейер с сервером и клиентом.
• Запуск обучения с подкреплением или дистилляции на нескольких GPU для моделей Qwen или GR00T.

Быстрый старт

1. 1

   Установить системные зависимости

   sudo apt-get install -y --no-install-recommends curl ffmpeg git-lfs libgl1 libglib2.0-0 libx11-dev tree wget
2. 2

   Установить пакет с помощью uv (рекомендуется CUDA 13.0)

   uv sync --all-extras --group=cu130-train
3. 3

   Активировать виртуальное окружение

   source .venv/bin/activate
4. 4

   Запустить инференс на одной GPU с загруженным чекпойнтом Cosmos3-Nano

   python -m cosmos_framework.scripts.inference --parallelism-preset=latency -i "inputs/omni/t2v.json" -o outputs/omni_nano --checkpoint-path Cosmos3-Nano --seed=0

Что важно знать

• !Рецепты обучения протестированы на 8 GPU H100 с 80 ГБ памяти, поэтому требуется мощное GPU-оборудование.
• !Требуются GPU NVIDIA с драйверами CUDA и определённая версия uv (0.11.29).
• !Настройка включает загрузку весов модели и конфигурацию среды CUDA, что может быть непросто.

В подборках

Темы

Частые вопросы

Что такое cosmos-framework?

Фреймворк для обучения и инференса мультимодальных world model NVIDIA Cosmos3: распределённое обучение, несколько бэкендов инференса и постобучение с RL. Cosmos-Framework — кодовая база NVIDIA для обучения и запуска моделей из семейства мультимодальных world model Cosmos3, которые совместно обрабатывают язык, изображения, видео, аудио и последовательности действий. Весь код собран в одном Python-пакете cosmos_framework с отдельными точками входа для обучения и инференса.

cosmos-framework можно использовать бесплатно? Какая у него лицензия?

cosmos-framework распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.

cosmos-framework всё ещё поддерживается?

Активно поддерживается. Последний коммит в cosmos-framework — 6 нояб. 2026 г..

Для чего можно использовать cosmos-framework?

Дообучение world model Cosmos3 на собственных данных о видео или роботах. Сервинг политик Cosmos3 для управления роботами через конвейер с сервером и клиентом. Запуск обучения с подкреплением или дистилляции на нескольких GPU для моделей Qwen или GR00T.

Как установить cosmos-framework?

Установить системные зависимости: sudo apt-get install -y --no-install-recommends curl ffmpeg git-lfs libgl1 libglib2.0-0 libx11-dev tree wget Установить пакет с помощью uv (рекомендуется CUDA 13.0): uv sync --all-extras --group=cu130-train Активировать виртуальное окружение: source .venv/bin/activate Запустить инференс на одной GPU с загруженным чекпойнтом Cosmos3-Nano: python -m cosmos_framework.scripts.inference --parallelism-preset=latency -i "inputs/omni/t2v.json" -o outputs/omni_nano --checkpoint-path Cosmos3-Nano --seed=0

Где скачать cosmos-framework?

Исходный код и инструкции по установке — на GitHub: https://github.com/NVIDIA/cosmos-framework