NVIDIA/cosmos-framework

这是什么？

核心功能

• 01支持 FSDP、张量、上下文和流水线并行的分布式训练。
• 02原生 checkpoint，并支持 HuggingFace safetensors 导入导出。
• 03内置 JSONL、WebDataset、LeRobot 数据集适配器。
• 04基于 Diffusers、Transformers 和 vLLM 后端，支持离线批量与在线服务推理。
• 05提供 SFT、DPO、GRPO、PPO、蒸馏等后训练算法。

适用场景

• 使用自定义视频或机器人数据微调 Cosmos3 世界模型。
• 通过服务端-客户端流程部署 Cosmos3 机器人策略。
• 在 Qwen 或 GR00T 模型上运行多 GPU 强化学习或蒸馏。

快速上手

1. 1

   安装系统依赖

   sudo apt-get install -y --no-install-recommends curl ffmpeg git-lfs libgl1 libglib2.0-0 libx11-dev tree wget
2. 2

   使用 uv 安装包（推荐 CUDA 13.0）

   uv sync --all-extras --group=cu130-train
3. 3

   激活虚拟环境

   source .venv/bin/activate
4. 4

   使用已下载的 Cosmos3-Nano 检查点进行单卡推理

   python -m cosmos_framework.scripts.inference --parallelism-preset=latency -i "inputs/omni/t2v.json" -o outputs/omni_nano --checkpoint-path Cosmos3-Nano --seed=0

使用前须知

• !训练配方基于 8 块 H100 80 GB GPU 测试，需要较强的 GPU 硬件。
• !需要 NVIDIA GPU 及 CUDA 驱动，并且要求特定版本的 uv（0.11.29）。
• !安装需要下载模型权重并配置 CUDA 环境，过程可能较复杂。

收录于专题

标签

常见问题

cosmos-framework 是什么？

NVIDIA Cosmos3 全模态世界模型的训练与推理框架，支持分布式训练、多种推理后端和强化学习后训练。 Cosmos-Framework 是 NVIDIA 用于训练和部署 Cosmos3 全模态世界模型的代码库，这类模型可以联合处理语言、图像、视频、音频和动作序列。全部代码位于单一 Python 包 cosmos_framework 中，训练和推理分别有独立入口。

cosmos-framework 可以免费使用吗？用的什么许可证？

cosmos-framework 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。

cosmos-framework 还在维护吗？

活跃维护中。cosmos-framework 最近一次提交是在 2026年11月6日。

cosmos-framework 适合用来做什么？

使用自定义视频或机器人数据微调 Cosmos3 世界模型。 通过服务端-客户端流程部署 Cosmos3 机器人策略。 在 Qwen 或 GR00T 模型上运行多 GPU 强化学习或蒸馏。

cosmos-framework 怎么安装和运行？

安装系统依赖: sudo apt-get install -y --no-install-recommends curl ffmpeg git-lfs libgl1 libglib2.0-0 libx11-dev tree wget 使用 uv 安装包（推荐 CUDA 13.0）: uv sync --all-extras --group=cu130-train 激活虚拟环境: source .venv/bin/activate 使用已下载的 Cosmos3-Nano 检查点进行单卡推理: python -m cosmos_framework.scripts.inference --parallelism-preset=latency -i "inputs/omni/t2v.json" -o outputs/omni_nano --checkpoint-path Cosmos3-Nano --seed=0

在哪里获取 cosmos-framework？

源代码和安装说明在 GitHub 上：https://github.com/NVIDIA/cosmos-framework