NVIDIA/cosmos

这是什么？

核心功能

• 01Reasoner 模型支持图文理解、目标定位与具身任务规划
• 02Generator 模型可基于多模态输入生成视频、声音和机器人动作
• 03提供 4B 到 64B 三种规格，适配不同硬件
• 04提供可运行的 Cookbook Notebook，涵盖生成、迁移、动作策略和推理
• 05内置 PAIBench、Physics-IQ、VLMEvalKit 等评测套件
• 06支持 Diffusers、Transformers、vLLM、SGLang、TensorRT-LLM 和 NIM 等后端

适用场景

• 在仿真场景中生成自动驾驶或机器人训练用的合成视频
• 在 Jetson 等端侧设备上运行机器人操作策略
• 部署兼容 OpenAI 接口的视觉推理服务，用于具身智能应用
• 使用标准物理与质量基准评估世界模型的输出

快速上手

1. 1

   创建 Python 3.13 虚拟环境并激活

   uv venv --python 3.13 --seed --managed-python && source .venv/bin/activate
2. 2

   使用 uv 安装所需依赖包

   uv pip install --torch-backend=auto "diffusers @ git+https://github.com/huggingface/diffusers.git" accelerate av cosmos_guardrail huggingface_hub imageio imageio-ffmpeg torch torchvision transformers
3. 3

   登录 Hugging Face 以访问受限的 Guardrail 仓库（需先申请访问权限）

   uvx hf@latest auth login
4. 4

   运行 README 中的 Python 示例，生成第一个视频

使用前须知

• !运行代码前，必须申请并获批访问受限的 nvidia/Cosmos-1.0-Guardrail 仓库。
• !Nano 模型参数量为 160 亿，需要 RTX Pro 6000、H100 或 B200 等高端 GPU。
• !源代码和模型采用 OpenMDW-1.1 许可证，如需定制授权请联系 NVIDIA。

标签

常见问题

cosmos 是什么？

NVIDIA 开源的世界基础模型、数据集与工具，用于构建机器人、自动驾驶等物理 AI 应用。 NVIDIA Cosmos 是面向物理 AI 开发者的开放平台。当前模型系列 Cosmos 3 是全模态世界模型，提供两种使用方式：Reasoner 接收文本和视觉输入，输出文本，用于场景理解与任务规划；Generator 接收文本、视觉、声音和动作输入，输出视频、声音或机器人动作，用于仿真、未来预测和合成数据生成。

cosmos 可以免费使用吗？用的什么许可证？

cosmos 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。

cosmos 还在维护吗？

活跃维护中。cosmos 最近一次提交是在 2026年10月16日。

cosmos 适合用来做什么？

在仿真场景中生成自动驾驶或机器人训练用的合成视频 在 Jetson 等端侧设备上运行机器人操作策略 部署兼容 OpenAI 接口的视觉推理服务，用于具身智能应用 使用标准物理与质量基准评估世界模型的输出

cosmos 怎么安装和运行？

创建 Python 3.13 虚拟环境并激活: uv venv --python 3.13 --seed --managed-python && source .venv/bin/activate 使用 uv 安装所需依赖包: uv pip install --torch-backend=auto "diffusers @ git+https://github.com/huggingface/diffusers.git" accelerate av cosmos_guardrail huggingface_hub imageio imageio-ffmpeg torch torchvision transformers 登录 Hugging Face 以访问受限的 Guardrail 仓库（需先申请访问权限）: uvx hf@latest auth login 运行 README 中的 Python 示例，生成第一个视频

在哪里获取 cosmos？

源代码和安装说明在 GitHub 上：https://github.com/NVIDIA/cosmos