ai-dynamo/dynamo

这是什么？

核心功能

• 01prefill 与 decode 分别部署在可独立扩缩的 GPU 池中
• 02基于 KV 缓存感知的路由，减少重复的 prefill 计算
• 03KV 缓存可在 GPU、CPU、SSD 与远程存储之间分层卸载
• 04基于 SLA 的规划器，按延迟目标自动扩缩副本
• 05兼容 OpenAI 接口的 API 前端
• 06支持 SGLang、TensorRT-LLM 和 vLLM 后端

适用场景

• 在 Kubernetes 集群中跨多 GPU 或多节点部署大模型
• 为共享提示词前缀的负载降低首 token 延迟
• 将 prefill 与 decode 拆分到不同硬件池运行
• 部署多模态或视频生成模型，并分离编码阶段

快速上手

1. 1

   拉取预构建的 vLLM 运行时容器

   docker run --gpus all --network host --rm -it nvcr.io/nvidia/ai-dynamo/vllm-runtime:
2. 2

   在 README 快速开始中选择 SGLang 或 vLLM 选项并按步骤操作

使用前须知

• !该项目面向多 GPU 和多节点的数据中心部署；单卡运行单个模型通常直接使用推理引擎即可。
• !部分功能处于测试版或尚不完整，例如 DGDR 零配置部署，以及 SGLang 上的 KVBM。
• !元数据中的许可证显示为 NOASSERTION，使用前请自行核实仓库的许可证条款。

收录于专题

标签

常见问题

dynamo 是什么？

面向数据中心规模的分布式推理服务框架，可协调 vLLM、SGLang 和 TensorRT-LLM 跨多 GPU、多节点运行。 Dynamo 是位于推理引擎之上的编排层，不替代 vLLM、SGLang 或 TensorRT-LLM，而是把它们组织成跨多 GPU、多节点的协同推理系统。它负责 prefill 与 decode 分离部署、基于 KV 缓存感知的请求路由、多层 KV 缓存卸载，以及按 SLA 自动扩缩容。

dynamo 可以免费使用吗？用的什么许可证？

dynamo 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。

dynamo 还在维护吗？

活跃维护中。dynamo 最近一次提交是在 2026年10月24日。

dynamo 适合用来做什么？

在 Kubernetes 集群中跨多 GPU 或多节点部署大模型 为共享提示词前缀的负载降低首 token 延迟 将 prefill 与 decode 拆分到不同硬件池运行 部署多模态或视频生成模型，并分离编码阶段

dynamo 怎么安装和运行？

拉取预构建的 vLLM 运行时容器: docker run --gpus all --network host --rm -it nvcr.io/nvidia/ai-dynamo/vllm-runtime: 在 README 快速开始中选择 SGLang 或 vLLM 选项并按步骤操作

在哪里获取 dynamo？

源代码和安装说明在 GitHub 上：https://github.com/ai-dynamo/dynamo