基于 Kubernetes 的 AI 模型推理平台,统一部署和服务预测式与生成式模型,支持多种机器学习框架。
dstackai/dstack
开源的 GPU 算力编排控制平面,统一管理各类 GPU 云、Kubernetes 与本地集群上的训练和推理任务。
- Star
- 2,284
- Fork
- 270
- 未关闭 Issue
- 63
- 最近提交
- 3小时前
这是什么?
dstack 是一个统一的 GPU 资源供给与编排控制平面,可在 GPU 云、Kubernetes 集群、虚拟机或裸机集群上运行开发环境、训练任务和推理服务。团队无需分别对接各个平台,只需使用同一套配置即可。
工作负载以 YAML 文件的形式定义在代码仓库中,通过 dstack CLI 或编程接口提交。系统会自动处理资源分配、任务排队、自动扩缩容、网络、存储卷、端口转发,以及运行失败和容量不足等情况。支持 NVIDIA、AMD、Google TPU 和 Tenstorrent 加速器,本地机器可通过 SSH fleet 接入,无需配置云后端。
项目还提供了智能体技能,便于 Claude、Codex、Cursor 等 AI 编程助手通过 CLI 创建资源池并提交任务。另外,它已集成 NVIDIA Dynamo 和 Slurm 等工具。
核心功能
- 01跨 GPU 云、Kubernetes 和本地机器统一创建与管理 GPU 资源池。
- 02通过 YAML 配置运行开发环境、训练任务和推理服务。
- 03支持 NVIDIA、AMD、Google TPU 和 Tenstorrent 加速器。
- 04自动处理任务排队、自动扩缩容、存储卷和端口转发。
- 05提供智能体技能,让 AI 编程助手通过 CLI 提交工作负载。
适用场景
- 在混合使用云端与本地硬件的团队中共享 GPU 资源。
- 在 Kubernetes 上将大模型推理部署为可扩展的服务端点。
- 无需编写平台专用脚本,即可运行多节点微调或训练任务。
- 让 AI 智能体代替团队申请算力并启动实验。
快速上手
- 1
安装并启动服务器
uv tool install "dstack[all]" -U - 2
运行服务器
dstack server - 3
安装命令行工具(仅当未随服务器一起安装时)
uv tool install dstack -U - 4
通过添加项目将命令行工具指向服务器
dstack project add --name main --url http://127.0.0.1:3000 --token bbae0f28-d3dd-4820-bf61-8f4bb40815da
使用前须知
- 要在云或Kubernetes上调度计算资源,需要先配置后端。
- 服务器需要Git和OpenSSH,支持Linux、macOS,以及通过WSL 2运行的Windows。
标签
常见问题
- dstack 是什么?
- 开源的 GPU 算力编排控制平面,统一管理各类 GPU 云、Kubernetes 与本地集群上的训练和推理任务。 dstack 是一个统一的 GPU 资源供给与编排控制平面,可在 GPU 云、Kubernetes 集群、虚拟机或裸机集群上运行开发环境、训练任务和推理服务。团队无需分别对接各个平台,只需使用同一套配置即可。
- dstack 可以免费使用吗?用的什么许可证?
- dstack 以 MPL-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- dstack 还在维护吗?
- 活跃维护中。dstack 最近一次提交是在 2026年10月20日。
- dstack 适合用来做什么?
- 在混合使用云端与本地硬件的团队中共享 GPU 资源。 在 Kubernetes 上将大模型推理部署为可扩展的服务端点。 无需编写平台专用脚本,即可运行多节点微调或训练任务。 让 AI 智能体代替团队申请算力并启动实验。
- dstack 怎么安装和运行?
- 安装并启动服务器: uv tool install "dstack[all]" -U 运行服务器: dstack server 安装命令行工具(仅当未随服务器一起安装时): uv tool install dstack -U 通过添加项目将命令行工具指向服务器: dstack project add --name main --url http://127.0.0.1:3000 --token bbae0f28-d3dd-4820-bf61-8f4bb40815da
- 在哪里获取 dstack?
- 源代码和安装说明在 GitHub 上:https://github.com/dstackai/dstack
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
AX 是一个声明式编排工具,用于在 Kubernetes 集群中运行大量沙箱化的自主智能体任务。
基于 Kubernetes 的开源云平台,用于将服务器组建成自有云,提供集群、数据库、虚拟机等服务的 REST API。
Python 库,逐层加载大语言模型,让 70B 级模型可在单张 4GB 显卡上推理,无需量化。
面向消费级硬件的边缘端 MoE 推理引擎,可在个人电脑上运行大型开源权重模型。
一个智能体技能,可将自然语言及 Terraform、K8s、SQL、OpenAPI 等源码转换为可编辑的 draw.io 架构图。