runpod-workers/worker-vllm

这是什么？

核心功能

• 01提供兼容 OpenAI 的 Chat Completions、Models、Responses 和 Messages 接口，支持流式输出。
• 02将环境变量映射为 vllm serve 启动参数，也支持 YAML 配置文件。
• 03可加载 Hugging Face 仓库中的模型，或镜像内置的本地模型。
• 04支持 AWQ、GPTQ、bitsandbytes 等量化方式以及多 GPU 张量并行。
• 05启动失败（如显存不足）时，会在任务响应中返回可读的错误原因与修复建议，而不是反复崩溃重启。

适用场景

• 在 Runpod GPU 上部署开源大模型，并通过兼容 OpenAI 的接口对外提供服务。
• 将已有的 OpenAI SDK 应用改为调用自托管模型，只需修改 base URL 和 API 密钥。
• 在按需扩缩容的 Serverless GPU 上处理间歇性的推理负载。

快速上手

1. 1

   通过 Runpod 控制台使用部署指南部署预构建的 Docker 镜像

2. 2

   在环境变量中将 MODEL_NAME 设置为 Hugging Face 仓库 ID 或本地模型路径

3. 3

   构建内置模型的自定义镜像（可选）

   docker build -t username/image:tag --build-arg MODEL_NAME="openchat/openchat_3.5" --build-arg BASE_PATH="/models" .

使用前须知

• !运行模型需要 Runpod Serverless 账户和 GPU 资源。
• !受限或私有模型需要 HuggingFace 令牌（HF_TOKEN）。
• !可用模型仅限于 vLLM 支持的模型架构。

收录于专题

标签

常见问题

worker-vllm 是什么？

基于 vLLM 推理引擎的 Runpod Serverless 工作节点模板，可部署兼容 OpenAI 接口的大模型端点。 worker-vllm 是一个面向 Runpod Serverless 的 Docker 工作节点，使用 vLLM 推理引擎运行大语言模型。你可以指定 Hugging Face 模型仓库或镜像内置的本地模型，通过环境变量完成配置，部署后即可获得兼容 OpenAI 的 Chat Completions、Models、Responses 和 Messages 接口，并支持流式与非流式输出。

worker-vllm 可以免费使用吗？用的什么许可证？

worker-vllm 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

worker-vllm 还在维护吗？

活跃维护中。worker-vllm 最近一次提交是在 2026年11月5日。

worker-vllm 适合用来做什么？

在 Runpod GPU 上部署开源大模型，并通过兼容 OpenAI 的接口对外提供服务。 将已有的 OpenAI SDK 应用改为调用自托管模型，只需修改 base URL 和 API 密钥。 在按需扩缩容的 Serverless GPU 上处理间歇性的推理负载。

worker-vllm 怎么安装和运行？

通过 Runpod 控制台使用部署指南部署预构建的 Docker 镜像 在环境变量中将 MODEL_NAME 设置为 Hugging Face 仓库 ID 或本地模型路径 构建内置模型的自定义镜像（可选）: docker build -t username/image:tag --build-arg MODEL_NAME="openchat/openchat_3.5" --build-arg BASE_PATH="/models" .

在哪里获取 worker-vllm？

源代码和安装说明在 GitHub 上：https://github.com/runpod-workers/worker-vllm