vllm-project/vllm

这是什么？

核心功能

• 01PagedAttention 高效管理 KV 缓存显存
• 02支持连续批处理、分块预填充和前缀缓存
• 03支持 FP8、INT4、GPTQ、AWQ、GGUF 等多种量化
• 04提供兼容 OpenAI 的 API 服务，支持结构化输出和工具调用
• 05支持张量、流水线、专家和上下文并行的多卡推理
• 06支持 NVIDIA、AMD、Intel GPU 与 CPU，并可接入 TPU 等硬件插件

适用场景

• 将 Llama、Qwen 等开源模型部署为兼容 OpenAI 接口的服务
• 在多卡服务器上执行高吞吐的批量推理
• 部署 DeepSeek-V3、GPT-OSS 等量化 MoE 模型
• 基于同一基座模型同时服务多个 LoRA 微调版本

快速上手

1. 1

   使用 uv（推荐）安装 vLLM

   uv pip install vllm
2. 2

   下载预编译内核以加快启动速度

   vllm download-kernels

使用前须知

• !要获得完整性能优势，需要 GPU 或受支持的加速硬件。
• !模型权重和依赖体积较大，安装配置比轻量工具更重。

标签

常见问题

vllm 是什么？

一个高吞吐、低显存占用的大语言模型推理与服务引擎，提供兼容 OpenAI 的 API。 vLLM 是一个面向大语言模型推理与服务的库。它通过 PagedAttention 管理注意力的 KV 缓存，并对请求进行连续批处理，以较低成本获得高吞吐。支持加载大量 Hugging Face 模型架构，包括稠密模型、MoE 模型、多模态模型和向量模型。

vllm 可以免费使用吗？用的什么许可证？

vllm 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

vllm 还在维护吗？

活跃维护中。vllm 最近一次提交是在 2026年10月20日。

vllm 适合用来做什么？

将 Llama、Qwen 等开源模型部署为兼容 OpenAI 接口的服务 在多卡服务器上执行高吞吐的批量推理 部署 DeepSeek-V3、GPT-OSS 等量化 MoE 模型 基于同一基座模型同时服务多个 LoRA 微调版本

vllm 怎么安装和运行？

使用 uv（推荐）安装 vLLM: uv pip install vllm 下载预编译内核以加快启动速度: vllm download-kernels

在哪里获取 vllm？

源代码和安装说明在 GitHub 上：https://github.com/vllm-project/vllm