EricLBuehler/candle-vllm

这是什么？

核心功能

• 01兼容 OpenAI 接口的 API 服务，支持流式输出
• 02支持连续批处理、前缀缓存和 CUDA Graph
• 03提供 TurboQuant 与 FP8 KV 缓存选项，以支持更长上下文
• 04支持多卡张量并行和基于 TCP 的多节点推理
• 05支持 GGUF、safetensors、GPTQ、AWQ、Marlin 及 FP8/FP4 等模型格式
• 06内置类 ChatGPT 的 Web 界面，并支持 MCP 工具调用

适用场景

• 在自有 GPU 服务器上部署开源大模型，并通过 OpenAI 兼容接口对外提供服务
• 在搭载 Apple Silicon 的 Mac 上借助 Metal 运行量化 GGUF 模型
• 将大模型拆分到多张 GPU 或多台机器上运行
• 让编程智能体或其他 OpenAI API 客户端连接自托管模型

快速上手

1. 1

   使用一行安装脚本安装（DEB 或二进制）

2. 2

   或使用 cargo 从源码构建（以 CUDA 版本为例）

   cargo install --features cuda,nccl,flashinfer,cutlass --path .
3. 3

   使用 Hugging Face 模型 ID 运行并启动内置 Web UI

   candle-vllm --m Qwen/Qwen3.6-27B-FP8 --ui-server

使用前须知

• !仅支持 CUDA（Linux）和 Metal（macOS）平台。
• !多 GPU 运行时，GPU 数量必须是 2 的幂。
• !部分功能（如 FP8 模型和部分内核）依赖特定 NVIDIA GPU 架构（SM70+ 或 SM90+）。

收录于专题

标签

常见问题

candle-vllm 是什么？

基于 Rust 的本地大模型推理与服务平台，提供兼容 OpenAI 接口的 API 服务和内置 Web UI。 Candle-vLLM 是一个用 Rust 编写的本地大语言模型推理与服务平台，底层基于 Candle 框架。它提供兼容 OpenAI 接口的 API 服务器，已有的 OpenAI 协议客户端只需修改地址即可调用本地部署的模型。加上 --ui-server 参数还可以同时启动类 ChatGPT 的 Web 界面。

candle-vllm 可以免费使用吗？用的什么许可证？

candle-vllm 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

candle-vllm 还在维护吗？

活跃维护中。candle-vllm 最近一次提交是在 2026年10月18日。

candle-vllm 适合用来做什么？

在自有 GPU 服务器上部署开源大模型，并通过 OpenAI 兼容接口对外提供服务 在搭载 Apple Silicon 的 Mac 上借助 Metal 运行量化 GGUF 模型 将大模型拆分到多张 GPU 或多台机器上运行 让编程智能体或其他 OpenAI API 客户端连接自托管模型

candle-vllm 怎么安装和运行？

使用一行安装脚本安装（DEB 或二进制） 或使用 cargo 从源码构建（以 CUDA 版本为例）: cargo install --features cuda,nccl,flashinfer,cutlass --path . 使用 Hugging Face 模型 ID 运行并启动内置 Web UI: candle-vllm --m Qwen/Qwen3.6-27B-FP8 --ui-server

在哪里获取 candle-vllm？

源代码和安装说明在 GitHub 上：https://github.com/EricLBuehler/candle-vllm