EricLBuehler/candle-vllm

O que é?

Recursos principais

• 01Servidor de API compatível com a OpenAI, com respostas em streaming
• 02Continuous batching, prefix caching e suporte a CUDA Graph
• 03Opções de KV cache com TurboQuant e FP8 para contextos mais longos
• 04Tensor parallelism em várias GPUs e inferência multi-node baseada em TCP
• 05Compatibilidade com os formatos de modelo GGUF, safetensors, GPTQ, AWQ, Marlin e FP8/FP4
• 06Web UI integrada no estilo do ChatGPT e chamadas de ferramentas via MCP

Casos de uso

• Servir um LLM de pesos abertos no seu próprio servidor com GPU, por um endpoint compatível com a OpenAI
• Executar modelos GGUF quantizados em um Mac com Apple Silicon e aceleração Metal
• Distribuir um modelo grande entre várias GPUs ou máquinas
• Conectar agentes de programação ou outros clientes da API da OpenAI a um modelo hospedado por você

Início rápido

1. 1

   Instale com o script de instalação de uma linha (DEB ou binário)

2. 2

   Ou compile a partir do código-fonte com cargo (exemplo de compilação com CUDA)

   cargo install --features cuda,nccl,flashinfer,cutlass --path .
3. 3

   Execute um modelo do HuggingFace com a interface Web integrada

   candle-vllm --m Qwen/Qwen3.6-27B-FP8 --ui-server

Antes de usar

• !Compatível apenas com CUDA (Linux) e Metal (macOS).
• !Para executar com várias GPUs, a quantidade de GPUs deve ser uma potência de 2.
• !Vários recursos, como modelos FP8 e alguns kernels, dependem de arquiteturas específicas de GPUs NVIDIA (SM70+ ou SM90+).

Em coleções

Tópicos

Perguntas frequentes

O que é candle-vllm?

Uma plataforma em Rust para executar e servir LLMs localmente, com um servidor de API compatível com a OpenAI e uma Web UI integrada. Candle-vLLM é uma plataforma de inferência e serving de modelos de linguagem grandes locais, escrita em Rust sobre o framework Candle. Ela disponibiliza um servidor de API compatível com a OpenAI, permitindo que clientes existentes que usam o protocolo da OpenAI se conectem a um modelo hospedado localmente. Também é possível iniciar uma Web UI no estilo do ChatGPT junto com a API.

candle-vllm é gratuito? Qual é a licença?

candle-vllm é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.

candle-vllm ainda é mantido?

Manutenção ativa. O último commit de candle-vllm foi em 18 de out. de 2026.

Para que posso usar candle-vllm?

Servir um LLM de pesos abertos no seu próprio servidor com GPU, por um endpoint compatível com a OpenAI Executar modelos GGUF quantizados em um Mac com Apple Silicon e aceleração Metal Distribuir um modelo grande entre várias GPUs ou máquinas Conectar agentes de programação ou outros clientes da API da OpenAI a um modelo hospedado por você

Como instalar candle-vllm?

Instale com o script de instalação de uma linha (DEB ou binário) Ou compile a partir do código-fonte com cargo (exemplo de compilação com CUDA): cargo install --features cuda,nccl,flashinfer,cutlass --path . Execute um modelo do HuggingFace com a interface Web integrada: candle-vllm --m Qwen/Qwen3.6-27B-FP8 --ui-server

Onde consigo candle-vllm?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/EricLBuehler/candle-vllm