EricLBuehler/candle-vllm

¿Qué es?

Funciones clave

• 01Servidor API compatible con OpenAI con respuestas en streaming
• 02Continuous batching, caché de prefijos y compatibilidad con CUDA Graph
• 03Opciones de caché KV TurboQuant y FP8 para contextos más largos
• 04Paralelismo de tensores en varias GPU e inferencia multinodo basada en TCP
• 05Compatibilidad con los formatos de modelo GGUF, safetensors, GPTQ, AWQ, Marlin y FP8/FP4
• 06Interfaz web integrada al estilo de ChatGPT y llamadas a herramientas con MCP

Casos de uso

• Servir un LLM de pesos abiertos en un servidor GPU propio mediante un endpoint compatible con OpenAI
• Ejecutar modelos GGUF cuantizados en una Mac con Apple Silicon y aceleración Metal
• Distribuir un modelo grande entre varias GPU o varias máquinas
• Conectar agentes de programación u otros clientes de la API de OpenAI a un modelo autoalojado

Inicio rápido

1. 1

   Instálalo con el script de instalación de una sola línea (DEB o binario)

2. 2

   O compílalo desde el código fuente con cargo (se muestra una compilación CUDA)

   cargo install --features cuda,nccl,flashinfer,cutlass --path .
3. 3

   Ejecuta un modelo de HuggingFace con la interfaz web integrada

   candle-vllm --m Qwen/Qwen3.6-27B-FP8 --ui-server

Antes de usarlo

• !Solo es compatible con CUDA (Linux) y Metal (macOS).
• !Para ejecutar con varias GPU, la cantidad de GPU debe ser una potencia de 2.
• !Algunas funciones, como los modelos FP8 y ciertos kernels, dependen de arquitecturas específicas de GPU NVIDIA (SM70+ o SM90+).

En colecciones

Temas

Preguntas frecuentes

¿Qué es candle-vllm?

Plataforma en Rust para ejecutar y servir LLM locales, con un servidor API compatible con OpenAI y una interfaz web integrada. Candle-vLLM es una plataforma de inferencia y serving para modelos de lenguaje grandes locales, escrita en Rust sobre el framework Candle. Expone un servidor API compatible con OpenAI, por lo que los clientes existentes que usan el protocolo de OpenAI pueden conectarse a un modelo alojado localmente. También se puede iniciar junto con la API una interfaz web opcional al estilo de ChatGPT.

¿candle-vllm es gratuito? ¿Qué licencia tiene?

candle-vllm es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿candle-vllm sigue mantenido?

Mantenimiento activo. El último commit de candle-vllm fue el 18 oct 2026.

¿Para qué puedo usar candle-vllm?

Servir un LLM de pesos abiertos en un servidor GPU propio mediante un endpoint compatible con OpenAI Ejecutar modelos GGUF cuantizados en una Mac con Apple Silicon y aceleración Metal Distribuir un modelo grande entre varias GPU o varias máquinas Conectar agentes de programación u otros clientes de la API de OpenAI a un modelo autoalojado

¿Cómo se instala candle-vllm?

Instálalo con el script de instalación de una sola línea (DEB o binario) O compílalo desde el código fuente con cargo (se muestra una compilación CUDA): cargo install --features cuda,nccl,flashinfer,cutlass --path . Ejecuta un modelo de HuggingFace con la interfaz web integrada: candle-vllm --m Qwen/Qwen3.6-27B-FP8 --ui-server

¿Dónde consigo candle-vllm?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/EricLBuehler/candle-vllm