vllm-project/vllm

¿Qué es?

Funciones clave

• 01PagedAttention para gestionar de forma eficiente la memoria de la caché KV
• 02Batching continuo, prefill en fragmentos y caché de prefijos
• 03Amplia compatibilidad con cuantización, incluidos FP8, INT4, GPTQ, AWQ y GGUF
• 04Servidor de API compatible con OpenAI, con salidas estructuradas y llamadas a herramientas
• 05Paralelismo de tensores, de pipeline, de expertos y de contexto para inferencia en varias GPU
• 06Compatibilidad con GPU NVIDIA, AMD e Intel y con CPU, además de plugins para TPU y otro hardware

Casos de uso

• Servir LLM de pesos abiertos, como Llama o Qwen, mediante un endpoint compatible con OpenAI
• Ejecutar inferencia por lotes de alto rendimiento en un servidor con varias GPU
• Implementar modelos MoE cuantizados, como DeepSeek-V3 o GPT-OSS
• Servir varios fine-tunes de LoRA a partir de un mismo modelo base

Inicio rápido

1. 1

   Instala vLLM con uv (recomendado)

   uv pip install vllm
2. 2

   Descarga kernels precompilados para acelerar el inicio

   vllm download-kernels

Antes de usarlo

• !Para aprovechar al máximo el rendimiento, necesitas una GPU o un acelerador compatible.
• !El gran tamaño de los pesos del modelo y las dependencias hace que la configuración sea más pesada que la de las herramientas ligeras.

Temas

Preguntas frecuentes

¿Qué es vllm?

Biblioteca y servidor rápidos y eficientes en memoria para ejecutar y servir modelos de lenguaje grandes mediante una API compatible con OpenAI. vLLM es una biblioteca para la inferencia y el serving de LLM. Gestiona la memoria de claves y valores de atención mediante PagedAttention y agrupa continuamente las solicitudes entrantes para alcanzar un alto rendimiento con un costo bajo. Carga muchas arquitecturas de modelos de Hugging Face, incluidos modelos densos, de mezcla de expertos, multimodales y de embeddings.

¿vllm es gratuito? ¿Qué licencia tiene?

vllm es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿vllm sigue mantenido?

Mantenimiento activo. El último commit de vllm fue el 20 oct 2026.

¿Para qué puedo usar vllm?

Servir LLM de pesos abiertos, como Llama o Qwen, mediante un endpoint compatible con OpenAI Ejecutar inferencia por lotes de alto rendimiento en un servidor con varias GPU Implementar modelos MoE cuantizados, como DeepSeek-V3 o GPT-OSS Servir varios fine-tunes de LoRA a partir de un mismo modelo base

¿Cómo se instala vllm?

Instala vLLM con uv (recomendado): uv pip install vllm Descarga kernels precompilados para acelerar el inicio: vllm download-kernels

¿Dónde consigo vllm?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/vllm-project/vllm