vllm-project/vllm

O que é?

Recursos principais

• 01PagedAttention para gerenciamento eficiente da memória do cache KV
• 02Continuous batching, chunked prefill e prefix caching
• 03Amplo suporte à quantização, incluindo FP8, INT4, GPTQ, AWQ e GGUF
• 04Servidor de API compatível com a OpenAI, com saídas estruturadas e chamada de ferramentas
• 05Paralelismo de tensor, pipeline, experts e contexto para inferência em múltiplas GPUs
• 06Suporte a GPUs e CPUs NVIDIA, AMD e Intel, além de plugins para TPU e outros hardwares

Casos de uso

• Servir LLMs de pesos abertos, como Llama ou Qwen, por um endpoint compatível com a OpenAI
• Executar inferência em lote com alto throughput em um servidor com múltiplas GPUs
• Implantar modelos MoE quantizados, como DeepSeek-V3 ou GPT-OSS
• Servir vários fine-tunes de LoRA a partir de um único modelo base

Início rápido

1. 1

   Instale o vLLM com uv (recomendado)

   uv pip install vllm
2. 2

   Baixe kernels pré-compilados para acelerar a inicialização

   vllm download-kernels

Antes de usar

• !Para aproveitar todo o desempenho, é necessário ter uma GPU ou um acelerador compatível.
• !Os pesos do modelo e as dependências são grandes, tornando a configuração mais pesada do que a de ferramentas leves.

Tópicos

Perguntas frequentes

O que é vllm?

Biblioteca e servidor rápidos e eficientes em memória para executar e servir modelos de linguagem grandes com uma API compatível com a OpenAI. vLLM é uma biblioteca para inferência e serving de LLMs. Ela gerencia a memória de chaves e valores da atenção com PagedAttention e agrupa continuamente as solicitações recebidas, buscando alto throughput a baixo custo. Carrega diversas arquiteturas de modelos do Hugging Face, incluindo modelos densos, mixture-of-experts, multimodais e de embeddings.

vllm é gratuito? Qual é a licença?

vllm é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

vllm ainda é mantido?

Manutenção ativa. O último commit de vllm foi em 20 de out. de 2026.

Para que posso usar vllm?

Servir LLMs de pesos abertos, como Llama ou Qwen, por um endpoint compatível com a OpenAI Executar inferência em lote com alto throughput em um servidor com múltiplas GPUs Implantar modelos MoE quantizados, como DeepSeek-V3 ou GPT-OSS Servir vários fine-tunes de LoRA a partir de um único modelo base

Como instalar vllm?

Instale o vLLM com uv (recomendado): uv pip install vllm Baixe kernels pré-compilados para acelerar a inicialização: vllm download-kernels

Onde consigo vllm?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/vllm-project/vllm