Repolode
Enviar
runpod-workers

runpod-workers/worker-vllm

Template de worker Serverless do Runpod que implanta endpoints de LLM compatíveis com a OpenAI, usando o mecanismo de inferência vLLM.

Ver no GitHub
Estrelas
474
Forks
394
Issues abertas
25
Último commit
ontem

O que é?

worker-vllm é um worker baseado em Docker para o Runpod Serverless que executa modelos de linguagem grandes com o mecanismo de inferência vLLM. Basta indicar um repositório de modelo do Hugging Face ou um modelo local incluído na imagem, configurar o worker por meio de variáveis de ambiente e ele disponibiliza as rotas Chat Completions, Models, Responses e Messages compatíveis com a OpenAI, com suporte a streaming e sem streaming.

O worker converte variáveis de ambiente como MAX_MODEL_LEN, QUANTIZATION e TENSOR_PARALLEL_SIZE em flags de vllm serve e também aceita um arquivo de configuração YAML. As requisições também podem ser enviadas em um formato nativo de jobs, com entradas prompt ou messages e parâmetros de amostragem. Quando um modelo não consegue iniciar por motivos como memória insuficiente na GPU ou ausência de HF_TOKEN, o worker continua em execução e retorna o motivo como erro de inicialização nas respostas dos jobs.

O projeto oferece uma imagem pré-compilada, a opção de usar um Dockerfile para incluir um modelo na imagem e documentação para fazer a implantação pelo console do Runpod. Também informa que uma configuração separada de balanceamento de carga pode usar diretamente a imagem oficial do vLLM, sem este worker.

Recursos principais

  • 01Disponibiliza as rotas Chat Completions, Models, Responses e Messages compatíveis com a OpenAI, com suporte a streaming.
  • 02Converte variáveis de ambiente em flags de vllm serve e aceita um arquivo de configuração YAML.
  • 03Carrega modelos de repositórios do Hugging Face ou de um caminho local incluído na imagem.
  • 04Oferece opções de quantização como AWQ, GPTQ e bitsandbytes, além de paralelismo tensorial em várias GPUs.
  • 05Informa falhas de inicialização, como memória insuficiente na GPU, com mensagens claras nas respostas dos jobs, em vez de entrar em um ciclo de falhas e reinicializações.

Casos de uso

  • Hospedar um LLM de pesos abertos em GPUs do Runpod, por trás de uma API compatível com a OpenAI.
  • Migrar uma aplicação existente que usa o OpenAI SDK para um modelo auto-hospedado, alterando a URL base e a chave de API.
  • Executar cargas de inferência variáveis em GPUs serverless, que reduzem a escala a zero quando estão ociosas.

Início rápido

  1. 1

    Implante a imagem Docker pré-compilada pelo Runpod Console usando o guia de implantação

  2. 2

    Defina MODEL_NAME nas variáveis de ambiente com o ID de um repositório do Hugging Face ou o caminho de um modelo local

  3. 3

    Crie uma imagem personalizada com o modelo incluído (opcional)

    docker build -t username/image:tag --build-arg MODEL_NAME="openchat/openchat_3.5" --build-arg BASE_PATH="/models" .

Antes de usar

  • É necessária uma conta do Runpod Serverless e recursos de GPU para executar os modelos.
  • Modelos com acesso restrito ou privados precisam de um token do Hugging Face (HF_TOKEN).
  • Os modelos compatíveis se limitam aos que o vLLM suporta.

Em coleções

Treine e execute IA em GPUs

Tópicos

#llm#vllm#inference#serverless#openai-compatible#gpu#runpod#language-model

Perguntas frequentes

O que é worker-vllm?
Template de worker Serverless do Runpod que implanta endpoints de LLM compatíveis com a OpenAI, usando o mecanismo de inferência vLLM. worker-vllm é um worker baseado em Docker para o Runpod Serverless que executa modelos de linguagem grandes com o mecanismo de inferência vLLM. Basta indicar um repositório de modelo do Hugging Face ou um modelo local incluído na imagem, configurar o worker por meio de variáveis de ambiente e ele disponibiliza as rotas Chat Completions, Models, Responses e Messages compatíveis com a OpenAI, com suporte a streaming e sem streaming.
worker-vllm é gratuito? Qual é a licença?
worker-vllm é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
worker-vllm ainda é mantido?
Manutenção ativa. O último commit de worker-vllm foi em 5 de nov. de 2026.
Para que posso usar worker-vllm?
Hospedar um LLM de pesos abertos em GPUs do Runpod, por trás de uma API compatível com a OpenAI. Migrar uma aplicação existente que usa o OpenAI SDK para um modelo auto-hospedado, alterando a URL base e a chave de API. Executar cargas de inferência variáveis em GPUs serverless, que reduzem a escala a zero quando estão ociosas.
Como instalar worker-vllm?
Implante a imagem Docker pré-compilada pelo Runpod Console usando o guia de implantação Defina MODEL_NAME nas variáveis de ambiente com o ID de um repositório do Hugging Face ou o caminho de um modelo local Crie uma imagem personalizada com o modelo incluído (opcional): docker build -t username/image:tag --build-arg MODEL_NAME="openchat/openchat_3.5" --build-arg BASE_PATH="/models" .
Onde consigo worker-vllm?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/runpod-workers/worker-vllm

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados