Repolode
Enviar
runpod-workers

runpod-workers/worker-vllm

Plantilla de worker Serverless de Runpod que despliega endpoints de LLM compatibles con OpenAI y basados en el motor de inferencia vLLM.

Ver en GitHub
Estrellas
474
Forks
394
Issues abiertos
25
Último commit
anteayer

¿Qué es?

worker-vllm es un worker basado en Docker para Runpod Serverless que ejecuta modelos de lenguaje grandes con el motor de inferencia vLLM. Se le indica un repositorio de modelos de Hugging Face o un modelo local incluido en la imagen, se configura mediante variables de entorno y expone las rutas OpenAI-compatible Chat Completions, Models, Responses y Messages, con y sin streaming.

El worker convierte variables de entorno como MAX_MODEL_LEN, QUANTIZATION y TENSOR_PARALLEL_SIZE en flags de vllm serve, y también admite un archivo de configuración YAML. Las solicitudes también se pueden enviar mediante un formato de job nativo, con entradas prompt o messages y parámetros de muestreo. Si un modelo no puede iniciarse por motivos como falta de memoria en la GPU o ausencia de HF_TOKEN, el worker sigue en ejecución y devuelve el motivo como error de inicio en las respuestas de los jobs.

El proyecto ofrece una imagen preconstruida, una opción de Dockerfile para incluir un modelo en la imagen y documentación para desplegarlo desde la consola de Runpod. También señala que una configuración de balanceo de carga independiente puede usar directamente la imagen oficial de vLLM, sin este worker.

Funciones clave

  • 01Sirve las rutas OpenAI-compatible Chat Completions, Models, Responses y Messages, con compatibilidad con streaming.
  • 02Asigna variables de entorno a flags de vllm serve y admite un archivo de configuración YAML.
  • 03Carga modelos desde repositorios de Hugging Face o desde una ruta local incluida en la imagen.
  • 04Admite opciones de cuantización como AWQ, GPTQ y bitsandbytes, además de paralelismo de tensores en varias GPU.
  • 05Informa de errores de inicio, como la falta de memoria en la GPU, con mensajes claros en las respuestas de los jobs, en lugar de entrar en un ciclo de reinicios.

Casos de uso

  • Alojar un LLM de pesos abiertos en GPU de Runpod y ofrecerlo mediante una API compatible con OpenAI.
  • Migrar una aplicación existente que usa el OpenAI SDK a un modelo autohospedado cambiando la URL base y la clave de API.
  • Ejecutar cargas de inferencia variables en GPU serverless que escalan a cero cuando están inactivas.

Inicio rápido

  1. 1

    Implementa la imagen de Docker precompilada desde Runpod Console siguiendo la guía de implementación

  2. 2

    Configura MODEL_NAME en las variables de entorno con el ID de un repositorio de Hugging Face o la ruta de un modelo local

  3. 3

    Crea una imagen personalizada con el modelo integrado (opcional)

    docker build -t username/image:tag --build-arg MODEL_NAME="openchat/openchat_3.5" --build-arg BASE_PATH="/models" .

Antes de usarlo

  • Para ejecutar los modelos, necesitas una cuenta de Runpod Serverless y recursos de GPU.
  • Los modelos restringidos o privados requieren un token de Hugging Face (HF_TOKEN).
  • Solo se admiten los modelos compatibles con vLLM.

En colecciones

Entrena y ejecuta IA en GPU

Temas

#llm#vllm#inference#serverless#openai-compatible#gpu#runpod#language-model

Preguntas frecuentes

¿Qué es worker-vllm?
Plantilla de worker Serverless de Runpod que despliega endpoints de LLM compatibles con OpenAI y basados en el motor de inferencia vLLM. worker-vllm es un worker basado en Docker para Runpod Serverless que ejecuta modelos de lenguaje grandes con el motor de inferencia vLLM. Se le indica un repositorio de modelos de Hugging Face o un modelo local incluido en la imagen, se configura mediante variables de entorno y expone las rutas OpenAI-compatible Chat Completions, Models, Responses y Messages, con y sin streaming.
¿worker-vllm es gratuito? ¿Qué licencia tiene?
worker-vllm es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿worker-vllm sigue mantenido?
Mantenimiento activo. El último commit de worker-vllm fue el 5 nov 2026.
¿Para qué puedo usar worker-vllm?
Alojar un LLM de pesos abiertos en GPU de Runpod y ofrecerlo mediante una API compatible con OpenAI. Migrar una aplicación existente que usa el OpenAI SDK a un modelo autohospedado cambiando la URL base y la clave de API. Ejecutar cargas de inferencia variables en GPU serverless que escalan a cero cuando están inactivas.
¿Cómo se instala worker-vllm?
Implementa la imagen de Docker precompilada desde Runpod Console siguiendo la guía de implementación Configura MODEL_NAME en las variables de entorno con el ID de un repositorio de Hugging Face o la ruta de un modelo local Crea una imagen personalizada con el modelo integrado (opcional): docker build -t username/image:tag --build-arg MODEL_NAME="openchat/openchat_3.5" --build-arg BASE_PATH="/models" .
¿Dónde consigo worker-vllm?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/runpod-workers/worker-vllm

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados