Repolode
Предложить
runpod-workers

runpod-workers/worker-vllm

Шаблон worker для Runpod Serverless, разворачивающий совместимые с OpenAI LLM-эндпоинты на движке инференса vLLM.

Открыть на GitHub
Звёзды
474
Форки
394
Открытые issues
25
Последний коммит
позавчера

Что это?

worker-vllm — это worker на базе Docker для Runpod Serverless, который запускает большие языковые модели с помощью движка инференса vLLM. Укажите репозиторий модели на Hugging Face или локальную модель, включённую в образ, задайте настройки через переменные окружения — и worker откроет совместимые с OpenAI эндпоинты Chat Completions, Models, Responses и Messages с поддержкой потоковой и обычной выдачи.

Worker преобразует переменные окружения, такие как MAX_MODEL_LEN, QUANTIZATION и TENSOR_PARALLEL_SIZE, в флаги vllm serve, а также принимает YAML-файл конфигурации. Запросы можно отправлять и в нативном формате заданий, передавая входные данные prompt или messages и параметры семплирования. Если модель не запускается, например из-за нехватки памяти GPU или отсутствующего HF_TOKEN, worker продолжает работать и указывает причину в ответе на задание как ошибку запуска.

Проект предоставляет готовый образ, вариант Dockerfile для включения модели в образ и документацию по развёртыванию через консоль Runpod. Также отмечено, что для отдельной конфигурации с балансировкой нагрузки можно использовать официальный образ vLLM напрямую, без этого worker.

Ключевые возможности

  • 01Предоставляет совместимые с OpenAI эндпоинты Chat Completions, Models, Responses и Messages с поддержкой потоковой выдачи.
  • 02Преобразует переменные окружения во флаги vllm serve и принимает YAML-файл конфигурации.
  • 03Загружает модели из репозиториев Hugging Face или по локальному пути из образа.
  • 04Поддерживает варианты квантования, например AWQ, GPTQ и bitsandbytes, а также тензорный параллелизм на нескольких GPU.
  • 05При сбоях запуска, например из-за нехватки памяти GPU, возвращает понятные ошибки в ответах на задания вместо циклического перезапуска.

Сценарии использования

  • Размещение LLM с открытыми весами на GPU Runpod с доступом через API, совместимый с OpenAI.
  • Перевод существующего приложения на OpenAI SDK на собственную модель с изменением base URL и API key.
  • Запуск переменных по нагрузке задач инференса на бессерверных GPU с масштабированием до нуля в периоды простоя.

Быстрый старт

  1. 1

    Разверните предварительно собранный Docker-образ через Runpod Console, следуя руководству по развертыванию

  2. 2

    Укажите в переменной окружения MODEL_NAME ID репозитория Hugging Face или путь к локальной модели

  3. 3

    Соберите собственный образ со встроенной моделью (необязательно)

    docker build -t username/image:tag --build-arg MODEL_NAME="openchat/openchat_3.5" --build-arg BASE_PATH="/models" .

Что важно знать

  • Для запуска моделей необходимы аккаунт Runpod Serverless и ресурсы GPU.
  • Для моделей с ограниченным доступом или приватных моделей нужен токен Hugging Face (HF_TOKEN).
  • Поддерживаются только модели, совместимые с vLLM.

В подборках

Обучение и запуск ИИ на GPU

Темы

#llm#vllm#inference#serverless#openai-compatible#gpu#runpod#language-model

Частые вопросы

Что такое worker-vllm?
Шаблон worker для Runpod Serverless, разворачивающий совместимые с OpenAI LLM-эндпоинты на движке инференса vLLM. worker-vllm — это worker на базе Docker для Runpod Serverless, который запускает большие языковые модели с помощью движка инференса vLLM. Укажите репозиторий модели на Hugging Face или локальную модель, включённую в образ, задайте настройки через переменные окружения — и worker откроет совместимые с OpenAI эндпоинты Chat Completions, Models, Responses и Messages с поддержкой потоковой и обычной выдачи.
worker-vllm можно использовать бесплатно? Какая у него лицензия?
worker-vllm распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
worker-vllm всё ещё поддерживается?
Активно поддерживается. Последний коммит в worker-vllm — 5 нояб. 2026 г..
Для чего можно использовать worker-vllm?
Размещение LLM с открытыми весами на GPU Runpod с доступом через API, совместимый с OpenAI. Перевод существующего приложения на OpenAI SDK на собственную модель с изменением base URL и API key. Запуск переменных по нагрузке задач инференса на бессерверных GPU с масштабированием до нуля в периоды простоя.
Как установить worker-vllm?
Разверните предварительно собранный Docker-образ через Runpod Console, следуя руководству по развертыванию Укажите в переменной окружения MODEL_NAME ID репозитория Hugging Face или путь к локальной модели Соберите собственный образ со встроенной моделью (необязательно): docker build -t username/image:tag --build-arg MODEL_NAME="openchat/openchat_3.5" --build-arg BASE_PATH="/models" .
Где скачать worker-vllm?
Исходный код и инструкции по установке — на GitHub: https://github.com/runpod-workers/worker-vllm

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

mlc-ai / mlc-llm

Компилятор машинного обучения и движок развёртывания, позволяющие запускать большие языковые модели на GPU, в браузерах и на мобильных устройствах с OpenAI-совместимыми API.

ИИ и машинное обучение#llm#machine-learning-compiler#inference
23,3 тыс.+24 за неделю2,2 тыс.PythonApache-2.0Обновлён 8 дней назад