vllm-project/vllm

Что это?

Ключевые возможности

• 01PagedAttention для эффективного управления памятью KV-кэша
• 02Непрерывное объединение запросов в батчи, порционное заполнение контекста и кэширование префиксов
• 03Широкая поддержка квантования, включая FP8, INT4, GPTQ, AWQ и GGUF
• 04API-сервер, совместимый с OpenAI, со структурированными выходными данными и вызовом инструментов
• 05Параллелизм по тензорам, конвейеру, экспертам и контексту для инференса на нескольких GPU
• 06Поддержка GPU NVIDIA, AMD и Intel, а также CPU, TPU и другого оборудования через плагины

Сценарии использования

• Обслуживание моделей LLM с открытыми весами, таких как Llama или Qwen, через конечную точку, совместимую с OpenAI
• Высокопроизводительный пакетный инференс на сервере с несколькими GPU
• Развертывание квантованных MoE-моделей, таких как DeepSeek-V3 или GPT-OSS
• Обслуживание нескольких дообученных вариантов LoRA на базе одной модели

Быстрый старт

1. 1

   Установите vLLM с помощью uv (рекомендуется)

   uv pip install vllm
2. 2

   Скачайте предварительно скомпилированные ядра, чтобы ускорить запуск

   vllm download-kernels

Что важно знать

• !Для максимальной производительности потребуется GPU или поддерживаемый ускоритель.
• !Большой размер весов модели и зависимостей усложняет настройку по сравнению с легковесными инструментами.

Темы

Частые вопросы

Что такое vllm?

Быстрая и эффективная по памяти библиотека и сервер для запуска и обслуживания больших языковых моделей через API, совместимый с OpenAI. vLLM — библиотека для инференса и обслуживания LLM. Она управляет памятью для key-value пар attention с помощью PagedAttention и непрерывно объединяет поступающие запросы в батчи, чтобы обеспечить высокую пропускную способность при низких затратах. Библиотека загружает множество архитектур моделей с Hugging Face, включая плотные модели, модели со смесью экспертов, мультимодальные модели и модели эмбеддингов.

vllm можно использовать бесплатно? Какая у него лицензия?

vllm распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

vllm всё ещё поддерживается?

Активно поддерживается. Последний коммит в vllm — 20 окт. 2026 г..

Для чего можно использовать vllm?

Обслуживание моделей LLM с открытыми весами, таких как Llama или Qwen, через конечную точку, совместимую с OpenAI Высокопроизводительный пакетный инференс на сервере с несколькими GPU Развертывание квантованных MoE-моделей, таких как DeepSeek-V3 или GPT-OSS Обслуживание нескольких дообученных вариантов LoRA на базе одной модели

Как установить vllm?

Установите vLLM с помощью uv (рекомендуется): uv pip install vllm Скачайте предварительно скомпилированные ядра, чтобы ускорить запуск: vllm download-kernels

Где скачать vllm?

Исходный код и инструкции по установке — на GitHub: https://github.com/vllm-project/vllm