EricLBuehler/candle-vllm

Что это?

Ключевые возможности

• 01OpenAI-совместимый API-сервер с потоковой передачей ответов
• 02Continuous batching, кэширование префиксов и поддержка CUDA Graph
• 03Варианты KV-кэша TurboQuant и FP8 для работы с более длинным контекстом
• 04Tensor parallelism на нескольких GPU и инференс на нескольких узлах через TCP
• 05Поддержка форматов моделей GGUF, safetensors, GPTQ, AWQ, Marlin и FP8/FP4
• 06Встроенный Web UI в стиле ChatGPT и вызов инструментов MCP

Сценарии использования

• Запуск LLM с открытыми весами на собственном GPU-сервере с OpenAI-совместимой конечной точкой
• Запуск квантованных моделей GGUF на Mac с Apple Silicon и ускорением Metal
• Размещение большой модели на нескольких GPU или машинах
• Подключение агентов для написания кода и других клиентов OpenAI API к модели на собственном сервере

Быстрый старт

1. 1

   Установите с помощью однострочного скрипта установки (DEB или бинарный файл)

2. 2

   Или соберите из исходного кода с помощью cargo (показана сборка с CUDA)

   cargo install --features cuda,nccl,flashinfer,cutlass --path .
3. 3

   Запустите модель HuggingFace во встроенном веб-интерфейсе

   candle-vllm --m Qwen/Qwen3.6-27B-FP8 --ui-server

Что важно знать

• !Поддерживаются только CUDA (Linux) и Metal (macOS).
• !Для запуска на нескольких GPU их количество должно быть степенью 2.
• !Некоторые функции, например модели FP8 и отдельные ядра, зависят от конкретных архитектур GPU NVIDIA (SM70+ или SM90+).

В подборках

Темы

Частые вопросы

Что такое candle-vllm?

Платформа на Rust для запуска и обслуживания локальных LLM с OpenAI-совместимым API-сервером и встроенным Web UI. Candle-vLLM — платформа для инференса и обслуживания локальных больших языковых моделей, написанная на Rust поверх фреймворка Candle. Она предоставляет OpenAI-совместимый API-сервер, поэтому существующие клиенты, использующие протокол OpenAI, могут обращаться к локально запущенной модели. Дополнительно вместе с API можно запустить Web UI в стиле ChatGPT.

candle-vllm можно использовать бесплатно? Какая у него лицензия?

candle-vllm распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

candle-vllm всё ещё поддерживается?

Активно поддерживается. Последний коммит в candle-vllm — 18 окт. 2026 г..

Для чего можно использовать candle-vllm?

Запуск LLM с открытыми весами на собственном GPU-сервере с OpenAI-совместимой конечной точкой Запуск квантованных моделей GGUF на Mac с Apple Silicon и ускорением Metal Размещение большой модели на нескольких GPU или машинах Подключение агентов для написания кода и других клиентов OpenAI API к модели на собственном сервере

Как установить candle-vllm?

Установите с помощью однострочного скрипта установки (DEB или бинарный файл) Или соберите из исходного кода с помощью cargo (показана сборка с CUDA): cargo install --features cuda,nccl,flashinfer,cutlass --path . Запустите модель HuggingFace во встроенном веб-интерфейсе: candle-vllm --m Qwen/Qwen3.6-27B-FP8 --ui-server

Где скачать candle-vllm?

Исходный код и инструкции по установке — на GitHub: https://github.com/EricLBuehler/candle-vllm