Repolode
Предложить
vllm-project

vllm-project/speculators

Библиотека Python для обучения черновых моделей спекулятивного декодирования, которые можно напрямую запускать в движке инференса vLLM.

Открыть на GitHubСайт
Звёзды
920
Форки
271
Открытые issues
204
Последний коммит
вчера

Что это?

Speculators — библиотека для обучения черновых моделей спекулятивного декодирования, которые работают непосредственно в движках инференса LLM, таких как vLLM. Спекулятивное декодирование ускоряет генерацию: небольшая черновая модель предлагает несколько токенов, а большая базовая модель проверяет их за один прямой проход. Принятые токены совпадают с теми, которые выдала бы базовая модель, поэтому качество результата не меняется.

Проект предоставляет полный конвейер: генерацию скрытых состояний с помощью vLLM и их сохранение на диск, обучение однослойных и многослойных черновых моделей, а также сохранение результатов в формате, совместимом с Hugging Face. Поддерживается обучение моделей MoE, не-MoE и vision-language, а также есть инструменты для преобразования черновых моделей из внешних исследовательских репозиториев в стандартный формат проекта.

Обученные speculators можно запускать одной командой `vllm serve`. Среди поддерживаемых в проекте алгоритмов — EAGLE-3, DFlash, DSpark и P-EAGLE; кроме того, доступно многонодовое онлайн-обучение с подключаемыми бэкендами передачи скрытых состояний.

Ключевые возможности

  • 01Генерирует скрытые состояния с помощью vLLM и сохраняет их на диск для обучения черновых моделей.
  • 02Обучает однослойные и многослойные черновые модели, в том числе для моделей MoE и vision-language.
  • 03Сохраняет speculators в расширяемом формате, совместимом с Hugging Face.
  • 04Преобразует черновые модели из внешних исследовательских репозиториев в стандартный формат.
  • 05Позволяет запускать обученные speculators непосредственно в vLLM с помощью `vllm serve`.
  • 06Поддерживает алгоритмы обучения EAGLE-3, DFlash, DSpark и P-EAGLE.

Сценарии использования

  • Ускорение обслуживания большой LLM в vLLM за счёт обучения подходящей черновой модели.
  • Обучение черновой модели на данных конкретной предметной области, чтобы лучше соответствовать рабочей нагрузке в production.
  • Дообучение встроенных MTP-голов таких моделей, как Qwen3-Next.
  • Сравнение конфигураций спекулятивного декодирования с помощью GuideLLM.

Быстрый старт

  1. 1

    Установить из PyPI

    pip install speculators
  2. 2

    Проверить установку

    speculators --version
  3. 3

    Запустить обученную speculator-модель с помощью vLLM

    vllm serve RedHatAI/Qwen3-8B-speculator.eagle3

Что важно знать

  • Требуется Linux или macOS с Python 3.11 или выше.
  • Для запуска speculator-моделей в режиме сервинга требуется vLLM, который README не устанавливает.

В подборках

Запуск LLM локально

Темы

#speculative-decoding#llm-inference#vllm#draft-model#model-training#llm

Частые вопросы

Что такое speculators?
Библиотека Python для обучения черновых моделей спекулятивного декодирования, которые можно напрямую запускать в движке инференса vLLM. Speculators — библиотека для обучения черновых моделей спекулятивного декодирования, которые работают непосредственно в движках инференса LLM, таких как vLLM. Спекулятивное декодирование ускоряет генерацию: небольшая черновая модель предлагает несколько токенов, а большая базовая модель проверяет их за один прямой проход. Принятые токены совпадают с теми, которые выдала бы базовая модель, поэтому качество результата не меняется.
speculators можно использовать бесплатно? Какая у него лицензия?
speculators распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
speculators всё ещё поддерживается?
Активно поддерживается. Последний коммит в speculators — 23 окт. 2026 г..
Для чего можно использовать speculators?
Ускорение обслуживания большой LLM в vLLM за счёт обучения подходящей черновой модели. Обучение черновой модели на данных конкретной предметной области, чтобы лучше соответствовать рабочей нагрузке в production. Дообучение встроенных MTP-голов таких моделей, как Qwen3-Next. Сравнение конфигураций спекулятивного декодирования с помощью GuideLLM.
Как установить speculators?
Установить из PyPI: pip install speculators Проверить установку: speculators --version Запустить обученную speculator-модель с помощью vLLM: vllm serve RedHatAI/Qwen3-8B-speculator.eagle3
Где скачать speculators?
Исходный код и инструкции по установке — на GitHub: https://github.com/vllm-project/speculators

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты