Repolode
Предложить
eagle-hq

eagle-hq/EAGLE-4

Код для инференса EAGLE-4 — инструментария спекулятивного декодирования, ускоряющего обслуживание LLM на SGLang, vLLM и TokenSpeed.

Открыть на GitHubСайт
Звёзды
229
Форки
6
Открытые issues
0
Последний коммит
7 часов назад

Что это?

EAGLE-4 — система спекулятивного декодирования для ускорения инференса больших языковых моделей. Небольшая черновая модель предлагает варианты токенов, а целевая модель проверяет их, чтобы сохранить распределение выходных данных целевой модели. Черновая модель адаптирует дерево спекуляций к размеру батча, оборудованию и рабочей нагрузке.

Этот репозиторий, eagle-harness, — устанавливаемый через pip пакет, который подключает черновые модели EAGLE-4 к SGLang, vLLM и экспериментальному движку TokenSpeed через хуки движков, не внося изменений в движок во время выполнения. Модифицированные движки распространяются в виде закреплённых по версиям wheel-пакетов и образов контейнеров. Измерения проводились на связке Qwen3.8-27B с черновой моделью EAGLE-4 на оборудовании NVIDIA B300 и AMD MI355X.

В проект входят инструкции по установке и запуску сервиса, команда калибровки таблиц затрат для vLLM и матрица поддержки с показателями пропускной способности относительно базовых конфигураций без спекулятивного декодирования. Поддерживаются только текстовые запросы. Исходный код доступен по собственной лицензии проекта, не одобренной OSI.

Ключевые возможности

  • 01Спекулятивное декодирование с черновыми моделями EAGLE-4 для Qwen3.8-27B
  • 02Плагины для SGLang, vLLM и экспериментального TokenSpeed
  • 03Адаптивное дерево спекуляций, размер которого определяется по измеренным затратам на черновую генерацию и проверку
  • 04Закреплённые по версиям wheel-пакеты и образы контейнеров для NVIDIA B300 и AMD MI355X
  • 05Встроенная команда проверки окружения eagle-harness-check

Сценарии использования

  • Снижение задержки генерации каждого токена при обслуживании Qwen3.8-27B на узлах с несколькими GPU NVIDIA B300
  • Увеличение пропускной способности развёртывания vLLM с одним запросом или низкой конкуренцией
  • Запуск черновых моделей EAGLE-4 на AMD MI355X с SGLang
  • Сравнение спекулятивного декодирования с контрольной конфигурацией без спекуляций

Быстрый старт

  1. 1

    Клонируйте репозиторий

    git clone https://github.com/eagle-hq/EAGLE-4
  2. 2

    Загрузите зафиксированные версии из файла настроек релиза

    . EAGLE-4/docs/release.env
  3. 3

    Установите движок SGLang с патчами (CUDA)

    python -m pip install --extra-index-url "$EAGLE_CUDA_INDEX" --extra-index-url "$EAGLE_TORCH_CUDA_INDEX" "sglang==$EAGLE_SGLANG_VERSION" 'flashinfer-python>=0.7.2'
  4. 4

    Установите eagle-harness из PyPI и запустите проверку

    python -m pip install "eagle-harness==$EAGLE_VERSION"

Что важно знать

  • Лицензия предоставляет доступ к исходному коду, но не является лицензией на открытый исходный код, одобренной OSI.
  • Для коммерческого использования конкурирующего предложения требуется отдельная письменная лицензия, а на прочее коммерческое использование установлен порог выручки.
  • Опубликованные рецепты предназначены для GPU NVIDIA B300 или AMD MI355X, а в основном примере используются четыре GPU.
  • Поддержка TokenSpeed носит экспериментальный характер и ограничена CUDA.

Темы

#llm-inference#speculative-decoding#gpu#sglang#vllm#eagle#tokenspeed

Частые вопросы

Что такое EAGLE-4?
Код для инференса EAGLE-4 — инструментария спекулятивного декодирования, ускоряющего обслуживание LLM на SGLang, vLLM и TokenSpeed. EAGLE-4 — система спекулятивного декодирования для ускорения инференса больших языковых моделей. Небольшая черновая модель предлагает варианты токенов, а целевая модель проверяет их, чтобы сохранить распределение выходных данных целевой модели. Черновая модель адаптирует дерево спекуляций к размеру батча, оборудованию и рабочей нагрузке.
EAGLE-4 можно использовать бесплатно? Какая у него лицензия?
EAGLE-4 распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
EAGLE-4 всё ещё поддерживается?
Активно поддерживается. Последний коммит в EAGLE-4 — 20 окт. 2026 г..
Для чего можно использовать EAGLE-4?
Снижение задержки генерации каждого токена при обслуживании Qwen3.8-27B на узлах с несколькими GPU NVIDIA B300 Увеличение пропускной способности развёртывания vLLM с одним запросом или низкой конкуренцией Запуск черновых моделей EAGLE-4 на AMD MI355X с SGLang Сравнение спекулятивного декодирования с контрольной конфигурацией без спекуляций
Как установить EAGLE-4?
Клонируйте репозиторий: git clone https://github.com/eagle-hq/EAGLE-4 Загрузите зафиксированные версии из файла настроек релиза: . EAGLE-4/docs/release.env Установите движок SGLang с патчами (CUDA): python -m pip install --extra-index-url "$EAGLE_CUDA_INDEX" --extra-index-url "$EAGLE_TORCH_CUDA_INDEX" "sglang==$EAGLE_SGLANG_VERSION" 'flashinfer-python>=0.7.2' Установите eagle-harness из PyPI и запустите проверку: python -m pip install "eagle-harness==$EAGLE_VERSION"
Где скачать EAGLE-4?
Исходный код и инструкции по установке — на GitHub: https://github.com/eagle-hq/EAGLE-4

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

areal-project / AReaL

Масштабируемая система асинхронного обучения с подкреплением для тренировки LLM, способных рассуждать и действовать как агенты; обучение агентов с закрытым исходным кодом запускается заменой base_url.

ИИ и машинное обучение#reinforcement-learning#llm#agent
5,9 тыс.634PythonApache-2.0Обновлён 20 часов назад