Repolode
Enviar
eagle-hq

eagle-hq/EAGLE-4

Código de inferencia para EAGLE-4, un sistema de decodificación especulativa que acelera el servicio de LLM en SGLang, vLLM y TokenSpeed.

Ver en GitHubSitio web
Estrellas
229
Forks
6
Issues abiertos
0
Último commit
hace 12 horas

¿Qué es?

EAGLE-4 es un sistema de decodificación especulativa que acelera la inferencia de modelos de lenguaje grandes. Un modelo borrador pequeño propone tokens candidatos y el modelo objetivo los verifica, con el fin de conservar la distribución de salida del modelo objetivo. El borrador adapta su árbol especulativo al tamaño del lote, el hardware y la carga de trabajo.

Este repositorio, eagle-harness, es un paquete instalable con pip que integra borradores de EAGLE-4 en SGLang, vLLM y el motor experimental TokenSpeed mediante hooks del motor, sin modificarlo durante la ejecución. Los motores con parches se distribuyen como wheels con versiones fijadas e imágenes de contenedor. La combinación evaluada es Qwen3.8-27B con su borrador EAGLE-4, en hardware NVIDIA B300 y AMD MI355X.

El proyecto incluye instrucciones de instalación y servicio, un comando de calibración para las tablas de costos de vLLM y una matriz de compatibilidad que informa del throughput frente a valores de referencia sin especulación. Se admiten solicitudes solo de texto, y el repositorio está disponible en código fuente bajo su propia licencia, que no está aprobada por la OSI.

Funciones clave

  • 01Decodificación especulativa con borradores EAGLE-4 para Qwen3.8-27B
  • 02Plugins de motor para SGLang, vLLM y el TokenSpeed experimental
  • 03Árbol especulativo adaptativo, dimensionado a partir de los costos medidos del borrador y la verificación
  • 04Wheels con versiones fijadas e imágenes de contenedor para NVIDIA B300 y AMD MI355X
  • 05Comando integrado para comprobar el entorno: eagle-harness-check

Casos de uso

  • Reducir la latencia por token al servir Qwen3.8-27B en nodos NVIDIA B300 con varias GPU
  • Mejorar el throughput de una implementación de vLLM con una sola solicitud o baja concurrencia
  • Ejecutar borradores EAGLE-4 en AMD MI355X con SGLang
  • Comparar mediante benchmarks la decodificación especulativa con una configuración de referencia sin especulación

Inicio rápido

  1. 1

    Clona el repositorio

    git clone https://github.com/eagle-hq/EAGLE-4
  2. 2

    Carga las versiones fijadas desde el archivo de configuración de la versión

    . EAGLE-4/docs/release.env
  3. 3

    Instala el motor SGLang con parches (CUDA)

    python -m pip install --extra-index-url "$EAGLE_CUDA_INDEX" --extra-index-url "$EAGLE_TORCH_CUDA_INDEX" "sglang==$EAGLE_SGLANG_VERSION" 'flashinfer-python>=0.7.2'
  4. 4

    Instala eagle-harness desde PyPI y ejecuta la comprobación

    python -m pip install "eagle-harness==$EAGLE_VERSION"

Antes de usarlo

  • La licencia permite consultar el código fuente, pero no es una licencia de código abierto aprobada por la OSI.
  • El uso comercial de una oferta competidora requiere una licencia escrita independiente, y el resto de usos comerciales está sujeto a un límite de ingresos.
  • Las recetas publicadas están pensadas para GPU NVIDIA B300 o AMD MI355X, y el ejemplo principal utiliza cuatro GPU.
  • La compatibilidad con TokenSpeed es experimental y está limitada a CUDA.

Temas

#llm-inference#speculative-decoding#gpu#sglang#vllm#eagle#tokenspeed

Preguntas frecuentes

¿Qué es EAGLE-4?
Código de inferencia para EAGLE-4, un sistema de decodificación especulativa que acelera el servicio de LLM en SGLang, vLLM y TokenSpeed. EAGLE-4 es un sistema de decodificación especulativa que acelera la inferencia de modelos de lenguaje grandes. Un modelo borrador pequeño propone tokens candidatos y el modelo objetivo los verifica, con el fin de conservar la distribución de salida del modelo objetivo. El borrador adapta su árbol especulativo al tamaño del lote, el hardware y la carga de trabajo.
¿EAGLE-4 es gratuito? ¿Qué licencia tiene?
EAGLE-4 es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿EAGLE-4 sigue mantenido?
Mantenimiento activo. El último commit de EAGLE-4 fue el 20 oct 2026.
¿Para qué puedo usar EAGLE-4?
Reducir la latencia por token al servir Qwen3.8-27B en nodos NVIDIA B300 con varias GPU Mejorar el throughput de una implementación de vLLM con una sola solicitud o baja concurrencia Ejecutar borradores EAGLE-4 en AMD MI355X con SGLang Comparar mediante benchmarks la decodificación especulativa con una configuración de referencia sin especulación
¿Cómo se instala EAGLE-4?
Clona el repositorio: git clone https://github.com/eagle-hq/EAGLE-4 Carga las versiones fijadas desde el archivo de configuración de la versión: . EAGLE-4/docs/release.env Instala el motor SGLang con parches (CUDA): python -m pip install --extra-index-url "$EAGLE_CUDA_INDEX" --extra-index-url "$EAGLE_TORCH_CUDA_INDEX" "sglang==$EAGLE_SGLANG_VERSION" 'flashinfer-python>=0.7.2' Instala eagle-harness desde PyPI y ejecuta la comprobación: python -m pip install "eagle-harness==$EAGLE_VERSION"
¿Dónde consigo EAGLE-4?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/eagle-hq/EAGLE-4

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados