Repolode
Enviar
eagle-hq

eagle-hq/EAGLE-4

Código de inferência do EAGLE-4, um sistema de decodificação especulativa que acelera o serving de LLMs no SGLang, vLLM e TokenSpeed.

Ver no GitHubSite
Estrelas
229
Forks
6
Issues abertas
0
Último commit
há 12 horas

O que é?

EAGLE-4 é um sistema de decodificação especulativa para acelerar a inferência de modelos de linguagem grandes. Um modelo auxiliar menor propõe tokens candidatos, e o modelo-alvo os verifica, com o objetivo de preservar a distribuição de saída do modelo-alvo. O modelo auxiliar adapta sua árvore especulativa ao tamanho do batch, ao hardware e à carga de trabalho.

Este repositório, eagle-harness, é um pacote instalável via pip que integra os modelos auxiliares do EAGLE-4 ao SGLang, vLLM e ao mecanismo experimental TokenSpeed por meio de hooks do mecanismo, sem aplicar patches ao mecanismo em tempo de execução. Os mecanismos com patches são distribuídos como wheels com versões fixadas e imagens de contêiner. O par avaliado é o Qwen3.8-27B com seu modelo auxiliar EAGLE-4, em hardware NVIDIA B300 e AMD MI355X.

O projeto inclui instruções de instalação e execução, um comando de calibração para tabelas de custos do vLLM e uma matriz de compatibilidade que compara o throughput com referências sem decodificação especulativa. Há suporte a solicitações somente de texto, e o repositório disponibiliza o código-fonte sob uma licença própria, que não é aprovada pela OSI.

Recursos principais

  • 01Decodificação especulativa com modelos auxiliares EAGLE-4 para Qwen3.8-27B
  • 02Plugins de mecanismo para SGLang, vLLM e o TokenSpeed experimental
  • 03Árvore especulativa adaptável, dimensionada com base nos custos medidos de geração auxiliar e verificação
  • 04Wheels com versões fixadas e imagens de contêiner para NVIDIA B300 e AMD MI355X
  • 05Comando integrado para verificar o ambiente: eagle-harness-check

Casos de uso

  • Reduzir a latência por token ao servir Qwen3.8-27B em nós NVIDIA B300 com várias GPUs
  • Aumentar o throughput de uma implantação vLLM com uma única solicitação ou baixa concorrência
  • Executar modelos auxiliares EAGLE-4 em AMD MI355X com SGLang
  • Comparar o desempenho da decodificação especulativa com uma referência sem decodificação especulativa

Início rápido

  1. 1

    Clone o repositório

    git clone https://github.com/eagle-hq/EAGLE-4
  2. 2

    Carregue as versões fixadas do arquivo de configurações da versão

    . EAGLE-4/docs/release.env
  3. 3

    Instale o mecanismo SGLang com patches (CUDA)

    python -m pip install --extra-index-url "$EAGLE_CUDA_INDEX" --extra-index-url "$EAGLE_TORCH_CUDA_INDEX" "sglang==$EAGLE_SGLANG_VERSION" 'flashinfer-python>=0.7.2'
  4. 4

    Instale o eagle-harness pelo PyPI e execute a verificação

    python -m pip install "eagle-harness==$EAGLE_VERSION"

Antes de usar

  • A licença permite acesso ao código-fonte, mas não é uma licença de código aberto aprovada pela OSI.
  • O uso comercial de uma oferta concorrente exige uma licença por escrito à parte, e os demais usos comerciais estão sujeitos a um limite de receita.
  • As receitas publicadas são voltadas a GPUs NVIDIA B300 ou AMD MI355X, e o exemplo principal usa quatro GPUs.
  • O suporte a TokenSpeed é experimental e limitado a CUDA.

Tópicos

#llm-inference#speculative-decoding#gpu#sglang#vllm#eagle#tokenspeed

Perguntas frequentes

O que é EAGLE-4?
Código de inferência do EAGLE-4, um sistema de decodificação especulativa que acelera o serving de LLMs no SGLang, vLLM e TokenSpeed. EAGLE-4 é um sistema de decodificação especulativa para acelerar a inferência de modelos de linguagem grandes. Um modelo auxiliar menor propõe tokens candidatos, e o modelo-alvo os verifica, com o objetivo de preservar a distribuição de saída do modelo-alvo. O modelo auxiliar adapta sua árvore especulativa ao tamanho do batch, ao hardware e à carga de trabalho.
EAGLE-4 é gratuito? Qual é a licença?
EAGLE-4 é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
EAGLE-4 ainda é mantido?
Manutenção ativa. O último commit de EAGLE-4 foi em 20 de out. de 2026.
Para que posso usar EAGLE-4?
Reduzir a latência por token ao servir Qwen3.8-27B em nós NVIDIA B300 com várias GPUs Aumentar o throughput de uma implantação vLLM com uma única solicitação ou baixa concorrência Executar modelos auxiliares EAGLE-4 em AMD MI355X com SGLang Comparar o desempenho da decodificação especulativa com uma referência sem decodificação especulativa
Como instalar EAGLE-4?
Clone o repositório: git clone https://github.com/eagle-hq/EAGLE-4 Carregue as versões fixadas do arquivo de configurações da versão: . EAGLE-4/docs/release.env Instale o mecanismo SGLang com patches (CUDA): python -m pip install --extra-index-url "$EAGLE_CUDA_INDEX" --extra-index-url "$EAGLE_TORCH_CUDA_INDEX" "sglang==$EAGLE_SGLANG_VERSION" 'flashinfer-python>=0.7.2' Instale o eagle-harness pelo PyPI e execute a verificação: python -m pip install "eagle-harness==$EAGLE_VERSION"
Onde consigo EAGLE-4?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/eagle-hq/EAGLE-4

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados