Repolode
Enviar
vllm-project

vllm-project/speculators

Biblioteca Python para treinar modelos auxiliares de decodificação especulativa que são implantados diretamente no mecanismo de inferência vLLM.

Ver no GitHubSite
Estrelas
920
Forks
271
Issues abertas
204
Último commit
ontem

O que é?

Speculators é uma biblioteca para treinar modelos auxiliares de decodificação especulativa que funcionam diretamente em mecanismos de inferência de LLMs, como o vLLM. A decodificação especulativa acelera a geração: um modelo auxiliar menor propõe vários tokens, que o modelo base maior verifica em uma única passagem forward. Os tokens aceitos são iguais aos que o modelo base teria produzido, então a qualidade da saída não muda.

O projeto oferece um pipeline completo: geração de estados ocultos com vLLM e gravação em disco, treinamento de modelos auxiliares de uma ou várias camadas e armazenamento dos resultados em um formato compatível com Hugging Face. O treinamento é compatível com modelos MoE, não MoE e de visão e linguagem, e o projeto inclui ferramentas para converter modelos auxiliares de repositórios externos de pesquisa para o formato padrão.

Os speculators treinados podem ser servidos com um único comando `vllm serve`. Entre os algoritmos compatíveis mencionados no projeto estão EAGLE-3, DFlash, DSpark e P-EAGLE. Também há treinamento online em vários nós, disponível por meio de backends plugáveis para transferência de estados ocultos.

Recursos principais

  • 01Gera estados ocultos com vLLM e os salva em disco para o treinamento de modelos auxiliares.
  • 02Treina modelos auxiliares de uma ou várias camadas, inclusive para modelos MoE e de visão e linguagem.
  • 03Armazena speculators em um formato extensível e compatível com Hugging Face.
  • 04Converte modelos auxiliares de repositórios externos de pesquisa para o formato padrão.
  • 05Implanta speculators treinados diretamente no vLLM com `vllm serve`.
  • 06Oferece suporte aos algoritmos de treinamento EAGLE-3, DFlash, DSpark e P-EAGLE.

Casos de uso

  • Acelerar o serviço de um LLM grande no vLLM treinando um modelo auxiliar correspondente.
  • Treinar um modelo auxiliar com dados específicos de um domínio para que ele corresponda melhor à carga de trabalho de produção.
  • Ajustar os heads MTP nativos de modelos como Qwen3-Next.
  • Comparar configurações de decodificação especulativa com GuideLLM.

Início rápido

  1. 1

    Instalar pelo PyPI

    pip install speculators
  2. 2

    Verificar a instalação

    speculators --version
  3. 3

    Servir um modelo speculator treinado com vLLM

    vllm serve RedHatAI/Qwen3-8B-speculator.eagle3

Antes de usar

  • Requer Linux ou macOS com Python 3.11 ou superior.
  • Executar modelos speculator servidos requer vLLM, que o README não instala para você.

Em coleções

Rode LLMs localmente

Tópicos

#speculative-decoding#llm-inference#vllm#draft-model#model-training#llm

Perguntas frequentes

O que é speculators?
Biblioteca Python para treinar modelos auxiliares de decodificação especulativa que são implantados diretamente no mecanismo de inferência vLLM. Speculators é uma biblioteca para treinar modelos auxiliares de decodificação especulativa que funcionam diretamente em mecanismos de inferência de LLMs, como o vLLM. A decodificação especulativa acelera a geração: um modelo auxiliar menor propõe vários tokens, que o modelo base maior verifica em uma única passagem forward. Os tokens aceitos são iguais aos que o modelo base teria produzido, então a qualidade da saída não muda.
speculators é gratuito? Qual é a licença?
speculators é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
speculators ainda é mantido?
Manutenção ativa. O último commit de speculators foi em 23 de out. de 2026.
Para que posso usar speculators?
Acelerar o serviço de um LLM grande no vLLM treinando um modelo auxiliar correspondente. Treinar um modelo auxiliar com dados específicos de um domínio para que ele corresponda melhor à carga de trabalho de produção. Ajustar os heads MTP nativos de modelos como Qwen3-Next. Comparar configurações de decodificação especulativa com GuideLLM.
Como instalar speculators?
Instalar pelo PyPI: pip install speculators Verificar a instalação: speculators --version Servir um modelo speculator treinado com vLLM: vllm serve RedHatAI/Qwen3-8B-speculator.eagle3
Onde consigo speculators?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/vllm-project/speculators

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados